طريقة اضافة ملف الروبوت الي مدونة بلوجر، ملف روبوتس robots.txt بلوجر

طريقة اضافة ملف الروبوت Robots.txt الي مدونة بلوجر، ملف روبوتس robots.txt بلوجر

سأعرض لكم في هذه التدوينة كيفية إضافة ملف الروبوت Robots.txt الي مدونة بلوجر؟ وسأوضح طريقة إنشاء ملف robots.txt بالتفصيل للمبتدئين، وسأجيب عن السؤال الشائع: ما هو ملف الروبوت robots.txt؟

الفهرس ومحتويات المقال:

• ما هو ملف الروبوت Robots.txt ؟
• طريقة اضافة ملف الروبوت في مدونة بلوجر
• علامات الرؤوس المخصصة لبرامج الروبوت

ما هو ملف Robots.txt بلوجر؟ شرح ملف Robots.txt.

ملف الروبوت هو عبارة عن ملف يحتوي علي مجموعة من الاوامر التي تعطي محركات البحث وجوجل اوامر عن ما يمكن ارشفته من صفحات في موقعك وعن تلك الصفحات التي يجب ان تبقي بدون ارشفة.

ملف Robots.txt مخصص لمدونة بلوجر Blogger

يُعَد ملف الروبوت من الملفات الهامة في عملية أرشفة مقالاتك وموضوعاتك وبالتالي ظهورها في عمليات البحث في جوجل أو محركات البحث الآخري .

إقرأ هذه التدوينة لمعرفة المزيد عن أرشفة المقالات وطريقة اضافة ملف السابت ماب SiteMap.

يعمل ملف الروبوت علي منع أو السماح لروبوتات جوجل بأرشفة بعض المقالات أو منع أرشفة بعضها، وبالتالي يمكنك التحكم في المقالات التي يمكنكها الظهور في محركات البحث.

لذلك إضافة ملف الروبوت Robots.txt أمر هام جداً بالنسبة للمدونة؛ كما أن أضافة ملف السايت ماب Sitemap أمر ضروري أيضاً حتي يجعل بوتات جوجل قادرة علي قراءة وتصفح مدونتك والمواضيع التي تنشرها عليها. 

طريقة إضافة ملف الروبوت الي مدونة بلوجر Robots.txt:

1. قم بالتوجه الي بلوجر Blogger ثم الي الاعدادات Settings ثم الي تفضيلات البحث أو Search Preference.



2. قم بالضغط علي تعديل أو Edit لنقوم بإضافة كود ملف الروبوت.

بجانب كلمة Custom Robots.txt قم بالضغط علي كلمة تعديل أو Edit، بعدها سيظهر مربع صغير لإدخال ملف الروبوت.

3. قم بنسخ كود ملف الروبوت robots.txt وضعه في مربع الإدخال.

كود ملف الروبوت Robots.txt:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Disallow:/search
Disallow: /*?updated-max=*
Allow: /search/label

Sitemap: https://www.yoursite.com/sitemap.xml 




4. قبل لصق كود ملف الروبوت في مربع الادخال، اتبع التعليمات كما بالأسفل.

قم بإضافة هذا الكود وعمل حفظ أو Save ، ولكن قم بتغيير عنوان مدونتك، أي قم بتبديل yoursite باسم موقعك ففي حالتي مثلا أقوم بتبديل yoursite بــ mobtakr.
كما أن عبارة Allow: /search/label مهمة جدا حتي تسمح بأرشفة صفحات التسميات الخاصة بمدونتك، وهذا شئ ضروري للقبول في برنامج أدسنس حيث أنه يحل مشكلة :
Yoursite is down or unavailable موقعك غير متاح قم باصلاح هذه المشاكل

شرح كود ملف Robots.txt:

1. كود User-agent: Mediapartners-Google يقوم بتحديد جميع عناكب الانترنت الخاصة بالاعلانات مع برنامج ادسنس.

يقوم هذا الكود بتحديد عناكب أو بوتات الاعلانات، وكلمة Disallow اسفله تقوم بمنع تلك العناكب من الوصول أو ارشفة مدونتك.

2. كود User-agent: * يقوم بتحديد جميع عناكب الانترنت الخاصة بمحركات البحث والمسؤولة عن أرشفة الصفحات.

هذا الكود يقوم بتحديد جميع عناكب الانترنت، ومن ثم تأتي بعده مجموعة من أوامر Allow & Disallow لتحديد أي الصفحات التي من الممكن ارشفتها وتلك الممنوع علي محركات البحث من الولوج أو الزحف اليها وفهرستها.

3. كود ِ Allow: / يقوم بالسماح لمحركات البحث بأرشفة جميع صفحات موقعك.

يقوم كود Allow: / بالسماح لمحركات البحث مثل جوجل بأرشفة جميع صفحات موقعك كاملةً، وإذا أردت إستبعاد بعض الصفحات نقوم بستخدام كود Disallow لإستثناء مجموعة ضمنية من صفحات موقعك.

4. كود Disallow:/search يقوم بمنع أرشفة صفحات البحث.

يقوم كود Disallow:/search بمنع أرشفة صفحات البحث، وبالتالي يمنع ارشفة صفحات التسميات ولذلك قمنا باضافة الكود الثالث.

5. كود Allow:/search/label يقوم بالسماح لأرشفة صفحات البحث الخاصة بالتسميات.

يقوم كود Allow:/search/label بالسماح لمحركات البحث لأرشفة صفحات التسميات، وبالتالي تظهر صفحات التسميات في محركات البحث.

6. كود Disallow: /*?updated-max=* يقوم بمنع ارشفة صفحات التنقل الخاصة بمدونة بلوجر، بحيث يمنعها من الظهور في محركات البحث.

صفحات التنقل هي تلك الصفحات الخاصة بالـ Navigation أو بمعني أدق هي الصفحات التي تحتوي علي التدوينات القديمة.


7. كود Sitemap: your sitemap url يقوم بإشهار ملف السايت ماب الخاص بمدونتك لدي محركات البحث.

يمكنك من هنا الاطلاع علي صفحة المساعدة الخاصة بجوجل عن: ملف الروبوت Robots.txt.

---

إطلع أيضاً: طريقة اضافة ملف الـ Ads.txt الي مدونة بلوجر

شرح اعدادات علامات رؤوس مخصصة لبرامج الروبوت Custom robots header tag

وبالنسبة لـ Custom robots header tags أو بالعربي علامات الرؤوس المخصصة لبرامج الروبوت: أنا أنصح الجميع بتفعيل كل الرؤوس كما أفعل في مدونتي :

في مدونتي أقوم بتفعيل all أو الكل في خانة الصفحة الرئيسية الـ Homepage. إذا أردت عدم أرشفة الصفحة الرئيسية وبالتالي عدم ظهورها في محركات البحث يمكنك التعليم علي noindex و noarchive وفي خانة صفحات البحث والتسميات أو الـ Archive and Search pages أقوم بتفعيل all وذلك حتي تظهر صفحات التسميات في نتائج البحث. وايضاً إذا أردت عدم أرشفة صفحات البحث والتسميات وبالتالي عدم ظهورها في محركات البحث يمكنك التعليم علي noindex و noarchiveوهكذا كما يتضح من الصورة في الاسفل.

شرح علامات رؤوس مخصصة لبرامج الروبوت:

في الاسفل جدول لشرح العلامات المخصصة لبرامج Robots.txt.

Custom robots header tags Blogger

Custom robots header tag	الوظيفة والشرح
noindex	هذا التاج noindex يقوم بمنع ارشفة الصفحة، أي أنه يقوم بمنع الفهرسة والظهور في محركات البحث.
nofollow	تاج nofollow يقوم بمنع محركات البحث من تتبع الروابط في الصفحة أثناء عملية الزحف والارشفة.
noarchive	تاج noarchive يقوم بمنع محركات البحث من تخزين نسخة ثابته من موقعك، أي أنه يقوم بمنع عمل Cashing للصفحة.
nosnippet	تاج nosnippet يقوم بمنع محركات البحث من عرض وصف للصفحة أسفل العنوان في نتائج البحث.
noimageindex	تاج noimageindex يمنع محركات البحث من ارشفة الصور الموجودة في الصفحة.
all	تاج all يكافئ استخدام تاج index وتاج follow معاً؛ أي أنه يسمح لمحركات البحث من ارشفة الصفحة وتتبع الروابط الموجودة بها.
none	تاج none يكافئ استخدام تاج noindex وتاج nofollow معاً، أي أنه يمنع ارشفة الصفحة ويمنع تتبع الروابط.
notranslate	تاج notranslate يمنع محركات البحث من ترجمة الصفحة الي لغات آخري غير المكتوبة بها.
noodp	تاج noodp (تم إلغائه) يمنع محركات البحث من عرض وصف عشوائي من الصفحة اسفل العنوان في نتائج البحث، وذلك بدلاً من الوصف الخاص بالـ Meta Description.

يمكنك من هنا التعرف علي المزيد عن: Custom Header Tags من مدونة جوجل ويب ماسترز. كن حذراً أثناء تعاملك مع ملف Robots.txt حيث أنه يتعلق بمحركات البحث وبأرشفة مواضيعك وظهورها في نتائج البحث. وتُستَخدم هذه العلامات في منع بعض الصفحات من الارشفة والظهور في نتائج البحث كما مع تاج noindex، فإذا أردت مثلاً منع أرشفة صفحة سياسة الخصوصية يمكنك ذلك باستخدام علامات الرؤوس المخصصة لبرامج الروبوت. إطلع أيضاً:  شرح كامل للسيو Seo الخاص بمدونات بلوجر.

إذا لديك أي سؤال أو بعض الجزئيات الغير واضحة، قم بترك تعليق في الاسفل وشكراً.