ما هو دور robots.txt وكيف يتم إنشاؤه؟

أخر تحديث لهذه المقالة في: 23 أبريل 2021 الساعة: 09:49 ص

المقدمـة: ما هو دور robots.txt وكيف يتم إنشاؤه؟

ملف Robots.txt هو ملف يخبر محركات البحث بالمحتوى المطلوب فهرسته أو منعه من الفهرسة بموقعك .
ما هو دوره بالضبط؟ كيف تُنْشِئُ ملف robots.txt؟ وكيف تستخدمه لتحسين ظهور موقعك بمحركات البحث ” SEO ” ؟

 

ما هو ملف robots.txt؟


 

ملف robots.txt هو ملف نصّي، يقوم بمنع روبوتات محركات البحث من فهرسة مناطق معينة بموقعك. ويمكنك العثور عليه بين مجلداتك وملفاتك بجذر  موقعك. ويعد ملف robots.txt أحد الملفات الأولى التي يتم تحليلها بواسطة عناكب الشبكة (الروبوتات).

ما هو دور ملف robots.txt؟


 

يقوم ملف robots.txt بإعطاء تعليمات لروبوتات محرك البحث التي تحلل موقعك ، إنه بروتوكول استبعاد الروبوتات أيضاً. بفضل هذا الملف ، تستطيع منع زحف روبوتات معينة إلى موقعك ( زحف العناكب) ، كما يقوم بحظر أرشفة بعض صفحات موقعك لبعض الروبوتات.

توضيح  : لنفهم جيداً فائدة ملف robots.txt ، يمكننا أن نأخذ على سبيل المثال موقعاً مُكوناً من منطقة عامة للتواصل مع العملاء و منطقة خاصة بالموظفين. في هذه الحالة ، يمكن للروبوتات الوصول إلى المنطقة العامة بينما المنطقة الخاصة بالموظفين يتم حظرها.

يخبر هذا الملف أيضاً محركات البحث بعنوان ” ملف خريطة موقعك  ”

 

أين يمكنني العثور على ملف ROBOTS.TXT؟

 

إذا أردت العثور على ملف robots.txt ، فإنك ستجده بجذر موقعك، حيث توجد كل مجلدات وملفات مدونتك . للوصول إليه يمكنك استعال بروتوكول نقل الملفات FTP  بأحد برامج نقل الملفات مثل FileZilla . ولكي تتحقق من وجود ملف robots.txt بموقعك، أكتب في شريط العنوان في متصفحك مسار الملف مثل هذا: http://www.my-site.com/robots.txt.

  • إذا كان الملف robots.txt  موجود بجذر موقعك، سيتم عرضه و سيسمح للروبوتات بتتبع التعليمات الموجودة فيه.
  • إذا كان الملف robots.txt غير موجود فسيتم عرض خطأ 404 و ستعتبر الروبوتات أنه لا يوجد محتوى محظور.

يحتوي موقع الويب على ملف واحد فقط للروبوت ويجب أن يكون إسمه صحيحاً وبحروف صغيرة (robots.txt).

 

كيف أقوم بإنشاء ملف robots.txt؟


 

لإنشاء ملف robots.txt الخاص بموقعك ، يجب أن تكون قادراً على الوصول إلى جذر موقعك.

يتم إنشاء ملف robots.txt يـدوياً أو يتم إنشاؤه افتراضياً بواسطة غالبية أنظمة إدارة المحتوى CMS مثل ووردبريس أثناء التثبيت. و يُمكن أيضاً إنشاء ملفك للروبوتات باستخدام أداة عبر الإنترنت.

لإنشاء ملف robots.txt يدوياً، يمكنك استخدام أي محرر نصوص بسيط مثل برنامج ++Notepad أو  Sublime txt ويجب الانتباه إلى كتابة التعليمات بشكل صحيح، واجعل التعليمات منفردة، بحيث تكون واحدة في كل سطر ولا تترك أسطر فارغة.. ثم احفظ الملف النّصي تحت إسم robots.txt  دون أخطاء وبعدها، إرفعه إلى جذر موقعك عبر FTP

 

كيفية بناء الجملة والتعليمات الخاصة بملف robots.txt

 

تستخدم ملفات robots.txt العبارات أو الأوامر التالية:
User-agent : User-agent عبارة عن روبوتات لمحركات البحث ، على سبيل المثال، نستخدم  Googlebot بالنسبة ل Google أو Bingbot لـ Bing.
disallow :Disallow  هو البيان الذي يمنع User-agent من الوصول إلى عنوان url أو إلى مجلد بموقعك.
Allow: allow هي تعليمات التي تسمح بالوصول إلى عنوان url موجود في مجلد محظور بموقعك.

مثال لملف robots.txt:
# نعتبر ملف الروبوتات خاص بهذا الموقع « http://www.my-site.com »
User-Agent: * (يسمح بالوصول إلى جميع الروبوتات)
Disallow: /موظفون/  (يحظر استكشاف مجلد الموظفين)
Disallow: /login.php (يحظر الزحف إلى عنوانurl للدخول إلى لوحة التحكم : http://www.my-site.com/login.php)
Allow: /*.css?* (السماح بالوصول إلى جميع موارد css)
sitemap (خريطة الموقع ) : Sitemap: http://www.my-site.com/sitemap.xml (رابط إلى خريطة الموقع للرجوع إليها)

في المثال أعلاه ، يتم تطبيق أمر User-agent على جميع برامج الزحف من خلال إدراج علامة النجمة (*). تُستخدم علامة التجزئة (#) لعرض التعليقات ، ولا يتم أخذ التعليقات في الاعتبار بواسطة الروبوتات.

ستجد في موقع  robots-txt.com  الموارد الخاصة بمحركات بحث معينة وأنظمة إدارة محتوى معينة.

 

علاقة Robots.txt ب SEO


 

فيما يتعلق بتحسين ظهور موقعك في محرّكات البحث  SEO، يسمح لك ملف robots.txt بما يلي:

  • تجنب فهرسة المحتوى المكرر  من طرف الروبوتات ،
  • تقديم خريطة الموقع إلى الروبوتات لعرض مؤشرات على عناوين URL التي سيتم فهرستها ،
  • استبعاد الصفحات ذات الجودة الرديئة في موقعك عن طريق الروبوتات لضمان ظهور المحتوى الجيد في محرك البحث Google .

 

كيف تختبر ملف robots.txt الخاص بموقعك؟


 

لاختبار ملف robots.txt الخاص بموقعك ، كل ما عليك فعله هو إنشاء موقع ويب والمصادقة عليه على Google Search Console. بمجرد إنشاء حسابك ، ستحتاج إلى اختبار ملف Robots.txt من هنا:

https://www.google.com/webmasters/tools/robots-testing-tool

  • أنقر على الزر المشار إليه في الصورة، ثم اختر موقعك المصادق عليه  من طرف Search Console .

 اختبار ملف robots.txt

ما هو دور robots.txt وكيف يتم إنشاؤه؟

≡ في الصفحة الموالية سيظهر  لك محتوى ملفك robots.txt كما  في الصورة

 

ما هو دور robots.txt وكيف يتم إنشاؤه؟

≡ هنا،يتحقق اختبار ملف robots.txt من إمكانية فهرسة جميع عناوين URL المهمة بواسطة Google.

 

الحالات الرئيسية لاستخدام منشئ robots.txt


 

لمنع الفهرسة الكاملة للموقع:

في هذه الحالة، يكون منشئ Robot.txt  مفيد جداً! خصوصاً إذا كان الموقع قيد الانجاز ، يعني لم يكتمل بعد لمنع فهرسته كاملاً

يسمح البناء التالي بفهرسة الموقع بالكامل:

حظر فهرسة ملف معين:

 الحظر المفروض على روبوتات بحث معينة من زيارة الصفحة:

 

حظر فهرسة أنواع معينة من الملفات:

 

للسماح لروبوتات ويب معينة بزيارة صفحة معينة:

رابط الموقع إلى خريطة الموقع:

ملاحظة هـــــاهـة : 

إذا كنت تملأ موقعك باستمرار بمحتوى فريد ، فهناك بعض الأشياء الخاصة التي يجب مراعاتها عند استخدام هذا الدليل:
لا تضف الرابط المعروف لخريطة موقعك في منشئ ملف robots.txt !  اختر إسماً غير اعتيادي لخريطة الموقع “sitemap.xml” مثال:« my-super-sitemap.xml » ، ثم أضف هذا الرابط إلى أنظمة البحث باستخدام مشرفي المواقع).
لماذا؟  لأن الكثير من مشرفي المواقع غير النزيهين يحللون محتوى المواقع الأخرى ويستخدمونها لمشاريعهم الخاصة.

 

 

ما هي الطريقة الأفضل: منشئ robots.txt أم noindex؟


 

إذا كنت لا تريد فهرسة صفحات معينة ، فإنه يـُوصي باستخدام noindex في العلامة الوصفية لبرامج الروبوت. لتنفيذه ، تحتاج إلى إضافة العلامة الوصفية التالية في صفحتك:

باستخدام هذه الطريقة ، ستتمكن مما يلي:

  • منع فهرسة صفحات معينة، حين يزورها الروبوت. وبالتالي، لن تكون ملزماً بحذف الصفحة يدوياً باستخدام مشرفي المواقع. 
  • تمكن من نقل أجود ما عندك من محتوى لفهرستها وتحسين ظهورها في محركات البحث.

 

أيضًا ، من الأفضل استخدام منشئ ملف robots.txt لإغلاق هذه الأنواع من الصفحات:

  • الصفحات الإدارية لموقعك ؛
  • بيانات البحث على الموقع ؛
  • صفحات التسجيل ، التراخيص و إعادة تعيين كلمة المرور.

إقرأ أيضاً:   حماية ملفات ومجلدات ووردبريس

 

ملف robots.txt خاص بمواقع ووردبريس 


المصدر من هنا: ملف Robots.txt لبرنامج WordPress

ويمكن اختصارها بهذا:

راجع أيضاً الموارد الخاصة بأنظمة إدارة المحتوى الأخرى:  Drupal أو Joomla أو PrestaShop.

 

ختامـاً ، إذا كنت ترغب في إتقان فهرسة موقع الويب الخاص بك ، فإن إنشاء ملف robots.txt ضروري. و في حالة عدم وجود الملف ، فسيتم فهرسة جميع عناوين url التي تم العثور عليها بواسطة الروبوتات وسيتم إدراجها في نتائج محرك البحث.

 

قناتي على اليوتوب

أرى أن هذه المواضيع قد تهمك:

شَـاركِ الْمَوْضُوع: 
إذا أعجبك هذا المحتوى، فلا تَقْرَأْ وتَرْحَل … تَـعْلِيقَـاتُكَ تَـشْجِيعٌ لَـنَـا لِنَسْتَمِرَّ فِــي الْبَحْثِ وَالْعَطَـاء. وإِذَا كنت تعتقد أنه قد يكون مفيداً لأشخاص آخرين، فشَارِكْهَ على الشبكات الاجتماعية.

اترك تعليقًا

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *

    مؤسس موقع :
        عبدالرحيم ح.س من شمال المغرب . تقني "الهندسة المدنية" ، مارست البرمجة منذ 2001، خبرتي مع الويب والإعلاميات : تمتد من سنة 2000 ، سائر باستمرار في تحديث معلوماتي والاطلاع على كل جديد.
كتب 296 مقالة في jabism.com.

عدد المشاهدات لهذه المقالة : 52