شروحات: ما هو ملف robots.txt في تحسين محركات البحث واستخدامات ملف الروبوتات

ما هو ملف robots.txt في تحسين محركات البحث واستخدامات ملف الروبوتات

هو ملف Robots.txt يعد ملف Robots.txt مهمًا جدًا بالنسبة إلى موقع الويب ويجب أن يحتوي كل موقع ويب على ملف robots.txt هذا حيث ينصح به محرك البحث Google

 ومحركات البحث الأخرى للحصول على ملف robots.txt ويخبر ملف robots.txt محرك البحث عناوين URL المراد الزحف إليها والوصول إليها عبر ملف Robots.txt فقط. بشكل عام .

 يحترم كل محرك بحث التعليمات المقدمة إلى روبوتات محرك البحث عبر ملف robots.txt ويزحف إلى موقع الويب وفقًا لذلك. إذا كنت تريد تثبيط محركات البحث ، 

فهذا هو المكان الذي تخبر فيه محركات البحث بحظر عناوين URL من خلال محركات البحث.سبق ان شرحنا حل للمشكل تم حظر عنوان URL الذي تم إرساله باستخدام ملف robots txt.

- محتوى المقال :

1- كيفية إنشاء ملف Robots.txt لموقع الويب:

2- وكيل المستخدم: Googlebot

3 - ماذا لو لم يتمكن محرك البحث Google ومحركات البحث الأخرى من العثور على ملف robots.txt

4 - كيفية البحث عن ملف Robots.txt على موقع الويب :

6- أهمية ملف robots.txt :

5- هل تحتاج ملف Robots.txt :

7- ما المدة التي يستغرقها ملف robots.txt للعمل:

8- وحدة التحكم :

إقرأ أيضا : ما هي روابط DoFollow و NoFollow؟ التعريف والاختلاف تحسين محركات البحث

1- كيفية إنشاء ملف Robots.txt لموقع الويب:

إليك القواعد الأساسية لعدم السماح لبرنامج google bot من خلال ملف robots.txt الذي يقدم تعليمات لوكيل مستخدم google bot ولا يسمح لـ nogoogle بالزحف إلى موقعك على الويب.

- ما هي قواعد ملف Robots.txt:

# المادة 1

2- وكيل المستخدم: Googlebot

Disallow: / nogooglebot /

لإنشاء ملف robots.txt لموقع الويب الخاص بك وإعطاء تعليمات لمحرك البحث جوجل يوفر وثائق سهلة لملف robots.txt والتي ستساعد مشرفي المواقع على بناء ملف robots.txt 

وكتابة قواعد لملف robots.txt وتقديم التضمينات والاستثناءات عبر ملف robots.txt بالسماح وعدم السماح.

3 - ماذا لو لم يتمكن محرك البحث Google ومحركات البحث الأخرى من العثور على ملف robots.txt

إذا تعذر على google وبرامج الروبوت الأخرى لمحركات البحث العثور على ملف robots.txt لموقع الويب الخاص بك أو تحديد موقعه ، فسيزحفون إلى موقع الويب الخاص بك بالتأكيد ، 

لكنهم سيحمّلون موقع الويب الخاص بك في بعض الأحيان ، لذلك من خلال تقديم تعليمات ملف robots.txt محددة ، يمكنك حظر 

وكيل مستخدم محرك البحث مثل جوجل والآخرين الذين ضربوا موقع الويب الخاص بك والخادم باستمرار وتعطل موقع الويب الخاص بك.

4 - كيفية البحث عن ملف Robots.txt على موقع الويب :

للعثور على ملف robots.txt على موقع الويب الخاص بك ، ما عليك سوى الانتقال إلى موقع الويب الخاص بك ووضع شرطة مائلة إلى الأمام وكتابة ملف robots.txt وإدخال ، على سبيل المثال: www.example.com/robots.txt 

وملف robots.txt يجب أن يعيش في هذا الموقع وتقوم محركات البحث بالزحف وفقًا للإرشادات الواردة في ملف robots.txt.

5- هل تحتاج ملف Robots.txt :

نعم ، كل موقع يحتاج إلى ملف robots.txt. يعد وجود ملف robots.txt مفيدًا من خلال حظر محركات البحث والحفاظ على تقييد برامج الروبوت للزحف إلى موقعك على الويب. 

إذا كان لديك ملف robots.txt ، فيمكنك بسهولة منع محركات البحث من عدم الزحف إلى عناوين URL لصفحات الويب والمجلدات المعينة التي لا تريد أن تقوم محركات بحث Google

 أو محركات البحث الأخرى بالزحف إليها والفهرسة في تصنيفات بحث google.

- أقرأ أيضا : كيفيه اضافه موقعك فى ادوات مشرفي المواقع على google search console 

6- أهمية ملف robots.txt :

ستسمح لك كتل ملف Robots.txt على موقع الويب الخاص بك إما بحظر أجزاء من موقع الويب أو فهرسة موقع الويب. هذا هو ما يفعله ملف robots.txt في الأساس ، وهو مجرد طريقة للسماح لموقعك بأن يكون داخل google أم لا.

7- ما المدة التي يستغرقها ملف robots.txt للعمل:

إذا قمت بتحرير أو تحديث ملف robots.txt لموقع الويب الخاص بك ، فبمجرد تحديث محرك البحث الخاص بك على الويب ، قد يزحف إليه على الفور أو وفقًا لـ google ، قد يستغرق الأمر بعض الوقت لتحديث ملف robots.txt.

كيفية التحقق مما إذا كان موقعك الإلكتروني محظورًا بواسطة ملف Robots.txt في البحث

-8 وحدة التحكم : 

في وحدة تحكم البحث ، إذا قال google أن بعض الموارد محظورة بواسطة google bot ، لذلك يتعذر عليها الزحف إلى صفحات الويب. 

إذا لاحظت هذا الخطأ في Search Console ، إذا كنت ترغب في التحقق من أي جزء أو جزء من الموقع المحظور لتحديد هذه الأشياء ،

 فإن google توفر أداة اختبار robots.txt في أداة google search console التي تجعل من السهل جدًا التحقق منها وفهمها ملفات الروبوتات هذه. 

كل ما عليك فعله هو كتابة جزء من موقع الويب الخاص بك وسيخبرك أي جزء تم حظره وأي جزء أو مجلدات من موقع الويب الخاص بك يسمح لـ bot google بالزحف.

- يمنكن مشاهدة :  #دورة بلوجر

- المصادر : robots.txt