حل مشكلة تم حظر عنوان URL الذي تم إرساله باستخدام ملف Robots txt
هو ملف Robots.txt نصي يمكن لمالكي مواقع الويب إنشاؤه لإخبار روبوتات محرك البحث عن كيفية الزحف إلى صفحات الموقع وفهرستها.
سبق لنا أن شرحنا كيفية إضافة ملفات sitemap و robots txt أرشفة المدونة وتصدر محركات البحث عادة ما يتم تخزينه في الدليل الجذر المعروف أيضا.
باسم المجلد الرئيسي لموقع الويب الخاص بك. يبدو التنسيق الأساسي لملف Robots.txt كما يلي:عند بدء التدوين وإنشاء مدونة في أحد المنصاة التدوين Blogger أو WordPress .
فأنت بحاجة إلى الاهتمام ببعض الأشياء لتحسينها والتي ستساعدك على الحصول على مرتبة أعلى في محركات البحث مثل Google و Bing.و Yandex .
تقديم عام :
مجموعة من الأدوات الخاصة بها لتحسين مواقع الويب.المخصصة مزيداً من السيطرة على الجهات التي يسمح لها ببيع دعايات على موقعك.
ويساعدك في حظر عرض المخزن المزيف إلى المعلنين Robots.txt عبارة عن ملف يحتوي على بعض أسطر التعليمات البرمجية التي تقدم الإرشادات المناسبة.
إلى الزاحف حول كيفية فهرسة أي جزء من مدونتك لا يقوم بفهرسة برامج الزاحف أو حظرها من بعض صفحات الزحف إلى مدونتك.
على سبيل المثال ، لا أرغب في الزحف إلى بعض الصفحات أو المنشورات مثل الأرشيف والعلامات وما إلى ذلك ، لذا سأضيف disallow: / URL في ملف robots.txt.
1- ملف Robots.txt
هو ملف Robots.txt نصي يمكن لمالكي مواقع الويب إنشاؤه لإخبار روبوتات محرك البحث عن كيفية الزحف إلى صفحات الموقع وفهرستها.
عادة ما يتم تخزينه في الدليل الجذر المعروف أيضا باسم المجلد الرئيسي لموقع الويب الخاص بك. يبدو التنسيق الأساسي لملف robots.txt كما يلي:
وفي بلوجر يبقى بشكل فعلي ملف Ads.Txt ولكن عقب ذلك التجديد بات تَستطيع السيطرة على ذلك الملف من إعدادات مدونتك، وايضاً لتجنب المراسلات.
التي تأتي إلى بعض المدونين في الأونة الأخيرة على حساب أدسنس مثل
2.أرباح في خطر
- لا يحتوي ملف واحد أو أكثر من ملفات Ads.txt على الرقم التعريفي للناشر في أدسنس حل هذه المشكلة الأن لتجنب حدوث تأثير خطير على أرباحك.
- لا يحتوي ملف واحد أو أكثر من ملفات Ads.txt على الرقم التعريفي للناشر في أدسنس حل هذه المشكلة الأن لتجنب حدوث تأثير خطير على أرباحك.
إنه وسيلة لمنع انتحال النطاق وإزالة الاحتيال المتعلق بالمخزون الإعلاني عبر نظام الإعلان على الإنترنت، يؤدي إضافة ملف Ads.txt.
إلى التقليل من أضرار الإحتيال وتحسين أرباح الإعلانات لموقعك
لطالما نوقش استخدام ملف robots.txt بين مشرفي المواقع حيث يمكن أن يثبت أنه أداة قوية عندما يكون مكتوبًا بشكل جيد أو يمكن للمرء أن يطلق النار على نفسه في القدم معه.
على عكس مفاهيم تحسين محركات البحث الأخرى التي يمكن اعتبارها أكثر تجريدًا والتي ليست لدينا إرشادات واضحة لها ، تم توثيق ملف robots.txt .
بالكامل بواسطة Google ومحركات البحث الأخرى.
› أفضل أدوات بحث عن الكلمات الرئيسية لتحسين محركات لعام 2022
3.حل مشكلة تم حظر عنوان URL الذي تم إرساله باستخدام ملف robots txt
لا تحتاج إلى ملف robots.txt إلا إذا كان لديك أجزاء معينة من موقعك على الويب لا تريد فهرستها و / أو كنت بحاجة إلى منع أو إدارة برامج الزحف المختلفة.
* توجّه إلى ريتشارد للتصحيح على النص أعلاه. (راجع التعليقات للحصول على مزيد من المعلومات) ما يهم فهمه في حالة ملف الروبوتات .
هو أنه لا يعمل كقانون يجب على الزواحف أن تطيعه ، بل هو علامة مميزة مع بعض المؤشرات. يمكن أن يؤدي الامتثال لهذه الإرشادات إلى فهرسة أسرع .
وأفضل بواسطة محركات البحث ، والأخطاء ، وإخفاء محتوى مهم عن برامج الزحف ، سيؤدي في النهاية إلى فقدان حركة المرور ومشاكل الفهرسة.
4.سجل Robots.txt
نحن على يقين من أن معظمكم على دراية بملف robots.txt في الوقت الحالي ، ولكن فقط في حالة أنك سمعت عنه منذ فترة ونسيته منذ ذلك الحين.
فإن معايير استبعاد الروبوتات كما هي معروفة رسميًا ، هي الطريقة التي يتواصل بها موقع الويب برامج زحف الويب أو برامج الروبوت الأخرى على الويب.
إنه في الأساس ملف نصي ، يحتوي على تعليمات قصيرة ، يوجه برامج الزحف إلى أجزاء معينة من موقع الويب أو بعيدًا عنها. عادة ما يتم تدريب الروبوتات .
على البحث عن هذا المستند عندما تصل إلى موقع ويب وتلتزم بتوجيهاته. لا تتوافق بعض برامج الروبوت مع هذا المعيار ، مثل برامج تجميع البريد الإلكتروني .
أو البريد العشوائي أو برامج الروبوت الخبيثة التي ليس لديها أفضل النوايا عندما تصل إلى موقعك على الويب.
5.ما مدى أهمية Robots.txt لموقع الويب الخاص بك؟
للحصول على فهم أفضل لها ، فكر في ملف robots.txt كمرشد سياحي للزواحف وبرامج الروبوت. يأخذ الزوار غير البشر إلى المناطق المدهشة.
من الموقع حيث المحتوى ويظهر لهم ما هو المهم أن تكون وليس للفهرسة. كل هذا يتم بمساعدة بعض الأسطر بتنسيق ملف txt. يمكن أن يؤدي وجود دليل روبوت.
ذو خبرة جيدة إلى زيادة سرعة فهرسة موقع الويب ، مما يقلل من الوقت الذي تمر به الروبوتات في سطور التعليمات البرمجية للعثور على المحتوى الذي يبحث عنه المستخدمون في SERPs.
6.كيفية التحقق من صحة ملف robots.txt الخاص بك
أول شيء بمجرد حصولك على ملف الروبوتات هو التأكد من كتابته بشكل جيد والتحقق من الأخطاء. يمكن لخطأ واحد هنا أن يسبب لك الكثير من الضرر.
لذلك بعد الانتهاء من ملف robots.txt ، عليك توخي مزيد من الحذر في التحقق من وجود أي خطأ فيه ، وتوفر معظم محركات البحث أدواتها الخاصة للتحقق من ملفات robots.txt.
و حتى تسمح لك برؤية كيفية رؤية برامج الزحف لموقعك على الويب.تقدم أدوات مشرفي المواقع من Google أداة اختبار robots.txt.
وهي أداة تقوم بمسح ملفك وتحليله. كما ترى في الصورة أدناه ، يمكنك استخدام اختبار الروبوتات GWT للتحقق من كل سطر ورؤية كل زاحف وما هو الوصول إليه على موقع الويب الخاص بك.
تعرض الأداة التاريخ والوقت لجلب Googlebot ملف الروبوتات من موقعك على الويب ، ورمز html الذي تمت مصادفته ، بالإضافة إلى المناطق وعناوين URL.
التي لم يتمكن من الوصول إليها. يجب إصلاح أي أخطاء تم العثور عليها بواسطة المختبر نظرًا لأنها قد تؤدي إلى مشاكل في الفهرسة لموقعك على الويب ولا يمكن أن يظهر موقعك في SERPs.
› كيف تجعل روابط صفحات مدونتك URL الخاص بك محبب لدى محركات البحث
7.تأكد من عدم استبعاد صفحات مهمة من فهرس Google
إن وجود ملف robot.txt تم التحقق منه لا يكفي لضمان امتلاكك لملفات روبوت رائعة. لا يمكننا التأكيد على هذا بما فيه الكفاية ، ولكن وجود سطر واحد في برامج الروبوت .
لديك يمنع الزحف إلى جزء محتوى مهم من موقعك يمكن أن يضر بك. لذلك للتأكد من عدم استبعاد صفحات مهمة من فهرس Google ، يمكنك استخدام .
نفس الأدوات التي استخدمتها للتحقق من صحة ملف robot.txt.
8.كيفية تتبع التغييرات غير المصرح بها في ملف robots.txt الخاص بك
كل شيء على ما يرام الآن ، اكتمل ملف robot.txt ، وتم التحقق منه ، وتأكدت من عدم وجود أخطاء أو صفحات مهمة مستبعدة من زحف Google.
الخطوة التالية هي التأكد من عدم قيام أي شخص بإجراء أي تغييرات على المستند دون معرفتك به. لا يتعلق الأمر فقط بالتغييرات التي تم إجراؤها على الملف .
بل يجب أن تكون على دراية بأي أخطاء تظهر أثناء استخدام مستند robots.txt.
ملف robots.txt
يجب القيام ببعض الامور
- قم بتغير Domin برابط موقعك
- بالنسبة الامر Disallow: ادا اردة أرشفة الصفحاة تقوم باضافة رابط الى الامر
- ادا اريدة ا يتم فهرستها لا تقوم باضافة اي شيئ لامر
للمزيد من التوضيح كما عودناكم على مدونة شروحات للمعلوميات شروحات دائما مرفوقة بالدرس فرجة ممتعة
› يمنكن مشاهدة : #دورة بلوجر
› مصادر : robots.txt
إرسال تعليق