انشاء ملف robots.txt بالطريقة الاحترافية

 انشاء ملف robots.txt بالطريقة الاحترافية

Robots.txt هو ملف نصي يسمح لموقع الويب بتقديم إرشادات لروبوتات الزحف على الويب.

تستخدم محركات البحث مثل Google برامج زحف الويب هذه ، والتي تسمى أحيانًا روبوتات الويب ، لأرشفة مواقع الويب وتصنيفها. يتم تكوين معظم برامج الروبوت للبحث عن ملف robots.txt على الخادم قبل أن يقرأ أي ملف آخر من موقع الويب. يقوم بذلك لمعرفة ما إذا كان لدى مالك موقع الويب بعض الإرشادات الخاصة حول كيفية الزحف إلى موقعه وفهرسته.

يحتوي ملف robots.txt على مجموعة من الإرشادات التي تطلب من الروبوت تجاهل ملفات أو أدلة معينة. قد يكون هذا لغرض الخصوصية أو لأن مالك موقع الويب يعتقد أن محتويات تلك الملفات والأدلة لا علاقة لها بتصنيف موقع الويب في محركات البحث.

إذا كان موقع الويب يحتوي على أكثر من نطاق فرعي ، فيجب أن يكون لكل نطاق فرعي ملف robots.txt خاص به. من المهم ملاحظة أنه لن تحترم جميع برامج الروبوت ملف robots.txt. حتى أن بعض برامج الروبوت الخبيثة ستقرأ ملف robots.txt للعثور على الملفات والأدلة التي يجب أن تستهدفها أولاً. وأيضًا ، حتى إذا كان ملف robots.txt يوجه برامج الروبوت لتجاهل صفحات معينة على الموقع ، فقد تستمر هذه الصفحات في الظهور في نتائج البحث التي ترتبط بها الصفحات الأخرى التي تم الزحف إليها.

كيفية تحسين ملف Robots.txt في WordPress لتحسين محركات البحث

طلب منا أحد قرائنا مؤخرًا نصائح حول كيفية تحسين ملف robots.txt لتحسين مُحسّنات محرّكات البحث.

يخبر ملف Robots.txt محركات البحث بكيفية الزحف إلى موقع الويب الخاص بك مما يجعله أداة تحسين محركات البحث قوية بشكل لا يصدق.

في هذه المقالة ، سنوضح لك كيفية إنشاء ملف robots.txt مثالي لتحسين محركات البحث.

ما هو ملف robots.txt؟

Robots.txt هو ملف نصي يمكن لمالكي مواقع الويب إنشاؤه لإخبار روبوتات محركات البحث بكيفية الزحف إلى الصفحات وفهرستها على مواقعهم.

يتم تخزينه عادةً في الدليل الجذر ، المعروف أيضًا باسم المجلد الرئيسي ، لموقع الويب الخاص بك. يبدو التنسيق الأساسي لملف robots.txt على النحو التالي:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
 
User-agent: [user-agent name]
Allow: [URL string to be crawled]
 
 
Sitemap: [URL of your XML Sitemap]

يمكن أن يكون لديك عدة أسطر من التعليمات للسماح أو عدم السماح بعناوين URL محددة وإضافة خرائط مواقع متعددة. إذا لم تمنع عنوان URL ، فستفترض روبوتات محرك البحث أنه مسموح لها بالزحف إليه.

هذا هو الشكل الذي يمكن أن يبدو عليه ملف robots.txt كمثال:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
 
Sitemap: https://example.com/sitemap_index.xml

في مثال ملف robots.txt أعلاه ، سمحنا لمحركات البحث بالزحف إلى الملفات وفهرستها في مجلد تحميلات WordPress.

بعد ذلك ، منعنا روبوتات البحث من الزحف إلى المكونات الإضافية وفهرستها ومجلدات إدارة WordPress.

أخيرًا ، قدمنا ​​عنوان URL لخريطة موقع XML الخاصة بنا.

هل تحتاج إلى ملف Robots.txt لموقع WordPress الخاص بك؟

إذا لم يكن لديك ملف robots.txt ، فستستمر محركات البحث في الزحف إلى موقع الويب الخاص بك وفهرسته. ومع ذلك ، لن تتمكن من إخبار محركات البحث بالصفحات أو المجلدات التي لا ينبغي عليهم الزحف إليها.

لن يكون لهذا تأثير كبير عندما تبدأ مدونة ولا تحتوي على الكثير من المحتوى.

ومع ذلك ، مع نمو موقع الويب الخاص بك ولديك الكثير من المحتوى ، فمن المحتمل أن ترغب في التحكم بشكل أفضل في كيفية الزحف إلى موقع الويب الخاص بك وفهرسته.

إليكم السبب.

تحتوي روبوتات البحث على حصة زحف لكل موقع ويب.

هذا يعني أنهم يزحفون إلى عدد معين من الصفحات أثناء جلسة الزحف. إذا لم ينتهوا من الزحف إلى جميع الصفحات على موقعك ، فسيعودون ويستأنفوا الزحف في الجلسة التالية.

هذا يمكن أن يبطئ معدل فهرسة موقع الويب الخاص بك.

يمكنك إصلاح ذلك عن طريق عدم السماح لروبوتات البحث بمحاولة الزحف إلى صفحات غير ضرورية مثل صفحات مسؤول WordPress وملفات المكونات الإضافية ومجلد السمات.

من خلال عدم السماح للصفحات غير الضرورية ، فإنك تحفظ حصة الزحف الخاصة بك. يساعد هذا محركات البحث في الزحف إلى المزيد من الصفحات على موقعك وفهرستها في أسرع وقت ممكن.

سبب وجيه آخر لاستخدام ملف robots.txt هو عندما تريد منع محركات البحث من فهرسة منشور أو صفحة على موقع الويب الخاص بك.

إنها ليست الطريقة الأكثر أمانًا لإخفاء المحتوى عن عامة الناس ، ولكنها ستساعدك على منعهم من الظهور في نتائج البحث.

كيف يبدو ملف Robots.txt المثالي؟

تستخدم العديد من المدونات الشهيرة ملف robots.txt بسيطًا جدًا. قد يختلف محتواها حسب احتياجات الموقع المحدد:

User-agent: *
Disallow:
  
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

يسمح ملف robots.txt لجميع الروبوتات بفهرسة كل المحتوى ويوفر لهم رابطًا إلى خرائط مواقع XML الخاصة بموقع الويب .

بالنسبة إلى مواقع WordPress ، نوصي بالقواعد التالية في ملف robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

هذا يخبر روبوتات البحث بفهرسة جميع صور وملفات WordPress. لا يسمح لروبوتات البحث من فهرسة ملفات WordPress الإضافية ، ومنطقة إدارة WordPress ، وملف WordPress التمهيدي ، والروابط التابعة.

بإضافة خرائط المواقع إلى ملف robots.txt ، فإنك تسهل على روبوتات Google العثور على جميع الصفحات الموجودة على موقعك.

الآن بعد أن تعرفت على شكل ملف robots.txt المثالي ، دعنا نلقي نظرة على كيفية إنشاء ملف robots.txt في WordPress.

كيفية إنشاء ملف Robots.txt في WordPress؟

هناك طريقتان لإنشاء ملف robots.txt في WordPress. يمكنك اختيار الطريقة التي تناسبك.

الطريقة الأولى: تحرير ملف Robots.txt باستخدام All in One SEO

All in One SEO المعروف أيضًا باسم AIOSEO هو أفضل مكون إضافي لـ WordPress SEO في السوق يستخدمه أكثر من مليوني موقع ويب.

إنه سهل الاستخدام ويأتي مع منشئ ملفات robots.txt.

بمجرد تثبيت المكون الإضافي وتنشيطه ، يمكنك استخدامه لإنشاء ملف robots.txt وتحريره مباشرة من منطقة إدارة WordPress الخاصة بك.

ما عليك سوى الانتقال إلى All in One SEO »أدوات لتعديل ملف robots.txt الخاص بك.

أولاً ، ستحتاج إلى تشغيل خيار التحرير ، بالنقر فوق “تمكين ملف Robots.txt المخصص” للتبديل إلى اللون الأزرق.

باستخدام هذا التبديل ، يمكنك إنشاء ملف robots.txt مخصص في WordPress.

سيعرض All in One SEO ملف robots.txt الحالي في قسم “معاينة ملف Robots.txt” أسفل الشاشة.

سيعرض هذا الإصدار القواعد الافتراضية التي تمت إضافتها بواسطة WordPress.

 All in One SEO ملف robots.txt

تخبر هذه القواعد الافتراضية محركات البحث بعدم الزحف إلى ملفات WordPress الأساسية الخاصة بك ، وتسمح للروبوتات بفهرسة كل المحتوى ، وتوفر لهم رابطًا إلى خرائط مواقع XML لموقعك.

الآن ، يمكنك إضافة القواعد المخصصة الخاصة بك لتحسين ملف robots.txt لتحسين محركات البحث.

لإضافة قاعدة ، أدخل وكيل المستخدم في حقل “وكيل المستخدم”. سيؤدي استخدام * إلى تطبيق القاعدة على جميع وكلاء المستخدم.

ثم حدد ما إذا كنت تريد “السماح” أو “عدم السماح” لمحركات البحث بالزحف.

بعد ذلك ، أدخل اسم الملف أو مسار الدليل في حقل “مسار الدليل”.

سيتم تطبيق القاعدة تلقائيًا على ملف robots.txt الخاص بك. لإضافة قاعدة أخرى ، انقر فوق الزر “إضافة قاعدة”.

نوصي بإضافة القواعد حتى تقوم بإنشاء تنسيق robots.txt المثالي الذي شاركناه أعلاه.

ستبدو قواعدك المخصصة هكذا.

بمجرد الانتهاء من ذلك ، لا تنس النقر فوق الزر “حفظ التغييرات” لتخزين تغييراتك.

الطريقة الثانية: قم بتحرير ملف Robots.txt يدويًا باستخدام FTP

لهذه الطريقة ، ستحتاج إلى استخدام عميل FTP لتحرير ملف robots.txt.

ما عليك سوى الاتصال بحساب استضافة WordPress الخاص بك باستخدام عميل FTP.

بمجرد الدخول ، ستتمكن من رؤية ملف robots.txt في المجلد الجذر لموقع الويب الخاص بك.

Robots.txt هو ملف نصي عادي ، مما يعني أنه يمكنك تنزيله على جهاز الكمبيوتر الخاص بك وتحريره باستخدام أي محرر نص عادي مثل Notepad أو TextEdit.

بعد حفظ التغييرات ، يمكنك تحميلها مرة أخرى إلى المجلد الجذر لموقع الويب الخاص بك.

كيف تختبر ملف Robots.txt الخاص بك؟

بمجرد إنشاء ملف robots.txt الخاص بك ، فمن الأفضل دائمًا اختباره باستخدام أداة اختبار ملف robots.txt.

هناك العديد من أدوات اختبار ملف robots.txt ، لكننا نوصي باستخدام الأداة الموجودة داخل Google Search Console .

أولاً ، ستحتاج إلى ربط موقع الويب الخاص بك بـ Google Search Console. إذا لم تكن قد قمت بذلك حتى الآن ، فراجع دليلنا حول كيفية إضافة موقع WordPress الخاص بك إلى Google Search Console .

بعد ذلك ، يمكنك استخدام Google Search Console Robots Test Tool .

ببساطة اختر الممتلكات الخاصة بك من القائمة المنسدلة.

ستقوم الأداة تلقائيًا بجلب ملف robots.txt لموقع الويب الخاص بك وتمييز الأخطاء والتحذيرات إذا وجدت أيًا منها.

Google Search Console Robots Test Tool

افكار اخيرة

الهدف من تحسين ملف robots.txt هو منع محركات البحث من الزحف إلى الصفحات غير المتاحة للجمهور. على سبيل المثال ، الصفحات الموجودة في مجلد wp-plugins أو الصفحات الموجودة في مجلد مسؤول WordPress الخاص بك.

هناك خرافة شائعة بين خبراء تحسين محركات البحث وهي أن حظر فئة WordPress والعلامات وصفحات الأرشيف سيؤدي إلى تحسين معدل الزحف ويؤدي إلى فهرسة أسرع وترتيب أعلى.

هذا ليس صحيحا. إنه أيضًا مخالف لإرشادات مشرفي المواقع من Google.

نوصي باتباع تنسيق robots.txt أعلاه لإنشاء ملف robots.txt لموقعك على الويب.