طلب منا أحد قرائنا مؤخرًا نصائح حول كيفية تحسين ملف robots.txt لتحسين مُحسّنات محرّكات البحث.
يخبر ملف Robots.txt محركات البحث بكيفية الزحف إلى موقع الويب الخاص بك مما يجعله أداة تحسين محركات البحث قوية بشكل لا يصدق.
في هذه المقالة ، سنوضح لك كيفية إنشاء ملف robots.txt مثالي لتحسين محركات البحث.
استخدام ملف robots.txt في ووردبريس لتحسين مُحسنات محركات البحث
Robots.txt هو ملف نصي يمكن لمالكي مواقع الويب إنشاؤه لإخبار روبوتات محرك البحث بكيفية الزحف إلى الصفحات وفهرستها على مواقعهم.
يتم تخزينه عادةً في الدليل الجذر ، المعروف أيضًا باسم المجلد الرئيسي ، لموقع الويب الخاص بك. يبدو التنسيق الأساسي لملف robots.txt على النحو التالي:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]يمكن أن يكون لديك عدة أسطر من التعليمات للسماح أو عدم السماح بعناوين URL محددة وإضافة خرائط مواقع متعددة. إذا لم تمنع عنوان URL ، فإن روبوتات محرك البحث تفترض أنه مسموح لها بالزحف إليه.
هذا هو الشكل الذي يمكن أن يبدو عليه ملف robots.txt كمثال:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xmlفي مثال ملف robots.txt أعلاه ، سمحنا لمحركات البحث بالزحف إلى الملفات وفهرستها في مجلد تحميلات ووردبريس.
بعد ذلك ، منعنا روبوتات البحث من الزحف إلى المكونات الإضافية ومجلدات إدارة ووردبريس وفهرستها.
أخيرًا ، قدمنا عنوان URL لخريطة موقع XML الخاصة بنا.
إذا لم يكن لديك ملف robots.txt ، فستستمر محركات البحث في الزحف إلى موقع الويب الخاص بك وفهرسته. ومع ذلك ، لن تتمكن من إخبار محركات البحث بالصفحات أو المجلدات التي لا ينبغي عليهم الزحف إليها.
لن يكون لهذا تأثير كبير عندما تبدأ مدونة ولا تحتوي على الكثير من المحتوى.
ومع ذلك ، مع نمو موقع الويب الخاص بك ولديك الكثير من المحتوى ، فمن المحتمل أن ترغب في التحكم بشكل أفضل في كيفية الزحف إلى موقع الويب الخاص بك وفهرسته.
إليكم السبب.
تحتوي روبوتات البحث على حصة زحف لكل موقع ويب.
هذا يعني أنهم يزحفون إلى عدد معين من الصفحات أثناء جلسة الزحف. إذا لم ينتهوا من الزحف إلى جميع الصفحات على موقعك ، فسيعودون ويستأنفوا الزحف في الجلسة التالية.
هذا يمكن أن يبطئ معدل فهرسة موقع الويب الخاص بك.
يمكنك إصلاح ذلك عن طريق عدم السماح لروبوتات البحث بمحاولة الزحف إلى صفحات غير ضرورية مثل صفحات مسؤول ووردبريس وملفات المكونات الإضافية ومجلد السمات.
من خلال عدم السماح للصفحات غير الضرورية ، فإنك تحفظ حصة الزحف الخاصة بك. يساعد هذا محركات البحث في الزحف إلى المزيد من الصفحات على موقعك وفهرستها في أسرع وقت ممكن.
سبب وجيه آخر لاستخدام ملف robots.txt هو عندما تريد منع محركات البحث من فهرسة منشور أو صفحة على موقع الويب الخاص بك.
إنها ليست الطريقة الأكثر أمانًا لإخفاء المحتوى عن عامة الناس ، ولكنها ستساعدك على منعهم من الظهور في نتائج البحث.
تستخدم العديد من المدونات الشهيرة ملف robots.txt بسيطًا جدًا. قد يختلف محتواها حسب احتياجات الموقع المحدد:
User-agent: *
Disallow:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xmlيسمح ملف robots.txt لجميع الروبوتات بفهرسة كل المحتوى ويوفر لهم رابطًا إلى خرائط مواقع XML الخاصة بموقع الويب .
بالنسبة إلى مواقع ووردبريس ، نوصي بالقواعد التالية في ملف robots.txt:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xmlهذا يخبر روبوتات البحث بفهرسة جميع صور وملفات ووردبريس. لا يسمح لروبوتات البحث من فهرسة ملفات البرنامج المساعد ووردبريس ، ومنطقة إدارة ووردبريس ، وملف ووردبريس التمهيدي ، والروابط التابعة.
بإضافة خرائط المواقع إلى ملف robots.txt ، فإنك تسهل على روبوتات Google العثور على جميع الصفحات الموجودة على موقعك.
الآن بعد أن تعرفت على شكل ملف robots.txt المثالي ، دعنا نلقي نظرة على كيفية إنشاء ملف robots.txt في ووردبريس.
هناك طريقتان لإنشاء ملف robots.txt في ووردبريس. يمكنك اختيار الطريقة التي تناسبك.
All in One SEO المعروف أيضًا باسم AIOSEO هو أفضل مكون إضافي لـ ووردبريس SEO في السوق يستخدمه أكثر من مليوني موقع ويب.
إنه سهل الاستخدام ويأتي مع منشئ ملفات robots.txt.
إذا لم يكن لديك بالفعل المكون الإضافي AIOSEO مثبتًا ، فيمكنك الاطلاع على دليلنا خطوة بخطوة حول كيفية تثبيت مكون ووردبريس الإضافي .
ملاحظة: يتوفر أيضًا إصدار مجاني من AIOSEO وبه هذه الميزة.
بمجرد تثبيت المكون الإضافي وتنشيطه ، يمكنك استخدامه لإنشاء وتحرير ملف robots.txt الخاص بك مباشرة من منطقة إدارة ووردبريس الخاصة بك.
ما عليك سوى الانتقال إلى All in One SEO »أدوات لتعديل ملف robots.txt الخاص بك.
محرر AIOSEO robots.txt
أولاً ، ستحتاج إلى تشغيل خيار التحرير ، بالنقر فوق الزر “تمكين ملف Robots.txt المخصص” إلى اللون الأزرق.
باستخدام هذا التبديل ، يمكنك إنشاء ملف robots.txt مخصص في ووردبريس.
تقوم AIOSEO بتمكين ملف robots.txt المخصص
سيعرض All in One SEO ملف robots.txt الحالي في قسم “معاينة ملف Robots.txt” أسفل الشاشة.
سيعرض هذا الإصدار القواعد الافتراضية التي تمت إضافتها بواسطة ووردبريس.
قواعد Robots.txt الافتراضية
تخبر هذه القواعد الافتراضية محركات البحث بعدم الزحف إلى ملفات ووردبريس الأساسية الخاصة بك ، وتسمح للروبوتات بفهرسة كل المحتوى ، وتوفر لهم رابطًا إلى خرائط مواقع XML الخاصة بموقعك.
الآن ، يمكنك إضافة القواعد المخصصة الخاصة بك لتحسين ملف robots.txt لتحسين محركات البحث.
لإضافة قاعدة ، أدخل وكيل المستخدم في حقل “وكيل المستخدم”. سيؤدي استخدام * إلى تطبيق القاعدة على جميع وكلاء المستخدم.
ثم حدد ما إذا كنت تريد “السماح” أو “عدم السماح” لمحركات البحث بالزحف.
بعد ذلك ، أدخل اسم الملف أو مسار الدليل في حقل “مسار الدليل”.
أضف قاعدة في ملف robots.txt
سيتم تطبيق القاعدة تلقائيًا على ملف robots.txt الخاص بك. لإضافة قاعدة أخرى ، انقر فوق الزر “إضافة قاعدة”.
نوصي بإضافة القواعد حتى تقوم بإنشاء تنسيق robots.txt المثالي الذي شاركناه أعلاه.
ستبدو قواعدك المخصصة هكذا.
ملف القواعد المخصصة Robots.txt
بمجرد الانتهاء من ذلك ، لا تنس النقر فوق الزر “حفظ التغييرات” لتخزين تغييراتك.
لهذه الطريقة ، ستحتاج إلى استخدام عميل FTP لتحرير ملف robots.txt.
ما عليك سوى الاتصال بحساب استضافة ووردبريس الخاص بك باستخدام عميل FTP.
بمجرد الدخول ، ستتمكن من رؤية ملف robots.txt في المجلد الجذر لموقع الويب الخاص بك.
اتصال FTP robots.txt
إذا كنت لا ترى واحدة ، فمن المحتمل ألا يكون لديك ملف robots.txt.
في هذه الحالة ، يمكنك المضي قدمًا وإنشاء واحدة.
إنشاء اتصال FTP بإنشاء ملف robots.txt
Robots.txt هو ملف نصي عادي ، مما يعني أنه يمكنك تنزيله على جهاز الكمبيوتر الخاص بك وتحريره باستخدام أي محرر نص عادي مثل Notepad أو TextEdit.
بعد حفظ التغييرات ، يمكنك تحميلها مرة أخرى إلى المجلد الجذر لموقع الويب الخاص بك.
بمجرد إنشاء ملف robots.txt الخاص بك ، فمن الأفضل دائمًا اختباره باستخدام أداة اختبار ملف robots.txt.
هناك العديد من أدوات اختبار ملف robots.txt ، لكننا نوصي باستخدام الأداة الموجودة داخل Google Search Console .
أولاً ، ستحتاج إلى ربط موقع الويب الخاص بك بـ Google Search Console. إذا لم تكن قد قمت بذلك حتى الآن ، فراجع دليلنا حول كيفية إضافة موقع ووردبريس الخاص بك إلى Google Search Console .
بعد ذلك ، يمكنك استخدام Google Search Console Robots Test Tool .
حدد أداة اختبار ملف robots.txt الخاصة بموقع الويب
ببساطة اختر الممتلكات الخاصة بك من القائمة المنسدلة.
ستقوم الأداة تلقائيًا بجلب ملف robots.txt لموقع الويب الخاص بك وتمييز الأخطاء والتحذيرات إذا وجدت أيًا منها.
نتائج اختبار Robots.txt
الهدف من تحسين ملف robots.txt هو منع محركات البحث من الزحف إلى الصفحات غير المتاحة للجمهور. على سبيل المثال ، الصفحات الموجودة في مجلد wp-plugins أو الصفحات الموجودة في مجلد مسؤول ووردبريس الخاص بك.
هناك خرافة شائعة بين خبراء تحسين محركات البحث وهي أن حظر فئة ووردبريس والعلامات وصفحات الأرشيف سيؤدي إلى تحسين معدل الزحف ويؤدي إلى فهرسة أسرع وترتيب أعلى.
هذا ليس صحيحا. إنه أيضًا مخالف لإرشادات مشرفي المواقع من Google.
نوصي باتباع تنسيق robots.txt أعلاه لإنشاء ملف robots.txt لموقعك على الويب.
نأمل أن تساعدك هذه المقالة في تعلم كيفية تحسين ملف robots.txt في ووردبريس من أجل تحسين محركات البحث. قد ترغب أيضًا في الاطلاع على دليل تحسين محركات البحث في ووردبريس وأفضل أدوات تحسين محركات البحث لـ ووردبريس لتنمية موقع الويب الخاص بك.
نأمل أن تساعدك هذه المقالة في تعلم كيفية تغيير نظام ألوان الادمن في الووردبريس. قد ترغب أيضًا في رؤية مختارات حول الإضافات (بلجن) في الووردبريس ودليلنا حول كيفية اختيار أفضل شركات حجز النطاقات والاستضافات وكيفية التعامل معها.
إذا أعجبك هذا المقال ، فيرجى الاشتراك في قناتنا على اليوتيوب لدروس فيديو في الووردبريس. ويمكنك أيضًا أن تجدنا على فيسبوك وتويتير وانستجرام وتيكتوك، لطفاً لا تنسى متابعتنا، فنحن نسعد برؤيتك..
