هل سمعت يومًا بمصطلح robots.txt وتساءلت عن كيفية تطبيقه على موقع الويب الخاص بك؟ تحتوي معظم مواقع الويب على ملف robots.txt ، لكن هذا لا يعني أن معظم مشرفي المواقع يفهمونه. في هذا المنشور ، نأمل في تغيير ذلك من خلال تقديم نظرة عميقة في ملف وورد بريس robots.txt ، بالإضافة إلى كيفية التحكم في الوصول إلى موقعك والحد منه. في النهاية ، ستتمكن من الإجابة على أسئلة مثل:
قبل أن نتحدث عن ملف robots.txt في وورد بريس ، من المهم تحديد “الروبوت” في هذه الحالة. الروبوتات هي أي نوع من أنواع “الروبوتات” التي تزور مواقع الويب على الإنترنت. المثال الأكثر شيوعًا هو برامج زحف محركات البحث. تقوم هذه الروبوتات “بالزحف” حول الويب لمساعدة محركات البحث مثل فهرس Google وترتيب مليارات الصفحات على الإنترنت.
لذا ، فإن الروبوتات بشكل عام شيء جيد للإنترنت … أو على الأقل شيء ضروري. لكن هذا لا يعني بالضرورة أنك أنت أو مشرفي المواقع الآخرين يريدون أن تعمل الروبوتات دون قيود. أدت الرغبة في التحكم في كيفية تفاعل روبوتات الويب مع مواقع الويب إلى إنشاء معيار استبعاد الروبوتات في منتصف التسعينيات. Robots.txt هو التطبيق العملي لهذا المعيار – فهو يسمح لك بالتحكم في كيفية تفاعل الروبوتات المشاركة مع موقعك . يمكنك حظر برامج الروبوت تمامًا ، وتقييد وصولها إلى مناطق معينة من موقعك ، والمزيد.
هذا الجزء “المشاركة” مهم ، بالرغم من ذلك. لا يمكن لملف Robots.txt إجبار الروبوت على اتباع توجيهاته. ويمكن أن تتجاهل الروبوتات الضارة ملف robots.txt وستتجاهلها. بالإضافة إلى ذلك ، حتى المؤسسات ذات السمعة الطيبة تتجاهل بعض الأوامر التي يمكنك وضعها في ملف Robots.txt. على سبيل المثال ، ستتجاهل Google أي قواعد تضيفها إلى ملف robots.txt الخاص بك حول عدد مرات زيارة برامج الزحف. إذا كنت تواجه الكثير من المشكلات مع برامج الروبوت ، يمكن أن يكون الحل الأمني مثل Cloudflare أو Sucuri مفيدًا.
بالنسبة لمعظم مشرفي المواقع ، تتلخص فوائد ملف robots.txt حسن التنظيم في فئتين:
تحسين موارد الزحف لمحركات البحث عن طريق إخبارهم بعدم إضاعة الوقت في الصفحات التي لا تريد فهرستها. يساعد هذا في ضمان تركيز محركات البحث على الزحف إلى الصفحات التي تهتم بها أكثر من غيرها.
تحسين استخدام الخادم الخاص بك عن طريق حظر الروبوتات التي تهدر الموارد.
Robots.txt ليس طريقة مضمونة للتحكم في الصفحات التي تقوم محركات البحث بفهرستها. إذا كان هدفك الأساسي هو إيقاف تضمين صفحات معينة في نتائج محرك البحث ، فإن الأسلوب الصحيح هو استخدام علامة meta noindex أو طريقة مباشرة أخرى مماثلة.
هذا لأن ملف robots.txt الخاص بك لا يخبر محركات البحث بشكل مباشر بعدم فهرسة المحتوى – إنه يخبرهم فقط بعدم الزحف إليه. بينما لن يقوم محرك بحث Google بالزحف إلى المناطق التي تم وضع علامة عليها من داخل موقعك ، فإن Google نفسها تنص على أنه إذا كان هناك موقع خارجي يرتبط بصفحة استبعدتها باستخدام ملف Robots.txt ، فلا يزال بإمكان Google فهرسة هذه الصفحة.
أكد John Mueller ، محلل مشرفي المواقع من Google ، أيضًا أنه إذا كانت الصفحة تحتوي على روابط تشير إليها ، حتى لو تم حظرها بواسطة ملف robots.txt ، فقد يستمر فهرستها . فيما يلي ما قاله في جلسة Hangout المركزية لمشرفي المواقع:
هناك شيء واحد يجب أخذه في الاعتبار هنا وهو أنه إذا تم حظر هذه الصفحات بواسطة ملف robots.txt ، فقد يحدث نظريًا أن يقوم شخص ما بشكل عشوائي بالارتباط بإحدى هذه الصفحات. وإذا فعلوا ذلك ، فقد يحدث أننا نفهرس عنوان URL هذا بدون أي محتوى لأنه تم حظره بواسطة ملف robots.txt. لذلك لن نعرف أنك لا تريد فهرسة هذه الصفحات فعليًا.
بينما إذا لم يتم حظرها بواسطة ملف robots.txt ، يمكنك وضع علامة وصفية noindex على تلك الصفحات. وإذا حدث أن قام أي شخص بالارتباط بها ، وحدث أن قمنا بالزحف إلى هذا الرابط واعتقدنا أنه ربما يوجد شيء مفيد هنا ، فسنعلم أن هذه الصفحات لا تحتاج إلى الفهرسة ويمكننا فقط تخطيها من الفهرسة تمامًا.
لذلك ، في هذا الصدد ، إذا كان لديك أي شيء في هذه الصفحات لا تريد فهرسته ، فلا تمنعه ، فاستخدم noindex بدلاً من ذلك.
بشكل افتراضي ، يقوم وورد بريس تلقائيًا بإنشاء ملف robots.txt افتراضي لموقعك. لذلك حتى إذا لم تحرك ساكنا ، يجب أن يحتوي موقعك بالفعل على ملف robots.txt الافتراضي. يمكنك اختبار ما إذا كانت هذه هي الحالة من خلال إلحاق “/robots.txt” بنهاية اسم المجال الخاص بك. على سبيل المثال ، يعرض “https://kinsta.com/robots.txt” ملف robots.txt الذي نستخدمه هنا في Kinsta:
مثال على ملف Robots.txt
مثال على ملف Robots.txt
نظرًا لأن هذا الملف افتراضي ، فلا يمكنك تحريره. إذا كنت ترغب في تعديل ملف robots.txt الخاص بك ، فستحتاج بالفعل إلى إنشاء ملف فعلي على خادمك يمكنك معالجته حسب الحاجة. فيما يلي ثلاث طرق بسيطة للقيام بذلك …
إذا كنت تستخدم المكون الإضافي Yoast SEO الشهير ، فيمكنك إنشاء (وتحرير لاحقًا) ملف robots.txt الخاص بك مباشرةً من واجهة Yoast. قبل أن تتمكن من الوصول إليه ، على الرغم من ذلك ، تحتاج إلى تمكين ميزات Yoast SEO المتقدمة من خلال الانتقال إلى SEO → Dashboard → الميزات والتبديل في صفحات الإعدادات المتقدمة :
كيفية تمكين ميزات Yoast المتقدمة
كيفية تمكين ميزات Yoast المتقدمة
بمجرد تنشيط ذلك ، يمكنك الانتقال إلى SEO → Tools والنقر فوق محرر الملفات :
كيفية الوصول إلى محرر ملف Yoast
كيفية الوصول إلى محرر ملف Yoast
بافتراض أنك لا تملك بالفعل ملف Robots.txt فعليًا ، سيمنحك Yoast خيارًا لإنشاء ملف robots.txt :
كيفية إنشاء ملف robots.txt في ملف yoast
كيفية إنشاء ملف robots.txt في Yoast
وبمجرد النقر فوق هذا الزر ، ستتمكن من تحرير محتويات ملف Robots.txt الخاص بك مباشرةً من نفس الواجهة:
كيفية تحرير ملف Robots.txt في Yoast
كيفية تحرير ملف Robots.txt في Yoast
أثناء القراءة ، سنبحث أكثر في أنواع التوجيهات التي يجب وضعها في ملف وورد بريس robots.txt الخاص بك.
إذا كنت تستخدم المكون الإضافي لـ Yoast All in One SEO Pack المشهور تقريبًا ، فيمكنك أيضًا إنشاء وتعديل ملف وورد بريس robots.txt الخاص بك مباشرةً من واجهة البرنامج المساعد. كل ما عليك القيام به هو الذهاب إلى كل مدير في ميزة واحدة SEO → و تنشيط لل ملف Robots.txt ميزة:
كيفية إنشاء ملف Robots.txt في مُحسّنات محرّكات البحث الكل في واحد
كيفية إنشاء ملف Robots.txt في مُحسّنات محرّكات البحث الكل في واحد
بعد ذلك ، ستتمكن من إدارة ملف Robots.txt الخاص بك بالانتقال إلى All in One SEO → Robots.txt:
كيفية تحرير Robots.txt في All In One SEO
كيفية تحرير Robots.txt في All In One SEO
إذا كنت لا تستخدم مكونًا إضافيًا لتحسين محركات البحث (SEO) يوفر وظائف robots.txt ، فلا يزال بإمكانك إنشاء ملف robots.txt وإدارته عبر SFTP. أولاً ، استخدم أي محرر نصوص لإنشاء ملف فارغ باسم “robots.txt”:
كيفية إنشاء ملف Robots.txt الخاص بك
كيفية إنشاء ملف Robots.txt الخاص بك
بعد ذلك ، اتصل بموقعك عبر SFTP وقم بتحميل هذا الملف إلى المجلد الجذر لموقعك. يمكنك إجراء المزيد من التعديلات على ملف robots.txt الخاص بك عن طريق تحريره عبر SFTP أو تحميل إصدارات جديدة من الملف.
حسنًا ، لديك الآن ملف robots.txt فعلي على خادمك يمكنك تعديله حسب الحاجة. لكن ماذا تفعل فعلاً بهذا الملف؟ حسنًا ، كما تعلمت في القسم الأول ، يتيح لك ملف robots.txt التحكم في كيفية تفاعل الروبوتات مع موقعك. يمكنك فعل ذلك بأمرين أساسيين:
وكيل المستخدم – يتيح لك هذا استهداف روبوتات محددة. وكلاء المستخدم هم ما تستخدمه الروبوتات لتعريف نفسها. باستخدامهم ، يمكنك ، على سبيل المثال ، إنشاء قاعدة تنطبق على Bing ، ولكن ليس على Google.
Disallow – يسمح لك هذا بإخبار الروبوتات بعدم الوصول إلى مناطق معينة من موقعك.
هناك أيضًا أمر السماح الذي ستستخدمه في المواقف المتخصصة. بشكل افتراضي ، يتم تمييز كل شيء على موقعك بعلامة Allow ، لذلك ليس من الضروري استخدام الأمر Allow في 99٪ من المواقف. ولكنه يكون مفيدًا حيث تريد عدم السماح بالوصول إلى مجلد ومجلداته الفرعية ولكن مع السماح بالوصول إلى مجلد فرعي معين.
يمكنك إضافة القواعد عن طريق تحديد وكيل المستخدم الذي يجب أن تنطبق عليه القاعدة أولاً ثم سرد القواعد التي يجب تطبيقها باستخدام Disallow و Allow . هناك أيضًا بعض الأوامر الأخرى مثل Crawl-delay و Sitemap ، ولكن هذه إما:
تم تجاهله من قِبل معظم برامج الزحف الرئيسية ، أو تفسيره بطرق مختلفة إلى حد كبير (في حالة تأخير الزحف)
زائدة عن الحاجة بواسطة أدوات مثل Google Search Console (لملفات sitemap)
دعنا ننتقل إلى بعض حالات الاستخدام المحددة لنوضح لك كيف يتكامل كل هذا معًا.
لنفترض أنك تريد منع كل وصول الزاحف إلى موقعك. من غير المحتمل أن يحدث هذا على موقع مباشر ، ولكنه يكون مفيدًا لموقع التطوير. للقيام بذلك ، يمكنك إضافة هذا الرمز إلى ملف وورد بريس robots.txt الخاص بك:
User-agent: *
Disallow: /ما الذي يحدث في هذا الرمز؟
علامة النجمة * الموجودة بجوار User-agent تعني “جميع وكلاء المستخدم”. العلامة النجمية هي حرف بدل ، مما يعني أنها تنطبق على كل وكيل مستخدم. تشير / الشرطة المائلة الموجودة بجوار Disallow إلى أنك تريد عدم السماح بالوصول إلى جميع الصفحات التي تحتوي على “yourdomain.com/” (وهي كل صفحة منفردة على موقعك).
دعونا نغير الأمور. في هذا المثال ، سوف نتظاهر بأنك لا تحب حقيقة أن Bing يزحف إلى صفحاتك. أنت فريق Google على طول الطريق ولا تريد حتى أن ينظر Bing إلى موقعك. لمنع Bing فقط من الزحف إلى موقعك ، يمكنك استبدال علامة النجمة * wildcard بـ Bingbot:
تريد أن تعرف كيف زدنا من حركة المرور لدينا أكثر من 1000 ٪؟
انضم إلى أكثر من 20000 آخرين ممن يتلقون رسائلنا الإخبارية الأسبوعية مع نصائح من الداخل حول وورد بريس!
إشترك الآن
User-agent: Bingbot
Disallow: /بشكل أساسي ، تنص الكود أعلاه على تطبيق قاعدة Disallow فقط على برامج الروبوت التي تستخدم وكيل المستخدم “Bingbot” . الآن ، من غير المحتمل أن ترغب في حظر الوصول إلى Bing – لكن هذا السيناريو يكون مفيدًا إذا كان هناك روبوت معين لا تريد الوصول إليه على موقعك. يحتوي هذا الموقع على قائمة جيدة بأسماء وكلاء المستخدم المعروفة لمعظم الخدمات.
في هذا المثال ، لنفترض أنك تريد فقط حظر الوصول إلى ملف أو مجلد معين (وجميع المجلدات الفرعية لهذا المجلد). لجعل هذا ينطبق على وورد بريس ، لنفترض أنك تريد حظر:
مجلد wp-admin بأكمله
ملف wp-login.php
يمكنك استخدام الأوامر التالية:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.phpحسنًا ، لنفترض الآن أنك تريد حظر مجلد بأكمله ، لكنك لا تزال تريد السماح بالوصول إلى ملف معين داخل هذا المجلد. هذا هو المكان الذي يكون فيه أمر السماح مفيدًا. وهو في الواقع قابل للتطبيق بشكل كبير على وورد بريس. في الواقع ، يوضح ملف robots.txt الظاهري لـ وورد بريس هذا المثال تمامًا:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpهذا يمنع المتكررة الوصول إلى كامل / الفسفور الابيض بين المشرف / المجلد باستثناء و /wp-admin/admin-ajax.php الملف.
أحد التعديلات الخاصة بـ وورد بريس التي قد ترغب في إجرائها هو منع برامج زحف البحث من الزحف إلى صفحات نتائج البحث الخاصة بك. بشكل افتراضي ، يستخدم وورد بريس معامل الاستعلام “؟ s =”. لذلك لمنع الوصول ، كل ما عليك فعله هو إضافة القاعدة التالية:
User-agent: *
Disallow: /?s=
Disallow: /search/يمكن أن تكون هذه طريقة فعالة أيضًا لإيقاف أخطاء soft 404 إذا كنت تحصل عليها. تأكد من قراءة دليلنا التفصيلي حول كيفية تسريع البحث في وورد بريس .
حتى الآن ، تعاملت جميع الأمثلة مع قاعدة واحدة في كل مرة. ولكن ماذا لو كنت تريد تطبيق قواعد مختلفة على روبوتات مختلفة؟ تحتاج ببساطة إلى إضافة كل مجموعة من القواعد بموجب إعلان وكيل المستخدم لكل روبوت. على سبيل المثال ، إذا كنت تريد إنشاء قاعدة واحدة تنطبق على جميع برامج الروبوت وقاعدة أخرى تنطبق على Bingbot فقط ، فيمكنك القيام بذلك على النحو التالي :
هل تعاني من مشاكل التوقف و وورد بريس؟ Kinsta هو حل الاستضافة المصمم لتوفير الوقت! تحقق من ميزاتنا
User-agent: *
Disallow: /wp-admin/
User-agent: Bingbot
Disallow: /في هذا المثال ، سيتم حظر جميع برامج الروبوت من الوصول إلى / wp-admin / ، ولكن سيتم حظر Bingbot من الوصول إلى موقعك بالكامل.
يمكنك اختبار ملف وورد بريس robots.txt الخاص بك في Google Search Console للتأكد من أنه تم إعداده بشكل صحيح. ما عليك سوى النقر فوق موقعك ، وضمن “الزحف” ، انقر فوق “اختبار robots.txt”. يمكنك بعد ذلك تقديم أي عنوان URL ، بما في ذلك صفحتك الرئيسية. من المفترض أن ترى علامة ” مسموح بها” خضراء اللون إذا كان كل شيء قابلاً للزحف. يمكنك أيضًا اختبار عناوين URL التي حظرتها للتأكد من أنها محظورة بالفعل أو غير مسموح بها .
اختبر ملف robots.txt
اختبر ملف robots.txt
يرمز BOM إلى علامة ترتيب البايت وهو في الأساس حرف غير مرئي تتم إضافته أحيانًا إلى الملفات بواسطة برامج تحرير النصوص القديمة وما شابه. إذا حدث هذا لملف robots.txt الخاص بك ، فقد لا يقرأه Google بشكل صحيح. هذا هو سبب أهمية فحص الملف بحثًا عن الأخطاء. على سبيل المثال ، كما هو موضح أدناه ، كان لملفنا شخصية غير مرئية وتشكو Google من عدم فهم بناء الجملة. يؤدي هذا بشكل أساسي إلى إبطال السطر الأول من ملف robots.txt تمامًا ، وهذا ليس جيدًا! لدى Glenn Gabe مقالًا ممتازًا حول كيفية قيام UTF-8 Bom بقتل مُحسنات محركات البحث الخاصة بك .
UTF-8 BOM في ملف robots.txt الخاص بك
UTF-8 BOM في ملف robots.txt الخاص بك
من المهم أيضًا عدم حظر Googlebot من الولايات المتحدة ، حتى إذا كنت تستهدف منطقة محلية خارج الولايات المتحدة. يقومون أحيانًا بالزحف المحلي ، لكن Googlebot يعتمد في الغالب على الولايات المتحدة .
لتوفير بعض السياق الفعلي للنقاط المذكورة أعلاه ، إليك كيفية استخدام بعض مواقع وورد بريس الأكثر شيوعًا لملفات robots.txt الخاصة بهم.
ملف TechCrunch Robots.txt
ملف TechCrunch Robots.txt
بالإضافة إلى تقييد الوصول إلى عدد من الصفحات الفريدة ، لا تسمح TechCrunch بشكل خاص لبرامج الزحف بما يلي:
/ wp-admin /
/wp-login.php
لقد وضعوا أيضًا قيودًا خاصة على روبوتين:
سويفت بوت
IRLbot
إذا كنت مهتمًا ، فإن IRLbot عبارة عن زاحف من مشروع بحثي بجامعة تكساس إيه آند إم . هذا غريب!
ملف Robots.txt لمؤسسة أوباما
ملف Robots.txt لمؤسسة أوباما
لم تقدم مؤسسة أوباما أي إضافات خاصة ، واختارت حصريًا تقييد الوصول إلى / wp-admin /.
ملف Robots.txt الطيور الغاضبة
ملف Robots.txt الطيور الغاضبة
Angry Birds لديها نفس الإعداد الافتراضي لمؤسسة أوباما. لا شيء خاص يضاف.
الانجراف ملف Robots.txt
الانجراف ملف Robots.txt
أخيرًا ، يختار Drift تحديد خرائط المواقع الخاصة به في ملف Robots.txt ، ولكن بخلاف ذلك ، اترك نفس القيود الافتراضية مثل The Obama Foundation و Angry Birds.
بينما نختتم دليل robots.txt الخاص بنا ، نود تذكيرك مرة أخرى بأن استخدام أمر Disallow في ملف robots.txt الخاص بك يختلف عن استخدام علامة noindex . يحظر ملف robots.txt الزحف ، ولكن ليس بالضرورة الفهرسة. يمكنك استخدامه لإضافة قواعد محددة لتشكيل كيفية تفاعل محركات البحث والروبوتات الأخرى مع موقعك ، ولكنها لن تتحكم صراحة في ما إذا كان المحتوى الخاص بك مفهرسًا أم لا.
بالنسبة لمعظم مستخدمي وورد بريس العاديين ، ليست هناك حاجة ملحة لتعديل ملف robots.txt الافتراضي الافتراضي. ولكن إذا كنت تواجه مشكلات مع روبوت معين ، أو تريد تغيير كيفية تفاعل محركات البحث مع مكون إضافي أو سمة معينة تستخدمها ، فقد ترغب في إضافة القواعد الخاصة بك.
نأمل أن تكون قد استمتعت بهذا الدليل وتأكد من ترك تعليق إذا كان لديك أي أسئلة أخرى حول استخدام ملف robots.txt في وورد بريس الخاص بك.
وفر الوقت والتكاليف وحقق أقصى قدر من أداء الموقع من خلال:
مساعدة فورية من خبراء استضافة وورد بريس ، 24/7.
تكامل Cloudflare Enterprise.
يصل الجمهور العالمي إلى 28 مركز بيانات حول العالم.
التحسين من خلال مراقبة أداء التطبيقات المضمنة لدينا.
كل ذلك وأكثر من ذلك بكثير ، في خطة واحدة بدون عقود طويلة الأجل ، وعمليات الترحيل المدعومة ، وضمان استرداد الأموال لمدة 30 يومًا. تحقق من خططنا أو تحدث إلى قسم المبيعات للعثور على الخطة المناسبة لك.
