ثني محركات البحث عن فهرسة هذا الموقع: ما يعنيه وكيفية استخدامه

A VPN is an essential component of IT security, whether you’re just starting a business or are already up and running. Most business interactions and transactions happen online and VPN

إذا كنت تتجول في خلفية وورد بريس الخلفية ، فربما تكون قد لاحظت إعدادًا يقول “ثني محركات البحث عن فهرسة هذا الموقع” وتساءلت عما يعنيه ذلك.

أو ربما تبحث عن طريقة لإخفاء موقعك عن الزوار غير المرغوب فيهم وتتساءل عما إذا كان مربع الاختيار الصغير هذا كافياً للحفاظ على خصوصية المحتوى الخاص بك بأمان.

ماذا يعني هذا الخيار؟ ماذا تفعل بالضبط لموقعك؟ ولماذا تتجنب الاعتماد عليها – حتى لو كنت تحاول إخفاء المحتوى الخاص بك؟

فيما يلي الإجابات وبعض الطرق الأخرى لفك فهرسة موقعك ومنع الوصول إلى صفحات معينة.

ماذا يعني “عدم تشجيع محركات البحث عن فهرسة هذا الموقع”؟

هل تساءلت يومًا كيف تقوم محركات البحث بفهرسة موقعك وقياس تحسين محركات البحث لديك ؟ يفعلون ذلك باستخدام برنامج آلي يسمى العنكبوت ، والمعروف أيضًا باسم الروبوت أو الزاحف. تقوم العناكب “بالزحف” إلى الويب ، وزيارة مواقع الويب وتسجيل كل المحتوى الخاص بك.

يستخدمهم Google لتحديد كيفية ترتيب موقع الويب الخاص بك ووضعه في نتائج البحث ، والاستيلاء على دعاية من مقالاتك لصفحة نتائج البحث ، وسحب صورك إلى صور Google.

عند تحديد “إثناء محركات البحث عن فهرسة هذا الموقع” ، يعدل وورد بريس ملف robots.txt الخاص بك (وهو ملف يقدم إرشادات للعناكب حول كيفية الزحف إلى موقعك). يمكنه أيضًا إضافة علامة وصفية إلى رأس موقعك تخبر Google ومحركات البحث الأخرى بعدم فهرسة أي محتوى على موقعك بالكامل.

الكلمة الأساسية هنا هي “تثبيط”: محركات البحث ليست ملزمة بالوفاء بهذا الطلب ، وخاصة محركات البحث التي لا تستخدم صيغة robots.txt القياسية التي تستخدمها Google.

ستظل برامج زحف الويب قادرة على العثور على موقعك ، ولكن برامج الزحف المهيأة بشكل صحيح ستقرأ ملف robots.txt الخاص بك وتغادر دون فهرسة المحتوى أو إظهاره في نتائج البحث الخاصة بها.

في الماضي ، لم يمنع هذا الخيار في وورد بريس Google من إظهار موقع الويب الخاص بك في نتائج البحث ، فقط من فهرسة محتواه. لا يزال بإمكانك مشاهدة صفحاتك تظهر في نتائج البحث مع ظهور خطأ مثل “لا توجد معلومات متاحة لهذه الصفحة” أو “وصف هذه النتيجة غير متاح بسبب ملف robots.txt الخاص بالموقع.”

على الرغم من عدم قيام Google بفهرسة الصفحة ، إلا أنهم لم يخفوا الصفحة بالكامل أيضًا. أدت هذه الحالة الشاذة إلى تمكن الأشخاص من زيارة الصفحات التي لم يكن من المفترض رؤيتها. بفضل وورد بريس 5.3 ، يعمل الآن بشكل صحيح ، ويمنع فهرسة وقائمة الموقع.

يمكنك أن تتخيل كيف سيؤدي ذلك إلى تدمير مُحسنات محركات البحث الخاصة بك إذا قمت بتمكينه عن طريق الصدفة. من المهم فقط استخدام هذا الخيار إذا كنت لا تريد حقًا أن يرى أي شخص المحتوى الخاص بك – وحتى ذلك الحين ، قد لا يكون هذا هو الإجراء الوحيد الذي تريد اتخاذه.

لماذا قد لا ترغب في فهرسة موقعك

يتم إنشاء مواقع الويب ليراها الأشخاص. تريد من المستخدمين قراءة مقالاتك ، وشراء منتجاتك ، واستهلاك المحتوى الخاص بك – لماذا تحاول عمدًا حظر محركات البحث؟

هناك عدة أسباب وراء رغبتك في إخفاء جزء من موقعك أو كله.

موقعك قيد التطوير وليس جاهزًا ليراه الجمهور.

أنت تستخدم وورد بريس كنظام لإدارة المحتوى ولكنك تريد الحفاظ على خصوصية المحتوى المذكور.

أنت تحاول إخفاء معلومات حساسة.

تريد الوصول إلى موقعك فقط لعدد قليل من الأشخاص الذين لديهم رابط أو من خلال الدعوات فقط ، وليس من خلال صفحات البحث العامة.

تريد وضع بعض المحتوى خلف نظام حظر الاشتراك غير المدفوع أو بوابة أخرى ، مثل المقالات الحصرية في الرسائل الإخبارية.

تريد قطع حركة المرور إلى المقالات القديمة التي عفا عليها الزمن.

تريد منع الحصول على عقوبات تحسين محركات البحث على صفحات الاختبار أو المحتوى المكرر.

هناك حلول أفضل لبعض هذه الحلول – باستخدام خادم تطوير مناسب غير متصل بالإنترنت ، أو تعيين مقالاتك على الخصوصية ، أو وضعها خلف كلمة مرور – ولكن هناك أسبابًا مشروعة وراء رغبتك في إلغاء فهرسة جزء من موقعك أو كله.

كيفية التحقق مما إذا كان موقعك يثبط محركات البحث

على الرغم من أنه قد يكون لديك أسباب مشروعة لإلغاء فهرسة موقعك ، فقد يكون من الصدمة الرهيبة معرفة أنك قمت بتشغيل هذا الإعداد دون قصد أو تركته عن طريق الصدفة. إذا كنت لا تحصل على حركة مرور صفرية وتشك في عدم فهرسة موقعك ، فإليك كيفية تأكيد ذلك.

تتمثل إحدى الطرق المباشرة في تحديد مربع ” نظرة سريعة ” الموجود على الشاشة الرئيسية للوحة تحكم المسؤول. ما عليك سوى تسجيل الدخول إلى الواجهة الخلفية الخاصة بك وتحديد المربع. إذا رأيت “محركات البحث غير مستحبة” ، فأنت تعلم أنك قمت بتنشيط هذا الإعداد.

لقطة شاشة لعرض “لمحة سريعة” في لوحة تحكم وورد بريس

“لمحة” في لوحة معلومات وورد بريس.

هناك طريقة أكثر موثوقية وهي التحقق من ملف robots.txt الخاص بك . يمكنك التحقق من ذلك بسهولة في المتصفح دون تسجيل الدخول إلى موقعك.

للتحقق من ملف robots.txt ، كل ما عليك فعله هو إضافة /robots.txtنهاية عنوان URL لموقعك. على سبيل المثال:https://kinsta.com/robots.txt

إذا رأيت ، Disallow: /يتم حظر موقعك بالكامل من الفهرسة.

“عدم السماح” في ملف robots.txt

“عدم السماح” في ملف robots.txt.

إذا رأيت Disallow:متبوعًا بمسار URL ، مثل Disallow: /wp-admin/، فهذا يعني أنه يتم حظر أي عنوان URL به /wp-admin/المسار. هذه البنية طبيعية لبعض الصفحات ، ولكن إذا كانت تمنع ، على سبيل المثال ، /blog/الصفحات التي تريد فهرستها ، فقد يتسبب ذلك في حدوث مشكلات!

الآن بعد أن استخدم وورد بريس العلامات الوصفية بدلاً من ملف robots.txt لفك فهرسة موقعك ، يجب عليك أيضًا التحقق من رأسك بحثًا عن التعديلات.

قم بتسجيل الدخول إلى الواجهة الخلفية الخاصة بك وانتقل إلى المظهر > محرر السمات . ابحث عن رأس الموضوع (header.php) وابحث عن الكود التالي:

<meta name='robots' content='noindex,nofollow' />

تعرض طريقة العرض “تحرير السمات” في وورد بريس إضافة noindex ، nofollow في header.php

noindex ، nofollow في header.php.

يمكنك أيضا التحقق من functions.php لل noindexعلامة، كما انه من الممكن بعد إدراج الشفرة في رأس من خلال هذا الملف.

إذا وجدت هذا الرمز في ملفات السمات الخاصة بك ، فلن تتم فهرسة موقعك بواسطة Google. ولكن بدلاً من إزالته يدويًا ، دعنا نحاول إيقاف تشغيل الإعداد الأصلي أولاً.

كيفية تثبيط فهرسة محرك البحث في وورد بريس

إذا كنت ترغب في تخطي الخطوات الإضافية والانتقال مباشرة إلى الإعداد الأصلي ، فإليك كيفية تنشيط أو إلغاء تنشيط خيار “تثبيط محركات البحث” في وورد بريس.

قم بتسجيل الدخول إلى لوحة معلومات وورد بريس الخاصة بك وانتقل إلى الإعدادات > القراءة . ابحث عن خيار رؤية محرك البحث مع مربع اختيار بعنوان “إثناء محركات البحث عن فهرسة هذا الموقع”.

لقطة شاشة تعرض مربع تحديد رؤية محرك البحث في قسم “الإعدادات” في وورد بريس

خانة اختيار رؤية محرك البحث.

إذا وجدت أن هذا قيد التشغيل بالفعل وتريد فهرسة موقعك ، فقم بإلغاء تحديده. إذا كنت ستمنع فهرسة موقعك ، فتحقق منه (وقم بتدوين ملاحظة في مكان ما لتذكيرك بإيقاف تشغيله لاحقًا!).

الآن انقر فوق حفظ التغييرات ، وأنت على ما يرام. قد يستغرق الأمر بعض الوقت حتى تتم إعادة فهرسة موقعك أو سحبه من نتائج البحث.

إذا كان موقعك لا يزال غير مفهرس ، يمكنك أيضًا إزالة noindexالشفرة من ملف الرأس ، أو تعديل ملف robots.txt يدويًا لإزالة علامة “عدم السماح”.

هذا بسيط بما فيه الكفاية ، ولكن ما هي بعض الأسباب التي تجعلك تتجنب هذا الخيار ، أو على الأقل لا تعتمد عليه بالكامل؟

عيوب استخدام خيار تثبيط محركات البحث

يبدو الأمر بسيطًا – حدد خانة اختيار ولن يتمكن أي شخص من رؤية موقعك. أليس هذا كافيا؟ لماذا يجب تجنب استخدام هذا الخيار من تلقاء نفسه؟

عند تشغيل هذا الإعداد أو أي خيار مشابه له ، كل ما يفعله هو إضافة علامة إلى العنوان الخاص بك أو ملف robots.txt الخاص بك . كما هو موضح في الإصدارات القديمة من وورد بريس لا تزال تسمح بإدراج موقعك في نتائج البحث ، فقد يؤدي وجود خلل بسيط أو خطأ آخر إلى رؤية الأشخاص لصفحاتك التي يُفترض أنها مخفية.

بالإضافة إلى ذلك ، فإن الأمر متروك تمامًا لمحركات البحث لتلبية طلب عدم الزحف إلى موقعك. عادةً ما تستخدم محركات البحث الرئيسية مثل Google و Bing ، ولكن لا تستخدم جميع محركات البحث نفس بنية ملف robots.txt ، ولا يتم إرسال جميع العناكب التي تزحف إلى الويب بواسطة محركات البحث .

على سبيل المثال ، إحدى الخدمات التي تستخدم برامج زحف الويب هي Wayback Machine . وإذا تمت فهرسة المحتوى الخاص بك بواسطة هذه الخدمة ، فسيكون موجودًا على الويب إلى الأبد.

لقطة شاشة من Wayback Machine تعرض نتائج Kinsta.com

آلة Wayback.

قد تعتقد أنه لمجرد أن موقعك الجديد تمامًا لا يحتوي على روابط تؤدي إليه ، فهو آمن من العناكب ، لكن هذا ليس صحيحًا. قد يؤدي التواجد على خادم مشترك أو إرسال بريد إلكتروني به رابط إلى موقع الويب الخاص بك أو حتى زيارة موقعك في متصفح (خاصة Chrome) إلى فتح موقعك ليتم الزحف إليه.

تريد أن تعرف كيف زدنا من حركة المرور لدينا أكثر من 1000 ٪؟

انضم إلى أكثر من 20000 آخرين ممن يتلقون رسائلنا الإخبارية الأسبوعية مع نصائح من الداخل حول وورد بريس!

إشترك الآن

إذا كنت ترغب في إخفاء المحتوى ، فليس من الجيد إضافة معلمة وتأمل أن تفي بالغرض.

ولنكن واضحين ، إذا كان المحتوى الذي تقوم بإلغاء فهرسته ذا طبيعة حساسة أو شخصية ، فلا يجب عليك مطلقًا الاعتماد على ملف robots.txt أو علامة وصفية لإخفائه.

أخيرًا وليس آخرًا ، سيخفي هذا الخيار موقعك تمامًا من محركات البحث ، بينما تريد في كثير من الأحيان إلغاء فهرسة صفحات معينة فقط.

إذن ما الذي يجب أن تفعله بدلاً من هذه الطريقة أو بجانبها؟

طرق أخرى لمنع فهرسة محرك البحث

على الرغم من أن الخيار الذي يوفره وورد بريس عادةً ما يؤدي وظيفته ، إلا أنه من الأفضل استخدام طرق أخرى لإخفاء المحتوى في مواقف معينة. حتى Google نفسها تقول لا تستخدم ملف robots.txt لإخفاء الصفحات .

طالما أن موقعك يحتوي على اسم مجال وهو موجود على خادم عام ، فلا توجد طريقة لضمان عدم رؤية المحتوى الخاص بك أو فهرسته بواسطة برامج الزحف ما لم تحذفه أو تخفيه خلف كلمة مرور أو متطلبات تسجيل الدخول.

ومع ذلك ، ما هي أفضل الطرق لإخفاء موقعك أو صفحات معينة عليه؟

منع محركات البحث باستخدام htaccess

في حين أن تنفيذه مماثل وظيفيًا لاستخدام خيار “تثبيط محركات البحث” ، فقد ترغب في استخدام .htaccess يدويًا لمنع فهرسة موقعك.

ستحتاج إلى استخدام برنامج FTP / SFTP للوصول إلى موقعك وفتح ملف .htaccess ، الموجود عادةً في المجلد الجذر (المجلد الأول الذي تراه عند فتح موقعك) أو في public_html . أضف هذا الرمز إلى الملف واحفظ:

Header set X-Robots-Tag "noindex, nofollow"

ملاحظة: هذه الطريقة تعمل فقط مع خوادم Apache. ستحتاج خوادم NGINX ، مثل تلك التي تعمل على Kinsta ، إلى إضافة هذا الرمز إلى ملف .conf بدلاً من ذلك ، والذي يمكن العثور عليه في / etc / nginx / (يمكنك العثور على مثال على تنفيذ العلامة الوصفية هنا):

add_header X-Robots-Tag "noindex, nofollow";
حماية الصفحات الحساسة بكلمة مرور

إذا كانت هناك مقالات أو صفحات معينة لا تريد أن تقوم محركات البحث بفهرستها ، فإن أفضل طريقة لإخفائها هي حماية موقعك بكلمة مرور . بهذه الطريقة ، لن يتمكن أحد سواك أنت والمستخدمون الذين تريدهم من رؤية هذا المحتوى.

لحسن الحظ ، هذه الوظيفة مضمنة في وورد بريس ، لذلك لا داعي لتثبيت أي مكونات إضافية. ما عليك سوى الانتقال إلى ” صفحات المنشورات” والنقر على الصفحة التي تريد إخفاءها. قم بتحرير صفحتك وابحث عن قائمة ” الحالة والرؤية” > ” الرؤية ” على الجانب الأيمن.

هل تحتاج إلى استضافة سريعة وموثوقة وآمنة تمامًا لموقع التجارة الإلكترونية الخاص بك؟ يوفر Kinsta كل هذا ودعمًا عالميًا على مدار الساعة طوال أيام الأسبوع من خبراء WooCommerce. تحقق من خططنا

إذا كنت لا تستخدم Gutenberg ، فالعملية مماثلة. يمكنك العثور على نفس القائمة في مربع النشر .

قم بتغيير الرؤية إلى محمية بكلمة مرور وأدخل كلمة مرور ، ثم احفظ – وأصبح المحتوى الخاص بك الآن مخفيًا عن عامة الناس.

لقطة شاشة توضح كيفية تعيين منشور وورد بريس على كلمة المرور المحمية عبر مشروط “Post Visibility”

تعيين وظيفة محمية بكلمة مرور.

ماذا لو كنت تريد حماية موقعك بالكامل بكلمة مرور؟ ليس من العملي أن تطلب كلمة مرور لكل صفحة على حدة.

مستخدمو Kinsta محظوظون: يمكنك تمكين الحماية بكلمة مرور في مواقع > أدوات ، مما يتطلب اسم مستخدم وكلمة مرور.

بخلاف ذلك ، يمكنك استخدام مكون إضافي لتقييد المحتوى (على سبيل المثال محمي بكلمة مرور ). يرجى تثبيته وتنشيطه ، ثم التوجه إلى الإعدادات > محمية بكلمة مرور وتمكين الحالة المحمية بكلمة مرور . يمنحك هذا تحكمًا أكثر دقة ، حتى أنه يسمح لك بإدراج عناوين IP معينة في القائمة البيضاء.

الأهمية

لم يتم تحديث هذا المكون الإضافي منذ أكثر من 11 شهرًا حتى كتابة هذا المقال. ربما لم يعد يتم صيانته أو دعمه وقد تواجه مشكلات في التوافق مع أحدث إصدارات وورد بريس.

لقطة شاشة لـ “Password Protected Settings” (الإعدادات المحمية بكلمة مرور) في وورد بريس

تعيين وظيفة محمية بكلمة مرور.

قم بتثبيت البرنامج المساعد وورد بريس

عندما لا تكون الوظيفة الافتراضية لـ وورد بريس كافية ، يمكن أن يحل المكون الإضافي الجيد مشاكلك غالبًا.

على سبيل المثال ، إذا كنت تريد إلغاء فهرسة صفحات معينة بدلاً من موقعك بالكامل ، فإن Yoast لديه هذا الخيار متاحًا.

في Yoast SEO ، يمكنك فتح صفحة تريد إخفاءها والبحث عن الخيار الموجود ضمن علامة التبويب خيارات متقدمة : هل تسمح لمحركات البحث بإظهار هذا المنشور في نتائج البحث؟ قم بتغييره إلى لا وسيتم إخفاء الصفحة.

تظهر إعدادات Yoast SEO خيارات “متقدمة”

إعدادات Yoast SEO

يجب أن تلاحظ أن كلاهما يعتمد على نفس الأساليب مثل الخيار الافتراضي لـ وورد بريس لتثبيط فهرسة محرك البحث ، ويخضعان لنفس العيوب. قد لا تحترم بعض محركات البحث طلبك. ستحتاج إلى استخدام طرق أخرى إذا كنت تريد حقًا إخفاء هذا المحتوى تمامًا.

الحل الآخر هو حظر المحتوى الخاص بك بنظام حظر الاشتراك غير المدفوع أو إخفائه خلف تسجيل الدخول المطلوب. و بسيطة عضوية أو عضو في نهاية المطاف يمكن الإضافات مساعدتك على انشاء محتوى عضوية مجانية أو مدفوعة الأجر.

استخدم موقع التدريج للاختبار

عند العمل على مشاريع اختبارية أو مواقع ويب قيد التنفيذ ، فإن أفضل رهان لإبقائها مخفية هو استخدام موقع مرحلي أو تطوير. مواقع الويب هذه خاصة ، وغالبًا ما يتم استضافتها على جهاز محلي لا يمكن لأي شخص غيرك أنت والآخرين الذين سمحت لهم بالوصول إليها.

سيوفر لك العديد من مضيفي الويب مواقع مرحلية سهلة النشر ويسمحون لك بدفعها إلى خادمك العام عندما تكون جاهزًا. تقدم Kinsta موقع انطلاق بنقرة واحدة لجميع الخطط .

يمكنك الوصول إلى مواقع التدريج في MyKinsta بالانتقال إلى مواقع > معلومات والنقر فوق القائمة المنسدلة تغيير البيئة . انقر فوق بيئة التدريج ثم زر إنشاء بيئة مرحلية . في غضون بضع دقائق ، سيكون خادم التطوير الخاص بك جاهزًا وجاهزًا للاختبار.

إذا لم يكن لديك وصول إلى طريقة سهلة لإنشاء موقع مرحلي ، فيمكن أن يساعدك المكون الإضافي WP STAGING في تكرار التثبيت ونقله إلى مجلد لسهولة الوصول إليه.

استخدم Google Search Console لإخفاء مواقع الويب مؤقتًا

Google Search Console هي خدمة تتيح لك المطالبة بملكية مواقع الويب الخاصة بك. مع هذا تأتي القدرة على منع جوجل من فهرسة صفحات معينة بشكل مؤقت.

هذه الطريقة بها مشكلتان: إنها حصرية من Google (لذلك لن تتأثر مواقع مثل Bing) وتستمر 6 أشهر فقط.

ولكن إذا كنت تريد طريقة سريعة وسهلة لإخراج المحتوى الخاص بك من نتائج بحث Google مؤقتًا ، فهذه هي الطريقة للقيام بذلك.

إذا لم تكن قد قمت بذلك بالفعل ، فستحتاج إلى إضافة موقعك إلى Google Search Console . بعد الانتهاء من ذلك ، افتح عمليات الإزالة وحدد عمليات الإزالة المؤقتة > طلب جديد . ثم انقر فوق إزالة عنوان URL هذا فقط واربط الصفحة التي تريد إخفاءها.

هذه طريقة أكثر موثوقية لحظر المحتوى ، لكنها تعمل حصريًا مع Google وتستمر لمدة 6 أشهر فقط.

ملخص

هناك العديد من الأسباب التي قد تجعلك ترغب في إخفاء المحتوى على موقعك ، ولكن الاعتماد على خيار “تثبيط محركات البحث عن فهرسة هذا الموقع” ليس هو أفضل طريقة للتأكد من عدم رؤية هذا المحتوى.

ما لم تكن ترغب في إخفاء موقع الويب الخاص بك بالكامل من الويب ، يجب ألا تنقر أبدًا على هذا الخيار ، لأنه يمكن أن يلحق ضررًا كبيرًا بمُحسنات محركات البحث إذا تم تبديله عن طريق الخطأ.

وحتى إذا كنت تريد إخفاء موقعك ، فإن هذا الخيار الافتراضي يعد طريقة غير موثوقة. يجب إقرانها بحماية كلمة المرور أو غيرها من وسائل الحظر ، خاصةً إذا كنت تتعامل مع محتوى حساس.

توضيح

اي عملية نسخ او اقتباس او ترجمة او نقل تم لاغراض علمية وتدريبية وتعليمية بحته وقد تم انشاء هذا المحتوى بمعرفة خبراء في مجال التقنية اما عن طريق إنشاء او تحرير او نقل او نسخ او اقتباس او ترجمة المحتوى من مصادر خاصة او عامة وكل ذلك ضمن حقوق النشر المتعارف عليها.

اي أخطاء تظهر في المحتوى مهما كان نوعه او تصنيفه يمكنك تحرير رسالة فورية لادارة موثوق لاجل تصحيح هذه الاخطاء، وسنكون شاكرين لك في حال قمت بالتعاون معنا لاجل اصلاح هذه الاخطاء.

شاركنا رايك وتقييمك للموضوع

{{ reviewsTotal }}{{ options.labels.singularReviewCountLabel }}
{{ reviewsTotal }}{{ options.labels.pluralReviewCountLabel }}
{{ options.labels.newReviewButton }}
{{ userData.canReview.message }}