دور ملف Robots.txt في تحسين ترتيب الموقع!
لا يستغرق الكثير من خبراء الويب وقتًا لاستخدام ملف robots.txt لموقعهم على الويب. بالنسبة لعناكب محركات البحث التي تستخدم ملف robots.txt لمعرفة الدلائل التي يمكن البحث فيها ، يمكن أن يكون ملف robots.txt مفيدًا جدًا في الحفاظ على فهرسة العناكب لصفحاتك الفعلية وليس المعلومات الأخرى ، مثل البحث في إحصائياتك!
يعتبر ملف robots.txt مفيدًا في منع العناكب من الوصول إلى مجلدات وملفات أجزاء في دليل الاستضافة غير المتعلقة تمامًا بمحتوى موقع الويب الفعلي الخاص بك. يمكنك اختيار إبقاء العناكب بعيدة عن المناطق التي تحتوي على برمجة لا يمكن لمحركات البحث تحليلها بشكل صحيح ، وإبقائها خارج جزء إحصائيات الويب من موقعك.
لا يمكن للعديد من محركات البحث عرض المحتوى الذي تم إنشاؤه ديناميكيًا بشكل صحيح ، والذي تم إنشاؤه بشكل أساسي من خلال لغات البرمجة ، مثل PHP أو ASP. إذا كان لديك متجر عبر الإنترنت مبرمج في حساب الاستضافة الخاص بك ، وهو في دليل منفصل ، فمن الحكمة أن تمنع العناكب من هذا الدليل حتى يجد المعلومات ذات الصلة فقط.
يجب وضع ملف robots.txt في الدليل حيث توجد ملفاتك الرئيسية لاستضافتك. لذا يُنصح بإنشاء ملف نصي فارغ وحفظه كملف robots.txt ، ثم تحميله على استضافة الويب الخاصة بك إلى نفس الدليل الموجود فيه ملف index.htm.
فيما يلي أمثلة على استخدام ملف robots.txt:
لحظر دليل في ملف robots.txt ، مثل دليل فرعي لمتجرك عبر الإنترنت يسمى / store / ، ستقوم بما يلي:
عدم السماح: / المتجر /
مثال آخر لحظر دليل الإحصائيات:
Disallow: / احصائيات /
قد ترغب أيضًا في عدم السماح للملفات الفردية التي لا تريد البحث عنها بواسطة محركات البحث. على سبيل المثال ، لا تريد أن يتم تحليل search.php بواسطة محركات البحث. للقيام بذلك ، اكتب ما يلي في السطر الخاص به:
Disallow: /search.php
باتباع القواعد الموضحة وإنشاء ملف robots.txt ، ستحافظ على عناكب محرك البحث بعيدًا عن الملفات والأدلة غير المرغوب فيها ، والسماح لهم بالمرور عبر الملفات المهمة لمعرفة ما يدور حوله موقع الويب الخاص بك!
مايكل كرالج هو مالك Emenki Web Solutions and Domains at Retail. Emenki Web Solutions هم مصممو ومبرمجو مواقع ويب مقرهم في هاميلتون ، أونتاريو ، ويقدمون للشركات نهجًا استراتيجيًا وإعلاميًا لتأسيس وجود على الإنترنت.