السلام عليكم
الكثير يسأل عن ملف robots.txt
الذي يجعلك تتحكم بطريقة تصفح محرك البحث لموقعك..
أنا أقول..
أولاً تفتح ملف جديد و تسميه بإسم robots.txt
و تضعه في المجلد الرئيسي لموقعك..
و لكن ماذا تضع داخله؟
إذا أردت كل محركات البحث أن تتصفح و تتبع جميع الروابط دون استثناء اكتب:
كود:
User-agent: *
Disallow:
إذا أردت محرك بحث معين مثل قوقل اكتب:
كود:
User-agent: googlebot
إذا أردت منع محركات البحث من تصفح صفحة معينة اكتب:
إذا أردتها أن تمنعها من مجلد كامل.. اكتب:
هذه تمنع كل المحركات من تصفح موقعك بالكامل:
كود:
User-agent: *
Disallow: /
هذه تمنع محرك بحث معين من تصفح موقعك:
كود:
User-agent: Roverdog
Disallow: /
آخر مثال... تمنع محرك بحث معين من تصفح صفحة معينة:
كود:
User-agent: googlebot
Disallow: cheese.htm
و إذا أردت أن تكتب كلام بجانب الكود و لا يفهمه محرك البحث (حتى تتعرف لماذا كتبت الكود) اكتب:
كود:
Disallow: bob #comment
لاحظ أن ما بعد # سيهملك محرك البحث (في نفس السطر)
تأخير زيارات عناكب الياهو
كود:
User-agent: Slurp
Crawl-delay: 10
كل ما عليك.. وضع الكود و حفظه! و أنا أفضل الذي يجعلك جميع المحركات يتصفحون كل الموقع..
منقول من الاخ xainoo
robots.txt تحكم بمحركات البحث!
