ملف robots.txt لمنتديات vBulletin الجيل السادس - vBulletin 6.1.1
ما هو ملف robots.txt؟
هو ملف يقوم بإعطاء توجيهات لعناكب (robots) بصفة عامة بما يمكنهم الدخول إليه و ما لا يمكنهم الدخول إليه وبالتالي تقوم بارشفة محتوى هده المواقع في ارشيفها ومن بين هده العناكب هناك GoogleBot و Googlebot-Image و Googlebot-Mobile كل هده عناكب بحث تابعة لشركة جوجل وقبل ان تدخل عناكب جوجل الى صفحات موقعك تدخل اولا الى ملف Robots.txt لمعرفة الملفات والصفحات المسموح للعناكب بارشفتها والصفحات الممنوع على العناكب زيارتها وارشفتها . الان السوال ماهى الاشياء الواجب علينا منع عناكب الروبتس الخاصه بجوجل لعدم البحث بداخلها
1 - صفحة تسجيل الدخول للاعضاء
2 - صفحة التسجيل للزوار
3 - اقسام الارشيف
4- اقسام الادارة
5- صفحات اخرى لاتريد ارشفتها
ما هو ملف robots.txt؟
هو ملف يقوم بإعطاء توجيهات لعناكب (robots) بصفة عامة بما يمكنهم الدخول إليه و ما لا يمكنهم الدخول إليه وبالتالي تقوم بارشفة محتوى هده المواقع في ارشيفها ومن بين هده العناكب هناك GoogleBot و Googlebot-Image و Googlebot-Mobile كل هده عناكب بحث تابعة لشركة جوجل وقبل ان تدخل عناكب جوجل الى صفحات موقعك تدخل اولا الى ملف Robots.txt لمعرفة الملفات والصفحات المسموح للعناكب بارشفتها والصفحات الممنوع على العناكب زيارتها وارشفتها . الان السوال ماهى الاشياء الواجب علينا منع عناكب الروبتس الخاصه بجوجل لعدم البحث بداخلها
1 - صفحة تسجيل الدخول للاعضاء
2 - صفحة التسجيل للزوار
3 - اقسام الارشيف
4- اقسام الادارة
5- صفحات اخرى لاتريد ارشفتها
كود:
Sitemap: https://www.absba.co/vb/maps.php User-agent: * Disallow: /admincp/ Disallow: /modcp/ Disallow: /attachments/ Disallow: /images/ Disallow: /members/ Disallow: /search/ Disallow: /new-content/ Disallow: /auth/ Disallow: /register Disallow: /uploader/url Disallow: /project.php Disallow: /projectsearch.php Disallow: /bugs.php User-agent: BaiDuSpider Disallow: / User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: CCBot Disallow: /
تعليق