Пример правильного файла robots.txt для друпала

Тэги: 

Вот пример правильно заполненного файла robots.txt с учетом того, что используются модули Pathauto, Globalredirect и XML Sitemap:

  1. User-agent: *
  2. Crawl-delay: 10 # задает таймаут в 10 секунд
  3. # Files
  4. Disallow: /cron.php
  5. Disallow: /install.php
  6. Disallow: /update.php
  7. Disallow: /xmlrpc.php
  8. # Directories
  9. Disallow: /includes/
  10. Disallow: /misc/
  11. Disallow: /modules/
  12. Disallow: /profiles/
  13. Disallow: /scripts/
  14. Disallow: /themes/
  15. Disallow: /admin/
  16. Disallow: /comment/
  17. Disallow: /comment/reply/
  18. Disallow: *comment*
  19. Disallow: /filter/tips/
  20. Disallow: /node/add/
  21. Disallow: /node/
  22. Disallow: /search/
  23. Disallow: /logout/
  24. Disallow: /user/
  25. Disallow: /user/register/
  26. Disallow: /user/login/
  27. Disallow: /user/password/
  28. Disallow: *register*
  29. Disallow: *login*
  30. Disallow: /profile
  31. Disallow: /profile/*
  32. Disallow: /taxonomy/term*/feed
  33. Disallow: /book/export/html
  34. Disallow: /print/node/
  35. Disallow: /archive/
  36. Disallow: /*votesupdown
  37. Disallow: /*calendar
  38. Disallow: /*index.php
  39. Disallow: /*section
  40. Disallow: /*order
  41. Disallow: /*?sort*
  42. Disallow: /*&sort*
  43. Sitemap: http://drunkcat.ru/sitemap.xml
  44.  
  45. User-agent: Yandex
  46. Host: drunkcat.ru
  47.  
  48. User-agent: MSNBot
  49. Disallow: /
  50. User-agent: Slurp
  51. Disallow: /
  52. User-agent: SolomonoBot
  53. Disallow: /