
robots.txt
Vitaliy 19/09/2006
Давно уже обратил внимание на проблему описанную на http://drupal.org/node/75916. Меня очень беспокоит, что большая часть трафика этого сайта приходится на Google и Yandex, надеюсь я правильно всё сделал и теперь индексация будет менее стихийной.
Я запретил к индексированию прямые ссылки начинающиеся с /node/, т.к. для всех нужных узлов уже указаны человеко понятные элиасы, это было сделано в дополнение к тому, что можно прочесть по приведенной выше ссылке на drupal.org.