ViJu - robots.txt - Комментарии

Google Webmaster Central

memyself — Wed, 20 Sep 2006 10:17:08 +0400

Тут можно настроеть частоту обхода гуглботом.

Роботов боятся

Виталий — Tue, 19 Sep 2006 17:28:11 +0400

Роботов боятся - сайты не плодить! :)

Пишут, что META

Виталий — Tue, 19 Sep 2006 12:30:35 +0400

Пишут, что META NAME=«revisit-after» content= «…days» давно потерял свою актуальность, но в ближайшее время займусь изучением этой темы

Кстати да, я

ArT — Tue, 19 Sep 2006 12:00:59 +0400

Кстати да, я заметил, что львиную долю трафика моего блога сжирают поисковики. Интересно, а можно ли как-нибудь указать, что надо индексировать сайт, не чаще чем раз в сутки или в неделю?

robots.txt

Виталий — Tue, 19 Sep 2006 06:05:27 +0400

Давно уже обратил внимание на проблему описанную на http://drupal.org/node/75916. Меня это очень беспокоит, так как большая часть трафика этого сайта приходится на Google и Yandex, надеюсь я правильно всё сделал и теперь индексация будет менее стихийной.
Я запретил к индексированию прямые ссылки начинающиеся с /node/, т.к. для всех нужных узлов уже указаны человекопонятные элиасы, это было сделано плюс к тому, что можно прочесть по приведённой выше ссылке на drupal.org.