robots.txt
Виталий 19/09/2006
Давно уже обратил внимание на проблему описанную на http://drupal.org/node/75916. Меня это очень беспокоит, так как большая часть трафика этого сайта приходится на Google и Yandex, надеюсь я правильно всё сделал и теперь индексация будет менее стихийной.
Я запретил к индексированию прямые ссылки начинающиеся с /node/, т.к. для всех нужных узлов уже указаны человекопонятные элиасы, это было сделано плюс к тому, что можно прочесть по приведённой выше ссылке на drupal.org.
Контакт:
ViJu - Виталий и Юлия Сергеевы, разработка WEB-ориентированных приложенийhttp://viju.tvercity.net/contact/
Кстати да, я
Кстати да, я заметил, что львиную долю трафика моего блога сжирают поисковики. Интересно, а можно ли как-нибудь указать, что надо индексировать сайт, не чаще чем раз в сутки или в неделю?
Пишут, что META
Пишут, что META NAME=«revisit-after» content= «…days» давно потерял свою актуальность, но в ближайшее время займусь изучением этой темы
Роботов боятся
Роботов боятся - сайты не плодить! :)
Google Webmaster Central
Тут можно настроеть частоту обхода гуглботом.
Отправить новый комментарий