
ViJu
cell
cinema
CSS
desktop
docbook
Drupal
Drupal 6
Education
future
gadget
google
http raw
IE
java
linux
mobile
MS
open source
photo & video
php
Rebol
ruby
services
shop'опоголизм
snippet
spam
svg
theme
Theme by pieces
troubleshooting
useful
web
XHTML/CSS
XML
xslt & xsl-fo
yandex
Альтернативы
Сборник
Эх яблочко
а у нас
браузеры
вёрстка
деградация
интернет-магазин
кино
отдых
поток сознания
почитать
развивающие игрушки
цитата
robots.txt
Vitaliy 19/09/2006
Давно уже обратил внимание на проблему описанную на http://drupal.org/node/75916. Меня очень беспокоит, что большая часть трафика этого сайта приходится на Google и Yandex, надеюсь я правильно всё сделал и теперь индексация будет менее стихийной.
Я запретил к индексированию прямые ссылки начинающиеся с /node/, т.к. для всех нужных узлов уже указаны человеко понятные элиасы, это было сделано в дополнение к тому, что можно прочесть по приведенной выше ссылке на drupal.org.

Кстати да, я заметил, что львиную долю трафика моего блога сжирают поисковики. Интересно, а можно ли как-нибудь указать, что надо индексировать сайт, не чаще чем раз в сутки или в неделю?
Пишут, что META NAME=«revisit-after» content= «…days» давно потерял свою актуальность, но в ближайшее время займусь изучением этой темы
Роботов боятся - сайты не плодить! :)
Тут можно настроеть частоту обхода гуглботом.
Отправить новый комментарий