just photo

robots.txt

Vitaliy 19/09/2006

Давно уже обратил внимание на проблему описанную на http://drupal.org/node/75916. Меня очень беспокоит, что большая часть трафика этого сайта приходится на Google и Yandex, надеюсь я правильно всё сделал и теперь индексация будет менее стихийной.
Я запретил к индексированию прямые ссылки начинающиеся с /node/, т.к. для всех нужных узлов уже указаны человеко понятные элиасы, это было сделано в дополнение к тому, что можно прочесть по приведенной выше ссылке на drupal.org.

тэги:

Кстати да, я заметил, что львиную долю трафика моего блога сжирают поисковики. Интересно, а можно ли как-нибудь указать, что надо индексировать сайт, не чаще чем раз в сутки или в неделю?

Пишут, что META NAME=«revisit-after» content= «…days» давно потерял свою актуальность, но в ближайшее время займусь изучением этой темы

Роботов боятся - сайты не плодить! :)

Тут можно настроеть частоту обхода гуглботом.

Отправить новый комментарий

Содержимое этого поля хранится скрыто и не будет показываться публично.
  • Адреса страниц и электронной почты автоматически преобразовываются в ссылки.
  • Allowed HTML tags: <a> <em> <strong> <cite> <code> <ul> <ol> <li> <dl> <dt> <dd> <img>
  • Автоматический перевод строки.
  • Вы можете публиковать код, размещая его в <code>...</code> (generic) или в <?php ... ?> (раскрашенный PHP).

Дополнительная информация о настройках форматирования