Долго не ставил, думал ну его зачем он мне нужен и так далее, а как зашел в яндекс.вебмастер так и ужаснулся 600 страниц загружено, ~350 с копейками исключено и 256 в индексе, посмотрел статистику, какие страницы исключены. Как и ожидалось /cat=* т.е категории и постраничная навигация в них, а также еще много-много реального мусора. Не долго думая сваял себе такой роботс:
User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /?cat=*
Disallow: /?tag=*
Disallow: /?feed=*
Disallow: /xmlrpc.php
Disallow: /?m=*
Host: livein74.ru
Черт, забыл про wp-admin и theme. Ну ничего, посмотрю как с этим пойдут дела, потом по ситуации дополню. Якоря не стал исключать т.к это по моему бред, яндекс и все остальные их и так игнорят.
19.07.2010 at 21:15
А зачем месцы, рубрики и тэги исключать? Отлично индексируются, некоторые даже по НЧ и СЧ запросам вылазят.
[Ответить]
20.07.2010 at 00:00
это убери Disallow: /?cat=*
а вот это Allow: /wp-content/uploads/
надо так
User-agent: YandexImages*
Allow: /
[Ответить]
beatport
20.07.2010 at 10:56
/?cat=* убрал чтобы дубляжа не было в категориях, с архивом тоже самое
[Ответить]
26.07.2010 at 11:37
[...] апа. Если все будет нормально, то поставлю такой же robots на другие свои блоги, которые я не планирую совать в [...]