Показать сообщение отдельно
nadRAPom
активный пользователь
Сообщения: 1,003
Регистрация: 04.12.2009
Старый пост, нажмите что бы добавить к себе блог 31 августа 2011, 15:47
  #1009 (ПС)
я предлагаю отключить для начала пинги. посмотреть по статистики когда к тебе заходит бот. пинги переключить не на добавление новости а по крону на период когда бот сам не приходит.. допустим он к тебе лазит по понедельникам, поставь пинг на четверг на утро.
а про робота, хз, если используешь ЧПУ, то есть смысл открывать роботу директории, если нет, то толку маловато. сайтмап просто открой. для твоих, кому указал проверять сайтмап, они и так сразу на него и лезут, а чужие, случайно забежавшие, будут смотреть робота. робота посмотрели, нашли одну только ссылку на сайтмап, на неё и полезли. это снижает время затраченное ботом на сайте и повышает твой приоритет для бота. всё что надо всё просканит. некоторые боты до сих пор ходят только по ссылкам из сайтмап не далее одной. посмотри ещё, чтобы у тебя был архивчик. некоторые боты любят заходить на сайт, копировать себе сайтмап архивированый и уходить, потом просто по ходу анализа и добавления ссылок к себе из твоего архива, заходят по линкам к тебе проверять работоспособность страниц.

offline
Ответить с цитированием