Бесполезные боты – спайдеры. За и против.

Думаю всем вебмастерам рано или поздно приходилось сталкиваться со спайдерами (поисковыми пауками). Это так называемые боты, программы, которые сканируют вебсайт и можно сказать ничего полезного вебсайту не дают.

27-03-2015 17-17-24(на скриншоте видно количество посещений ботов, сегодня это 1437)

Когда на вебсайт заходит поисковый робот от Гугле или от Яндекса, это несомненно большой плюс. Это значит что содержимое вебсайта будет проиндексировано и добавлено в поисковый индекс, в результаты поиска. Но когда на сайт заходят другие роботы, которые не приносят трафика, то появляется резонный вопрос, а нужны ли они нам?

Сегодня я зашёл на свой вебсайт и вижу что статистика подсчитала более 1500 ботов от MJ12bot, а это в статистике видно по Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+) и также были посещения от Baiduspider: Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html). Сколько я занимаюсь созданием вебсайтов, не помню чтобы с подобных поисковиков были посетители. А значит нам эти боты не представляют интереса.

bots

И я вспомнил что когда то на сетку моих англоязычных сайтов Яндекс создавал огромную нагрузку, и мне даже хостинг провайдер писал письма с требованием принять меры. Сайтов было более 50 шт, все они были на Вордпресс и хостинг загибался. Хостинг был Hostgator. Кстати, на днях я писал про Хостгатор и про SSL сертификат который они дают всем клиентам бесплатно. Так вот, тогда я решил проблему просто запретив доступ Яндексу на мои сайты. Так как сайты были англоязычные, то Яндекс не мог мне принести качественный трафик. Единственное что мог принести мне Yandex, так это спаммеров, которые используют парсинг поисковых систем для сбора сайтов на Вордпресс для проставки своих бэклинков. Поэтому Яндексу был дан красный свет. Естественно нагрузка на сервер уменьшилась.
И вот когда я увидел что сайт активно сканируется поисковым ботом MJ12bot (http://www.majestic12.co.uk/bot.php) то я подумал, а стоит ли ограничивать доступ к сайту этому боту, как я некогда поступил с Яндексом, или есть польза от этого и подобных ботов. Это вопрос и к вам, какие у вас есть мысли по этому поводу?

Польза:

  1. может быть эти посещения помогут немного накрутить никому не нужный Alexa rank.
  2. Может быть когда  нибудь эти посещения и сканирования сконвертируются в поисковый трафик.

 

Вред:

  1. Создаётся ненужная и дополнительная нагрузка на хостинг, что может привести к падению хостинга.
  2. При возросшей нагрузке на сервер, полезный поисковый робот, аля Гугле или аля Яндекс, зашедший одновременно с подобными ботами, не сможет нормально просканировать страницы и мы уже конкретно терпим урон.
  3. Засоряются логи сервера и статистика не нужной и пустой информацией, это я тоже могу отнести к вреду от посещения таких спайдеров.

 

Какие с вашей точки зрения есть плюсы  и минусы таких спайдеров-пустышек?

Фразы, по которым нас находят:

MJ12bot (4), поисковый Паук (4), робот на айфоне как его называют (2), MJ12bot/v1 4 5 (2), mj12bot что это (2), поисковая интернет программа в айфоне (1), на сайт заходят боты с других сайтов (1), какой поисковик у вас на айфоне (1), как с айфона зайти в поисковик интернет (1), как называется говорящий робот на айфоне (1), использование MJ12bot в seo (1), говорящий робот приложение на айфон (1), поисковые боты на айфон (1), поисковый интернет паук (1), что такое spider в яндексе (1), поисковый паук google перегружает хостинг (1), поисковый паук для браузеров (1), поисковый робот кто создал (1), поисковый спайдер (1), почему выходит веб сайт или имя я хочу зайти в гугл на айфоне5 куда надо нажать? (1), программы спайдеры (1)

Leave a Reply

Your email address will not be published. Required fields are marked *