Tag Archives: поисковый робот

Бесполезные боты – спайдеры. За и против.

Думаю всем вебмастерам рано или поздно приходилось сталкиваться со спайдерами (поисковыми пауками). Это так называемые боты, программы, которые сканируют вебсайт и можно сказать ничего полезного вебсайту не дают.

27-03-2015 17-17-24(на скриншоте видно количество посещений ботов, сегодня это 1437)

Когда на вебсайт заходит поисковый робот от Гугле или от Яндекса, это несомненно большой плюс. Это значит что содержимое вебсайта будет проиндексировано и добавлено в поисковый индекс, в результаты поиска. Но когда на сайт заходят другие роботы, которые не приносят трафика, то появляется резонный вопрос, а нужны ли они нам?

Сегодня я зашёл на свой вебсайт и вижу что статистика подсчитала более 1500 ботов от MJ12bot, а это в статистике видно по Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+) и также были посещения от Baiduspider: Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html). Сколько я занимаюсь созданием вебсайтов, не помню чтобы с подобных поисковиков были посетители. А значит нам эти боты не представляют интереса. Continue reading

Фразы, по которым нас находят:

поисковый Паук (4), MJ12bot (3), робот на айфоне как его называют (2), mj12bot что это (2), как с айфона зайти в поисковик интернет (1), как называется говорящий робот на айфоне (1), baiduspider что это (1), использование MJ12bot в seo (1), говорящий робот приложение на айфон (1), говорящий робот как на айфоне (1), какой поисковик у вас на айфоне (1), на сайт заходят боты с других сайтов (1), поисковая интернет программа в айфоне (1), поисковый интернет паук (1), поисковый паук для браузеров (1), поисковый спайдер (1), почему выходит веб сайт или имя я хочу зайти в гугл на айфоне5 куда надо нажать? (1), программы спайдеры (1), где поисковик у айфона 4 (1), где на айфон находиться ping (1), где в айфоне поисковик интернет (1)

Эффективный пинг ваших сайтов.

Продолжаю тему о поисковых ботах. 10 минут назад, я написал пост о том как гугле мониторит сайты как мобильный девайс.  После публикации этого аналитического поста, я опять зашёл в статистику и увидел что буквально через пару минут после публикации нового поста, поисковый робот (поисковый паук) сразу забежал на мой блог. Раньше на всех (или почти на всех) моих блогах и сайтах работающих на вордпрес в разделе пинга стоял длинющий списко пинг сервисов. Даже пару лет назад 8 февраля 2010 года я уже писал про пинг сервисы и публиковал мой список пинг сервисов. На сегодня мой блог пингует не все эти сервисы, а только лишь два основных.  Это: http://ping.blogs.yandex.ru/RPC2 и http://blogsearch.google.ru/ping/RPC2 Как видите я пингую только основные поисковые системы от которых идёт трафик. И вот, после поста о поисковых ботах, о том как гугле мониторит сайты как мобильный агент, я увидел что пинги работают ОЧЕНЬ ЭФФЕКТИВНО. На следующем скриншоте видно время публикации поста о том как гугле мониторит сайты как мобильный агент. И на уже втором скриншоте видно время захода поисковика на мой сайт после пинга стандартными средствами движка вордпресс.

18-01-2013 12-48-41

18-01-2013 12-46-57 18-01-2013 12-48-41

Как видно на скриншоте, яндекс бот буквально через секунду зашёл на сайт за обновлённым контентом. Гугле бот зашёл через две минуты.  В любом случае, оперативность ботов налицо. Так что, если на ваших сайтах, блогах и др. не стоит пинг – советую обязательно поставить. Начать можете с этих двух основных пинговалок:

http://ping.blogs.yandex.ru/RPC2
http://blogsearch.google.ru/ping/RPC2

При желании посмотрите весь список пинг сервисов.

Однажды я создал несколько десятков сайтов, и в целях эксперимента, (ох и люблю же я всякие там SEO эксперименты) я сделал пинг четырьмя или пятью разными способами, чтобы выяснить, какой из методов позволит быстрей проиндексировать сайты. Определённая пачка сайтов пинговалась только одним способом. Другая группа сайтов, пинговалась через прокси уже совершенно другим методом. Может позже, я напишу статью про этот эксперимент. А на сегодня всё… Наверное… 🙂

http://ping.blogs.yandex.ru/RPC2
http://blogsearch.google.ru/ping/RPC2

 

Фразы, по которым нас находят:

как бот находит сайт (19), пинг сайта в гугле (10), где в айфоне поиск (10), где поиск в айфоне (6), Где в айфоне поисковик (6), поисковик на айфоне (6), яндекс пинг (5), поисковик паук (5), пинг для ботов яндекса (4), поисковик в айфоне (4), ping blog yandex (4), где поиск в айфоне 4s (4), где поисковик в айфоне (3), как написать поисковый бот (3), написать бот-паук для сайта (3), где поиск в айфоне 5 (3), пинг гугл (3), поисковый бот (3), пинги для яндекс (3), где поиск в айфоне 4 (2), поисковый бот для сайта (2)

Гугле бот Айфоном мониторит сайты. См. Фото.

Смотрел статистику и был неожиданно удивлён. Гугле бот зашёл на сайт через Iphone. Понятное дело, поисковый бот ставит подмену юзер агента и браузера и самого девайса (в данном случае это Iphone) чтобы проверить сайт на грязные методы раскрутки и т.д.. Это типа для того чтобы вычислить редиректы для мобильных устройств, это определение разных там видов клоакинга и т.д. Понятное дело, что поисковики периодически совершают такие провокационные набеги на сайты своими ботами. Но как известно есть основные боты, со статичным IP адресом, которые из года в год имеют одну и ту же серверную идентификацию. Вот вам пример “обычного” бота – бегунка. Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html Их ещё поисковыми пауками называют.

18-01-2013 11-59-07

Когда я слышу фразу поисковый паук, у меня сразу появляется в памяти ассоциация с фильмом “Иное мнение”, где Тома Круза реальные пауки-поисковики разыскивали по всему дому. Кто не смотрел фильм – посмотрите. Будете знать, что поисковые пауки бывают разных видов. 🙂

Но вот я и увидел бота (паука или crawler агента, называйте как хотите) который маскировался пользователем Iphone. Скриншот кликабелен и предоставлен ниже.

Скриншот кликабелен

Так что, бот detected. Кто-то скажет что в этом странного, давно всем известно что поисковые системы гуляют по вебстраницам под разными юзер агентами. Я тоже давно знаю про эти поисковые выкрутасы. Но на своём блоге увидел подобное впервые. Или может раньше просто  не обращал внимания. Наверное на мой замечательный блог, посвящённый зароботку в сети скоро повалит мобильный трафик. Может поставить редирект на партнёрку принимающую мобильный трафик через .htaccess? Хотя наверное не стоит. Ведь гугле бот уже во всю имитирует мобильные устройства и подобное “странное” поведение может послужить поводом для санкций со стороны поисковых систем.

Фразы, по которым нас находят:

говорящий гугл на айфон (20), как разговаривать с гуглом на айфоне (7), фото айфона 1 (7), мониторить айфон через компьютер (3), как говорить с гуглом по айфону (3), программа говорящий гугл на айфон (3), айфон 1 s фото (3), бот для айфона (2), бот гугл (2), бот в айфоне (2), как сидеть в интернете на айфоне через компьютер (2), бот на айфон (2), приложение-бот для iphone (2), личшие интернет блоги на пйфон (2), виды ботов гугла (2), интернет программа на айфон (2), как разговаривать с google на iphone (2), гугл на айфоне (2), не заходит на гугл через айфон (2), гуглебот (2), как зайти в гугл с айфона 5с (2)