Tag Archives: поисковый робот

Бесполезные боты – спайдеры. За и против.

Думаю всем вебмастерам рано или поздно приходилось сталкиваться со спайдерами (поисковыми пауками). Это так называемые боты, программы, которые сканируют вебсайт и можно сказать ничего полезного вебсайту не дают.

27-03-2015 17-17-24(на скриншоте видно количество посещений ботов, сегодня это 1437)

Когда на вебсайт заходит поисковый робот от Гугле или от Яндекса, это несомненно большой плюс. Это значит что содержимое вебсайта будет проиндексировано и добавлено в поисковый индекс, в результаты поиска. Но когда на сайт заходят другие роботы, которые не приносят трафика, то появляется резонный вопрос, а нужны ли они нам?

Сегодня я зашёл на свой вебсайт и вижу что статистика подсчитала более 1500 ботов от MJ12bot, а это в статистике видно по Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+) и также были посещения от Baiduspider: Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html). Сколько я занимаюсь созданием вебсайтов, не помню чтобы с подобных поисковиков были посетители. А значит нам эти боты не представляют интереса. Continue reading

Фразы, по которым нас находят:

поисковый Паук (4), MJ12bot (4), робот на айфоне как его называют (2), MJ12bot/v1 4 5 (2), mj12bot что это (2), на сайт заходят боты с других сайтов (1), какой поисковик у вас на айфоне (1), как с айфона зайти в поисковик интернет (1), как называется говорящий робот на айфоне (1), использование MJ12bot в seo (1), говорящий робот приложение на айфон (1), поисковая интернет программа в айфоне (1), поисковые боты на айфон (1), поисковый интернет паук (1), baiduspider что это (1), поисковый паук для браузеров (1), поисковый робот кто создал (1), поисковый спайдер (1), почему выходит веб сайт или имя я хочу зайти в гугл на айфоне5 куда надо нажать? (1), программы спайдеры (1), говорящий робот как на айфоне (1)

Эффективный пинг ваших сайтов.

Продолжаю тему о поисковых ботах. 10 минут назад, я написал пост о том как гугле мониторит сайты как мобильный девайс.  После публикации этого аналитического поста, я опять зашёл в статистику и увидел что буквально через пару минут после публикации нового поста, поисковый робот (поисковый паук) сразу забежал на мой блог. Раньше на всех (или почти на всех) моих блогах и сайтах работающих на вордпрес в разделе пинга стоял длинющий списко пинг сервисов. Даже пару лет назад 8 февраля 2010 года я уже писал про пинг сервисы и публиковал мой список пинг сервисов. На сегодня мой блог пингует не все эти сервисы, а только лишь два основных.  Это: http://ping.blogs.yandex.ru/RPC2 и http://blogsearch.google.ru/ping/RPC2 Как видите я пингую только основные поисковые системы от которых идёт трафик. И вот, после поста о поисковых ботах, о том как гугле мониторит сайты как мобильный агент, я увидел что пинги работают ОЧЕНЬ ЭФФЕКТИВНО. На следующем скриншоте видно время публикации поста о том как гугле мониторит сайты как мобильный агент. И на уже втором скриншоте видно время захода поисковика на мой сайт после пинга стандартными средствами движка вордпресс.

18-01-2013 12-48-41

18-01-2013 12-46-57 18-01-2013 12-48-41

Как видно на скриншоте, яндекс бот буквально через секунду зашёл на сайт за обновлённым контентом. Гугле бот зашёл через две минуты.  В любом случае, оперативность ботов налицо. Так что, если на ваших сайтах, блогах и др. не стоит пинг – советую обязательно поставить. Начать можете с этих двух основных пинговалок:

http://ping.blogs.yandex.ru/RPC2
http://blogsearch.google.ru/ping/RPC2

При желании посмотрите весь список пинг сервисов.

Однажды я создал несколько десятков сайтов, и в целях эксперимента, (ох и люблю же я всякие там SEO эксперименты) я сделал пинг четырьмя или пятью разными способами, чтобы выяснить, какой из методов позволит быстрей проиндексировать сайты. Определённая пачка сайтов пинговалась только одним способом. Другая группа сайтов, пинговалась через прокси уже совершенно другим методом. Может позже, я напишу статью про этот эксперимент. А на сегодня всё… Наверное… 🙂

http://ping.blogs.yandex.ru/RPC2
http://blogsearch.google.ru/ping/RPC2

 

Фразы, по которым нас находят:

как бот находит сайт (19), пинг сайта в гугле (10), где в айфоне поиск (10), поисковик на айфоне (6), где поиск в айфоне (6), Где в айфоне поисковик (6), яндекс пинг (5), поисковик паук (5), где поиск в айфоне 4s (4), пинг для ботов яндекса (4), поисковый бот (4), ping blog yandex (4), поисковик в айфоне (4), где поиск в айфоне 5 (3), где поисковик в айфоне (3), написать бот-паук для сайта (3), как написать поисковый бот (3), пинги для яндекс (3), пинг гугл (3), как сделать пинг поста с блога сразу (2), где поиск в айфоне 4 (2)

Гугле бот Айфоном мониторит сайты. См. Фото.

Смотрел статистику и был неожиданно удивлён. Гугле бот зашёл на сайт через Iphone. Понятное дело, поисковый бот ставит подмену юзер агента и браузера и самого девайса (в данном случае это Iphone) чтобы проверить сайт на грязные методы раскрутки и т.д.. Это типа для того чтобы вычислить редиректы для мобильных устройств, это определение разных там видов клоакинга и т.д. Понятное дело, что поисковики периодически совершают такие провокационные набеги на сайты своими ботами. Но как известно есть основные боты, со статичным IP адресом, которые из года в год имеют одну и ту же серверную идентификацию. Вот вам пример “обычного” бота – бегунка. Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html Их ещё поисковыми пауками называют.

18-01-2013 11-59-07

Когда я слышу фразу поисковый паук, у меня сразу появляется в памяти ассоциация с фильмом “Иное мнение”, где Тома Круза реальные пауки-поисковики разыскивали по всему дому. Кто не смотрел фильм – посмотрите. Будете знать, что поисковые пауки бывают разных видов. 🙂

Но вот я и увидел бота (паука или crawler агента, называйте как хотите) который маскировался пользователем Iphone. Скриншот кликабелен и предоставлен ниже.

Скриншот кликабелен

Так что, бот detected. Кто-то скажет что в этом странного, давно всем известно что поисковые системы гуляют по вебстраницам под разными юзер агентами. Я тоже давно знаю про эти поисковые выкрутасы. Но на своём блоге увидел подобное впервые. Или может раньше просто  не обращал внимания. Наверное на мой замечательный блог, посвящённый зароботку в сети скоро повалит мобильный трафик. Может поставить редирект на партнёрку принимающую мобильный трафик через .htaccess? Хотя наверное не стоит. Ведь гугле бот уже во всю имитирует мобильные устройства и подобное “странное” поведение может послужить поводом для санкций со стороны поисковых систем.

Фразы, по которым нас находят:

говорящий гугл на айфон (20), фото айфона 1 (7), как разговаривать с гуглом на айфоне (7), бот на айфон (3), программа говорящий гугл на айфон (3), как говорить с гуглом по айфону (3), айфон 1 s фото (3), мониторить айфон через компьютер (3), как на айфоне говорить с гуглом (2), виды ботов гугла (2), приложение-бот для iphone (2), бот для айфона (2), бот гугл (2), как разговаривать с google на iphone (2), гугл бот на айфоне (2), не заходит на гугл через айфон (2), гугл на айфоне (2), гуглебот (2), личшие интернет блоги на пйфон (2), интернет программа на айфон (2), как сидеть в интернете на айфоне через компьютер (2)