Как скрыть user agent определение браузера. Много анонимности не бывает — скрываем User-Agent. Поисковые системы на примере роботов Яндекс

User Agent (рус. Юзерагент) – это информационная строка, идентифицирующая тот или иной браузер. С её помощью передаётся ряд данных об используемом клиенте с целью правильной обработки и корректного отображения целевой веб-страницы для пользователя.

Для чего может понадобится изменить User-Agent

Разработчики и администраторы веб-сайтов могут оценить достаточно ли оптимизирован их ресурс для разных обозревателей и устройств;
В случаях, когда необходимо «обмануть» тот или иной сайт, чтобы получить доступ к содержимому, предназначенному для другой платформы или устройства (так как в зависимости от «юзерагент» одна и та же интернет-страница может предлагать разный контент);
Вообще, User-Agent позволяет определить довольно много различных параметров: название интернет-обозревателя и его версию, движок рендеринга, операционную систему и её разрядность, язык интерфейса, разрешение экрана, тип устройства, IP, и многое другое. Поэтому подмену User Agent можно рассматривать и как одну из мер обеспечения конфиденциальности пользователя в Сети.

Как изменить User Agent в Google Chrome и Яндекс.Браузер

Подменить User-Agent в Google Chrome, Яндекс Браузер, Opera и других Chromium-обозревателях можно, как, используя непосредственно настройки самого веб-браузера, так и посредством расширений.

Способ 1. Настройки

Недостаток этого способа заключается в том, что User Agent будет меняться только для текущей страницы, т.е. для каждой новой вышеописанную процедуру надо будет повторять.

Способ 2. Специальные расширения

Поменять юзерагент можно и с помощью браузерных дополнений, например, такого, как User-Agent Switcher. Оно максимально упрощает этот процесс.

Всё что для этого понадобится:

При этом, выбранный вами юзер агент будет задействован на всех сайтах, которые вы посетите (до завершения работы). Впрочем, можно поставить галочку напротив пункта «Remember last used User-Agent at startup»,

тогда работа будет возобновлена с тем же User-Agent, что вы задали во время предыдущей сессии.

В случае же, если вы хотите использовать подмену User Agent, как одно из средств защиты собственной конфиденциальности в Интернете, то обратите внимание на
Random User-Agent .

Random User-Agent способен не просто менять User Agent, а умеет это делать автоматически через заданный промежуток времени, скрывает настоящий User-Agent даже при определении средствами Javascript и обладает массой других полезных опций.

User Agent – это набор параметров, по которым происходит определение браузера, операционной системы, их версий, языка и плагинов. Такие данные требуются для корректного отображения веб-страниц на различных устройствах и браузерах.

После стандартизации основных браузеров данные User Agent уже не обязательны, и используются в основном для отладки сайтов, сбора статистики и «черной» поисковой оптимизации. Также данные User Agent могут служить дополнительным источником информации для злоумышленников. Поэтому, для обеспечения анонимной работы в сети Интернет, пользователи изменяют значение User Agent при помощи различных плагинов и программ.

Важно помнить, что не все плагины способны корректно изменять User Agent пользователя. Некоторые плагины делают подмену данных User Agent только в браузере клиента, оставляя аналогичные серверные данные без изменений. Пользователи, у которых не совпадают значения User Agent, могут вызывать подозрения у администраций различных банковских сайтов и платежных сервисов.

Как проверить свой User Agent

После установки или удаления плагинов и программ для подмены User Agent рекомендуется пройти тест на сайте . Тест покажет, совпадают ли значения User Agent на стороне клиента и на стороне сервера.

Как изменить User Agent в браузере Chrome

В браузере Chrome подменять данные User Agent удобней при помощи плагина «User-Agent Switcher».

В браузере Chrome загружаем и устанавливаем плагин «User-Agent Switcher».
Кликаем на иконку плагина и выбираем любое значение User Agent.
Проверяем совпадение значений User Agent тестом на сайте .

Как изменить User Agent в браузере Firefox

В Firefox возможно подменить User Agent через настройки браузера.

В браузере Firefox вызываем скрытые настройки, для этого прописываем в адресной строке команду about:config и жмем Enter.
Создаем новый параметр с названием general.useragent.override. Далее вызываем контекстное меню, выбираем «Создать» и «Строка».
Вводим название параметра general.useragent.override и подтверждаем.
В появившемся окне прописываем нужные данные User Agent.
Проверяем результат подмены User Agent тестом на сайте сайт.

Как изменить User Agent в браузере Opera

В браузере Opera подмена User Agent возможна с помощью плагина «User-Agent Switcher».

В меню браузера Opera находим «Расширения» и загружаем плагин «User-Agent Switcher».
После установки кликаем на иконку плагина «User-Agent Switcher» и выбираем любые данные, которые будут отображаться в User Agent.
Проверяем правильность подмены User Agent тестом на сайте сайт.

Очередной приступ паранойи был вполне обоснован - он наступил после прочтения статьи о методах анонимности в сети , где автор на примере браузера FireFox рассказывал о потенциальных утечках идентификационной информации. И стало интересно - а на сколько озвученные решения применимы, скажем, к браузеру Google Chrome ?
Скрыть реальный IP - используем разные VPN сервера, отключить львиную долю отслеживающих скриптов - Adblock Plus и Ghostery убрать Referer - не вопрос , что то ещё забыли… Ах да - User-Agent - своеобразный «отпечаток», по которому (в связке, скажем, с IP) легко идентифицировать пользователя. И с этим надо было что-то делать. Найденные решения лишь статично изменяли значение User-Agent, чего было явно недостаточно. Тогда и было решено написать плагин для скрытия реального User-Agent"a, а если быть точнее - подменять его на рандомный. Или почти рандомный.

Немного теории

Вообще, User-Agent (далее по тексту - UA ) - штука нужная. Нужная в первую очередь для корректного отображения страниц, ведь нам всем известно - разные версии разных браузеров по разному рендерят странички, и заботливые web-программисты учитывают этот факт, выдавая нужным браузерам нужным скрипты и стили. Разнится поддержка доступных технологий «движками». Отсюда вытекает первое требование к итогу - возможность «имитировать» различные браузеры, и что самое важное - иметь возможность выбора между ними.
UA - это в первую очередь набор. Набор различных идентификаторов, по которым и происходит определение - какой браузер, какая операционная система, какой версии, и какое специфичное ПО (привет, IE) стоит у пользователя.
Почему именно IP и UA надо скрывать в первую очередь? А давайте посмотрим на лог пустого сайта-заглушки, на котором вообще ничего нет:

$ cat somesite.org.access_log | tail -3 10.12.11.254 - - "GET / HTTP/1.0" 200 5768 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)" 10.12.11.254 - - "GET / HTTP/1.0" 200 5768 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" 10.12.11.254 - - "GET / HTTP/1.0" 200 5768 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"

На сайте ничего нет, а я знаю о посетителе более чем достаточно. Всё потому что «логи знают всё» .

Немного практики

Итак, решено - подставляем фейковый UA . Но как его сформировать? Я пошел по пути собирания с десятка UA каждого интересующего браузера, и написания регулярки для каждого, которая будет генерировать максимально правдоподобный и в то же время а какой-то мере уникальный отпечаток. Хотите пример? Вот вам 10 UA браузера «IE 9», и среди них пять настоящих. Сможете отличить?

Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; chromeframe/12.0.742.112) Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 6.0; Win64; x64; Trident/5.0; .NET CLR 3.8.50799; Media Center PC 6.0; .NET4.0E) Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 8.1; Trident/5.0; .NET4.0E; en-AU) Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0) Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 8.0; WOW64; Trident/5.0; .NET CLR 2.7.40781; .NET4.0E; en-SG) Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 8.0; Win64; x64; Trident/5.0; .NET4.0E; en) Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0) Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; Zune 4.0; Tablet PC 2.0; InfoPath.3; .NET4.0C; .NET4.0E) Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 7.0; Trident/5.0; .NET CLR 2.2.50767; Zune 4.2; .NET4.0E) Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0
Да, это возможно, но для это нужно анализировать. Анализировать, например, какие.net могут стоять на каких ОС, анализировать версии и сочетания, нюансы. Когда они теряются в куче - задача становиться мало тривиальной. Кому интересно как выглядят регулярки - добро пожаловать по этой ссылке . Дня генерации использовал randexp.js (за подсказку спасибо хабрачуваку под ником barkalov).

Вообще расширение успешно выдает себя за следующие браузеры:

IE с 6 по 10;
Chrome (Win / Mac / Linux);
Firefox (Win / Mac / Linux);
Safari (Win / Mac / Linux);
Opera (Win / Mac / Linux);
iPad и iPhone.

Что ещё интересного? Автоматизация . Отмечаешь галочками какие браузеры мы имитируем, ставишь галочку «Обновлять автоматически», указываешь интервал времени, и забываешь. Ничего лишнего. Для любопытных - посмотрите в консоли «фоновую страницу» - там всё не плохо залогировано.

Открытые исходники. Если есть желание допилить под себя, всё что необходимо, это:

Открыть ссылку расширения на гитхабе;
Нажать «Download Zip» или склонировать;
На странице расширений поставить чекбокс «Режим разработчика»;
Нажать «Загрузить распакованное расширение...» и указать путь к распакованному архиву или клону;

Буду очень признателен конструктивной критике и предложениям.

Лучше один раз увидеть.

User agents are unique to every visitor on the web. They reveal a catalogue of technical data about the device and software that the visitor is using. Armed with this information, you can develop richer and more dynamic websites that deliver different experiences based on the user agent that’s visiting.

User agents are also critical in controlling search engine robots using the robots.txt file on your server. But they dont function perfectly in every situation, and the information in a user agent string can be faked.

In order to leverage this information, you need to understand the component parts of a user agent string, and consider also the potential risks of using this method to deliver content.

What is a User Agent?

Everyone that is browsing the web right now has a user agent. It’s the software that acts as the bridge between you, the user, and the internet. It’s easiest to understand user agents if we backtrack and look at the evolution of the web, so we can understand the benefits of user agents.

When the internet was a text-based system, right back at the beginning of its use, users had to type commands to navigate and send messages. Now, we have browsers to do that for us. We simply point and click, and the browser is acting as our “agent,” turning our actions into commands.

When your browser (or similar device) loads a website, it identifies itself as an agent when it retrieves the content you’ve requested. Along with that user agent identification, the browser sends a host of information about the device and network that it’s on. This is a really set of data for web developers, since it allows them to customize the experience depending on the user agent that’s loaded the page.

User Agent Types

Browsers are a straightforward example of a user agent, but other tools can act as agents. Crucially, not all user agents are controlled or instructed by humans, in real time. Search engine crawlers are a good example of a user agent that is (largely) automated - a robot that trawls the web without a user at the helm.

Here’s a list of some of the user agents you’ll encounter:

Browsers: Including Internet Explorer, Firefox, Safari, Chrome, Edge, BlackBerry, Opera, Minimo, Beonex and the AOL browser.
Crawlers: Google, Google Images, Yahoo! Slurp, and hundreds more.
Consoles: PlayStation 3, Wii, PlayStation Portable and Bunjalloo - the Nintendo DS’ built-in browser.
Legacy operating systems (for example, AmigaVoyager).
Offline browsers and similar (for example, Wget and Offline Explorer).
Link checkers (for example, W3C-checklink).
Plus a whole range of feed readers, validators, cloud platforms, media players, email libraries, and scripts.

Reading HTTP User Agent Strings

Once the user agent has identified itself to the web server, a process called content negotiation can begin. This allows the website to serve different versions of itself, based on the user agent string. The agent passes its ID card over to the server, and the server then negotiates a combination of suitable files, scripts, and media.

In the early days of the web, user agents were used to distinguish Mosaic from Mozilla, since Mosaic did not support frames, while Mozilla did.

To look at a user agent string in more detail, take a look at this example user agent string, as generated by the . Your results will be unique to your computer, device and network, but here one from a computer we have in the office:

Breaking the example down, we get the following information:

The user agent application is Mozilla version 5.0, or a piece of software compatible with it.
The operating system is OS X version 10.2.2 (and is running on a Mac).
The client is Chrome version 51.0.2704.84.
The client is based on Safari version 537.36.
The engine responsible for displaying content on this device is AppleWebKit version 537.36 (and KHTML, an open source layout engine, is present too).

Dissecting user agent strings can be tricky, since there is no standard format. But there are guides and analytics tools all over the web that can help. For most designers, the application, version and engine are likely to be key.

Note that a huge part of the user agent string is concerned with compatibility. That’s because Internet Explorer originally had to declare itself to be Mozilla compatible in order to receive content with frames.

In practice, the majority of browsers now declare themselves to be Mozilla compatible to ensure that they can access all of the content on the web.

Content Negotiation

So: the user agent string is a little muddled. But it’s still useful. What can we do with it?

Check the capabilities of the browser or device, and load different CSS based on the outcome;
Deliver custom JavaScript to one device compared with another;
Send an entirely different page layout to a phone, compared to a desktop computer;
Automatically send the correct translation of a document, based on the user agent language preference;
Push special offers to particular people, based on their device type or other factors;
Gather statistics about visitors to inform our web design and content production process, or simply measure who’s hitting our site, and from which referral sources.

Overall, we can empower our scripts to make the best choice for our visitor, based on their user agent. And we can feed that data back into a cycle of continuous improvement, analytics and other processes, like conversion optimization.

Чтобы распознать строку useragent, воспользуйтесь онлайн формой ниже. Вставьте свою строку в поле User agent , или нажмите ссылку Мой user agent , чтобы узнать и распознать строку своего веб-браузера.

Внимание! JavaScript отключен.
Без включенной поддержки JavaScript функция User Agent работать не будет .
Включите в своём браузере поддержку JavaScript и обновите страницу.

Что такое User Agent?

User Agent — это строка, которую используют веб-браузеры в качестве своего имени, она содержит не только имя браузера, но и версию операционной системы и другие параметры. По user agent можно определить достаточно много параметров, например, название операционной системы, её версию и разрядность. Также можно определить и само устройство, на котором установлен браузер, это может быть компьютер, планшет, iPhone, iPad или другое мобильное устройство. Еще по user agent можно определить функции, которые поддерживает веб-браузер, например, JavaScript, Java Applet, Cookie, VBScript и Microsoft"s ActiveX.

Как происходит определение?

Как возможно определить так много параметров из одной маленькой строки? Большинство известных строк user agent находятся в базе данных browscap.org , если такая строка найдена в базе, то можно получить многие параметры, например, что за веб-браузер, что за версия, что за операционная система и т. д. База user agent постоянно обновляется и поддерживается, её можно скачать совершенно бесплатно на сайте browscap.org .

Как и кто использует данные user agent?

Данные из user agent используют веб-сервера, для определения версии браузера, чтобы отобразить наиболее корректно веб-страницу. Хоть этот метод уже и устарел, некоторые сайты продолжают использовать его для определения мобильных устройств. На смену такому способу пришел адаптивный дизайн.

Как изменить user agent?

Как изменить строку браузера на свою? Когда может потребоваться изменить user agent? Тогда, когда вы подозреваете, что сайт выдает информацию, исходя из вашей версии веб-браузера и не дает никакими образом увидеть полную версию сайта, вот тогда нужно изменить user agent и попробовать зайти на сайте еще раз.

Как изменить user agent в Mozilla Firefox

Актуально для версии Mozilla Firefox 34.0 и выше. В адресной строке набрать about:config и создать строку с именем general.useragent.override , по умолчанию такой строки нет. В значение строки необходимо вписать то, что будет отображаться в user agent.

Как изменить user agent в Chrome

Актуально для версии Google Chrome 26.0.1410.64 и выше. Необходимо запустить веб-браузер с ключом --user-agent="" и в кавычках указать новую строку user-agent. Например, в Windows можно запустить, нажав Win+R, и в поле "Открыть" вписать chrome --user-agent="MyBrowser" . Проверить текущее значение можно, введя в адресной строке about: .

Как изменить user agent в Opera

Актуально для версии Opera 12.15 и выше. Необходимо в адресной строке набрать opera:config#UserPrefs|CustomUser-Agent и заполнить выделенное поле "Custom User-Agent" новым значением для строки user agent. Затем необходимо прокрутить страницу в самый низ, нажать "Сохранить".

Как изменить user agent в Safari

Актуально для версии Apple Safari 5.1.7 и выше. Необходимо зайти в меню "Разработка". Чтобы увидеть панель меню, необходимо нажать Alt. Если не отображается меню "Разработка", его необходимо включить, для этого зайдите в меню "Правка" - "Настройки", перейдите во вкладку "Дополнения" и поставьте галочку напротив "Показывать меню разработка в строке меню". После опять нажмите Alt и выберите "Разработка" - "Пользовательский агент". На выбор уже представлены некоторые варианты, если ни один не подошел, выбирайте "Другой" и вписать свою строку user agent.

Как изменить user agent в Internet Explorer

Актуально для версии Internet Explorer 10 и выше. Необходимо нажать F12, откроется панель "Средства разработчика", выбрать меню "Сервис" - "Изменить строку агента пользователя". Уже, на выбор, представлено несколько вариантов, если ни один не подошел, то выбирайте "Особая...". В поле "Понятное имя" ввести любое имя, а в поле "Строка агента пользователя" ввести нужную строку user agent. Затем нажать "Добавить", выбрать её в списке и нажать "Установить". Единственный недостаток этого способа в том, что действует он временно, до закрытия веб-браузера, после нового запуска браузера необходимо опять нажать F12 и выбрать созданный вариант из списка быстрого выбора.

Еще способ изменить строку user agent - это исправить её в реестре, тогда установки сохраняются и после закрытия браузера, но есть минусы данного способа. Изменить строку user agent на совершенно произвольную не получится. Дело в том, что эта строка состоит из разных значений реестра, которые отделены друг от друга точкой с запятой (";"). Если значение нужно поменять для всех пользователей, то это HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Internet Settings\5.0\ User Agent\ , а для одного текущего пользователя здесь HKEY_CURRENT_USER\SOFTWARE\Microsoft\Windows\CurrentVersion\Internet Settings\5.0\ User Agent\ . По умолчанию там только один ключ По умолчанию (default). Необходимо создать три "строковых параметра" Compatible , Platform и Version . Чтобы изменения вступили в силу, необходимо перезагрузить браузер. Установите для примера данные значения:

По умолчанию = "Mozilla/5.0"
Compatible = "compatible"
Platform = "Windows NT 6.1"
Version = "MSIE 10.0"

В зависимости от необходимости замените указанные значения на нужные и не забудьте перезапустить браузер. Более подробно об этом можно прочитать на сайте Microsoft .

Как изменить User Agent на мобильных устройствах

Во многих мобильных устройствах уже предусмотрены изменения useragent строки с помощью стандартных настроек веб-браузера.

Как изменить User Agent в стандартном браузере для Android

В стандартном браузере Android строка useragent изменяется в настройках браузера, опция UAString. Но по умолчанию этот пункт меню скрыт. Для отображения данного меню, необходимо набрать в адресной строке about:debug и нажать Поиск или Go (на виртуальной клавиатуре). Затем заново зайти в настройки: Настройки » UAString, теперь данная опция доступна для выбора.

Как изменить User Agent в Dolphin Browser

Актуально для версии Dolphin Browser 11.4.2 и выше. Изменения предусмотрены стандартными настройками в меню "Настройки" » "Специальные" » "Персонализация" » "Пользовательский агент". На выбор представлены сразу несколько вариантов: "Android", "Рабочий стол", "iPhone", "iPad", "Пользовательский". Последний вариант позволяет ввести произвольную useragent строку.

Как изменить User Agent в PHP

Актуально для версии PHP 5.6 и выше. User Agent в PHP можно изменить двумя способами. Первый, это в файле php.ini, изменить параметр user_agent . Второй способ, это во время выполнения скрипта использовать stream_context_create .

Пример использования для file_get_contents() :

$opts = [ "http" => ["user_agent" => "my user agent"] ]; $context = stream_context_create($opts); file_get_contents("http://example.com/", false, $context);

Пример использования для Soap Client:

$opts = [ "http" => ["user_agent" => "my user agent"] ]; $context = stream_context_create($opts); $soapclient = new SoapClient("http://example.com/wsdl/", ["stream_context" => $context]);

Примеры строк User Agent

Desktop браузеры:

Mozilla Firefox 36 (Win 8.1 x64): Mozilla/5.0 (Windows NT 6.3; WOW64; rv:36.0) Gecko/20100101 Firefox/36.0
Google Chrome 53 (Win 10 x64): Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36
Google Chrome 40 (Win 8.1 x64): Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.115 Safari/537.36
Opera 40 (Win 10 x64): Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.101 Safari/537.36 OPR/40.0.2308.62
Opera 12.17 (Win 8 x64): Opera/9.80 (Windows NT 6.2; WOW64) Presto/2.12.388 Version/12.17
Apple Safari 5.1 (Win 8 x64): Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2
Internet Explorer 11 (Win 10 x64): Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; rv:11.0) like Gecko
Internet Explorer 11 (Win 8.1 x64): Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; ASU2JS; rv:11.0) like Gecko
Microsoft Edge (Win 10 x64): Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586

Мобильные браузеры:

iPhone: Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25
Android 2.3.5 (Philips W632): Mozilla/5.0 (Linux; U; Android 2.3.5; ru-ru; Philips W632 Build/GRJ90) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1

Планшеты:

iPad: Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25

Поисковые системы:

Яндекс: Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Google: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Bing: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Yahoo! Slurp: Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Mail.ru: Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
Sputnik: Mozilla/5.0 (compatible; SputnikBot/2.3; +http://corp.sputnik.ru/webmaster)

Роботы, боты, анализаторы:

Ahrefs: Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)
Majestic: Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)
SMTBot: Mozilla/5.0 (compatible; SMTBot/1.0; +http://www.similartech.com/smtbot)
linkdex: Mozilla/5.0 (compatible; linkdexbot/2.2; +http://www.linkdex.com/bots/)
Exabot: Mozilla/5.0 (compatible; Exabot/3.0; +http://www.exabot.com/go/robot)
StatOnline.ru: Mozilla/5.0 (compatible; StatOnlineRuBot/1.0)