Поисковые системы интернета: обзор существующих решений. Анонимная поисковая система: обзор и сравнение лучших

Лучшие поисковые системы Интернета. Поисковая система интернета – это специальные программы для поиска, установленные на целый комплекс специализированных машин. А по-простому — это тот же сайт с комплексом программ, только на специальной поисковой машине (сервере). Именно при помощи поисковых систем вы находите всю нужную вам информацию. Поисковых систем очень много.

1. Что такое поисковая система Интернета

2. Популярные поисковые системы нашей страны

3. Популярные поисковые системы Зарубежья

4. Необычные поисковые системы

5. Как правильно искать информацию в Интернете

Самые лучшие п оисковые системы в нашей стране:

http://www.yandex.ru

http://www.google.com

http://www.aport.ru

http://www.rambler.ru/

http://go.mail.ru

http://www.webalta.ru/

Самый всеми нелюбимый и навязчивый поисковик.

Популярные поисковики зарубежья

http://www.altavista.com

http://www.alltheweb.com

http://www. bing.com

http://www.google.com
http://www.excite.com
http://www.lycos.com
http://www.mamma.com

http://www.yahoo.com

http://www.dmoz.com
http://www.hotbot.com
http://www.dogpile.com
http://www.netscape.com
http://www.msn.com
http://www.webcrawler.com
http://www.jayde.com
http://www.aol.com
http://www.euroseek.com
http://www.teoma.com
http://www.about.com
http://www.ixquick.com
http://www.lookle.com
http://www.metaeureka.com
http://www.searchspot.com
http://www.slider.com
http://www.allthesites.com
http://www.clickey.com
http://www.galaxy.com
http://brainysearch.com
http://www.orura.com

У каждой страны существую свои популярные поисковые системы.

Необычные поисковые системы

• DuckDuckGo (https://duckduckgo.com/)- гибридная поисковая система с политикой конфиденциальности пользователя и его поисковых запросов.

• TinEye (http://tineye.com/) - поисковая система, специализирующаяся на поиске изображений в Интернете. С недавнего времени теряет свою актуальность, после того, как Google ввел такую же функцию в своем поиске по картинкам.

• Генон (http://www.genon.ru/) - поисковая система, собирающая и создающая контент у себя на сайте.

Почти в каждой поисковой системе помимо окна поиска расположены ссылки на самые популярные новостные сайты, и сайты определенной тематики.

Как правильно искать информацию в Интернете

В каждой поисковой системе есть свои алгоритмы (правила) поиска информации.

Для того, чтобы найти какую-то информацию в Интернете через поисковую систему, необходимо в поле поиска ввести запрос . Если вы введете какое-то одно слово, то вам по этому запросу выдадут тысячи ссылок на сайты, в которых это слово упоминается.

Поэтому необходимо вводить как можно более конкретный запрос, состоящий из двух, трех и более словосочетаний.

Давайте рассмотрим пример запроса в поисковой системе Яндекс .

Допустим, вы хотите найти информацию по вопросу о покупке компьютера. Если вы напишите в окне поиска одно слово «Компьютер », то вам выдадут 133 млн ответов

Надо задать более конкретный запрос. Лучше указать какой именно компьютер вы хотите купить и где (в каком городе).

Тогда уже поисковая система выдаст вам намного меньше ответов на ваш запрос.

Поисковой системе совершенно без разницы, какими буквами вы введете запрос – большими или маленькими.

Яндекс различает существительные и прилагательные, но совершенно игнорирует окончания.

Также ему совершенно безразличны падежи, множественное число и тому подобное.

Для того чтобы поиск был более точным, необходимо взять запрос в кавычки или поставить перед словом восклицательный знак.

А теперь посмотрите на тот же самый запрос, но без восклицательных знаков.

Видите разницу? С восклицательными знаками количество ответов не 2 млн, а 186 тыс.

Если вы поставите восклицательный знак перед словом с большой буква, то вам выдадут ответы, в которых встречается именно это слово с большой буквы.

Если слово в именительном падеже, и вам необходима информация именно по такому слову, и именно так, как вы его написали, то поставьте перед этим словом два восклицательных знака. Например: !!Мяч .

Поиск выдаст вам ответы именно по этому слову «Мяч » так, как вы его написали. Не «мячик », не «мячи », и с большой буквы.

Если вы напишите словосочетание со словом «на », то Яндекс проигнорирует «на ». Например: «на полке ». Поиск будет производиться только по слову «полка ».

Для того, чтобы он его учел и не игнорировал, надо перед словом «на » поставить знак плюса – «+на ».

У каждой поисковой системы свой алгоритм поиска, поэтому если вы пользуетесь каким-то определенным поисковиком, и хотите научиться правильно составлять запросы, то надо просто набрать в поисковой строке «правила поиска в Google » или «правила поиска в Яндекс », перейти по ссылке ответа на ваш запрос и почитать нужную информацию.

Сегодня мы поговорим о лучших анонимных поисковиках для обычного интернета, так называемого Клирнета, которым пользуется каждый человек.

Я расскажу вам о всех существующих поисковых системах, которые предлагают пользователю больше анонимности и приватности, чем популярные и всеми известные поисковики.

В начале речь пойдет о ключевых моментах выбора анонимной поисковой системы. Вы узнаете на что следует обратить внимание пользователю не желающему оставлять следы в сети. После чего будет обзор каждого отдельного поисковика.

Также мы разберем ситуации, в которых лучше пользоваться анонимной поисковой системой, и когда предпочтительнее использовать привычный Yandex, Google и Bing.

Анонимная поисковая система

• Предисловие
• Безопасность поисковых систем
• Анонимность поисковых систем
• Анонимные поисковики
  • DuckDuckGo
  • Ixquick
  • Startpage
  • eTools.ch
  • Privatelee
• Заключение

Безопасность поисковых систем

Безопасный поиск в интернете начинается с зашифрованной передачи запроса, между пользователем и сервером. Для проверки шифрования я использовал отличный инструмент SSL Server Test. Прогнал через него все поисковики и выявил явных аутсайдеров нашего обзора.

Почему аутсайдеров?

Потому что поисковик который позиционирует себя анонимным и безопасным должен в первую очередь принудительным образом автоматически устанавливать защищенное SSL-соединение.

Для этого в адресной строке поисковой машины eTools нужно в ручную вводить «https». В поиске YaCy - активировать в настройках использование защищенного протокола HTTPS. А у других кроме DuckDuckGo, Startpage Ixquick с этим делом еще хуже.

У того же Гугла и Яндекса таких проблем нет. Вообще в плане безопасности и шифровании запросов нет равных Яндексу и Гуглу.

Еще одним важным критерием является длина ключа шифрования. Чем длиннее тем лучше. DuckDuckGo показал себя наилучшим образом с шифрованием RSA 4096 бит. Его конкуренты используют ключи в два раза короче. Но даже они еще долго будут считаться безопасными.

Также следует обратить внимание на PFS. Этот параметр даже важнее длины ключа шифрования. Для тех кто не в курсе, PFS (Perfect forward secrecy) переводится как совершенная прямая секретность. Простыми словами PFS - это защита от записи зашифрованной сессии спецслужбами и хакерами.

Анонимность поисковых систем

Это все по поводу безопасности. А теперь по поводу анонимности. В отличие от Google, Yandex и других, где все ваши запросы сохраняются, обрабатываются и анализируются, анонимные поисковые системы не хранят вашу интернет-активность.

Кстати, посмотреть все свои запросы в Гугл вы можете с помощью сервиса « ». Там же можете найти и другие ваши следы оставленные в сети. Таким же образом сохраняется .

Ну, и напоследок про печеньки т.е. Кукисы. Постоянные cookie-файлы в анонимных поисковиках сохраняются лишь в том случае, если изменяются стандартные настройки — к примеру, если устанавливается язык интерфейса DuckDuckGo или тема интерфейса Ixquick. Ни одна из альтернативных анонимных поисковых систем не использует в файлах Cookies идентификатор пользователя.

А Google делает это при каждом запросе. Он для обработки IP-адреса динамически прибегает к помощи многочисленных постоянных Cookies с ID для точной идентификации пользователя. А вы что думали?

Анонимная поисковая система Yacy

Анонимная поисковая система Ixquick

Поисковик был основан Дэвидом Бодникином в 1998 году. С 2000 года принадлежит голландской компании Surfboard Holding BV.

Ixquick.com является первой поисковой системой, удалившей конфиденциальные данных своих пользователей. IP-адреса и другая персональная информация пользователей удаляются через 48 часов после поиска.

Также у поисковика есть интересная фишка «Прокси режим». Работает данная функция так. Рядом с каждым сайтом в поисковой выдаче есть кнопка «Proxy», нажав на которую вы получите информацию с сайта анонимно - робот Startpage зайдет на искомую страницу, после чего скачает ее и отобразит вам.

Основные возможности Ixquick:

• Стандарт шифрования SSL/PFS.
• Не сохраняет историю поиска/IP-адрес/конфиденциальные данные.

Достойный конкурент DuckDuckGo. В чем-то даже лучше. Из минусов могу отметить только один — нет возможности поменять язык интерфейса сайта. Т.е. такая возможность есть, но вот русского среди возможных языков пока нет.

Поисковик — это еще один проект компании Ixquick. Различие между поисковиком Ixquick и Startpage одно. Последний в поисковой выдаче использует только результаты Google, но также как и Ixquick не сохраняет IP-адреса, удаляет идентифицирующую информацию из пользовательских поисковых запросов и отправляет обезличенную, анонимную информацию в Google.

Startpage тоже имеет бесплатный анонимный веб-прокси, с помощью которого пользователь может открывать веб-сайты, используя их прокси-сервис, и анонимно искать картинки и видео.

Поисковая система в работе между клиентом и сервером по умолчанию использует протокол HTTPS с алгоритмом шифрования AES и ключом длиной 128 бит.

Основные возможности Startpage:

• Стандарт шифрования SSL/PFS.
• Сервера находятся в Нидерландах.
• Есть приложения для Android и iOS.
• Не передает конфиденциальные данные третьим лицам.
• Не сохраняет идентификатора пользователя в Cookies.
• Не отслеживает Cookies сторонних лиц.

Достойный конкурент DuckDuckGo, но Ixquick лучше. Из минусов как и у Ixquick — нет возможности поменять язык интерфейса сайта. Есть все что угодно, но только не русский.

Анонимная поисковая система eTools.ch

Поисковик — это еще один онлайн сервис позиционирующий себя как анонимный. Давайте узнаем насколько он является анонимным. Итак, eTools.ch не имеет своего собственного индекса и алгоритмов ранжирования, результаты поиска берутся из других сервисов: Ask, Bing, DuckDuckGo, Yandex, Yahoo, Wikipedia, Google и т.д.

eTools.ch в работе между клиентом и сервером по умолчанию использует протокол HTTPS.

Основные возможности eTools.ch:

• Стандарт шифрования PFS
• Не сохраняет историю поиска такую как: IP-адрес и конфиденциальные данные.
• Не передает конфиденциальные данные третьим лицам.
• Не сохраняет идентификатора пользователя в Cookies.

По сравнению с DuckDuckGo и Ixquick все намного хуже. eTools.ch сохраняет постоянные и отслеживающие Cookies сторонних лиц.

Анонимная поисковая система Privatelee

Privatelee — это не самый популярный сервис. Поисковую выдачу формирует на осваивании своего индекса. Качество поисковой выдачи далеко от идеала. С помощью фильтров Power Search можно добавить результаты поисковой выдачи Google, Ask и Bing.

Настроек почти нет никаких. Рядом с каждым сайтом отображается иконка рейтинга WOT. Да друзья, вы не ослышались, разработчики поисковика видимо не в курсе, что за пользователями. Может им кинуть ссылку на наш сайт и предложить подписаться?))

Больше нечего сказать и сравнивать с другими смысла не вижу.

Другие анонимные поисковые системы

В этот обзор не вошли другие анонимные поисковые системы, так как не имеют такой богатый функционал. Обзор делать на каждый из них не имеет смысла, а вот знать что такие есть — не плохо.

• Анонимная поисковая система Hulbee
• Анонимный поисковик Lukol
• Анонимная поисковая система Yippy
• Анонимный поисковик Disconnect Search

В завершении отвечу на один из главных вопросов.

В каких случая оправдано использование анонимной поисковой системы?

Если вы ищите то, о чем не хотели бы чтобы знала всемирная сеть!

Во всех остальных лучше использовать обычные поисковые машины, такие как Yandex и Google. На сегодняшний день качество поисковой выдачи этих поисковых гигантов намного лучше любого анонимного поисковика.

Низкая анонимность — это плата за использование ведущих технологий поискового ранжирования, которые стараются всеми силами предотвратить попадание мошеннических или некачественных сайтов в топ. В этом мире за все надо платить, иногда деньгами, а иногда и информацией.

Вас также может заинтересовать статья « » и статья « 4.49 (42 оценок)

В мире приватного поиска есть два крупных и известных лидера, это компании Yauba и Ixquick. Давайте начнем наш обзор с подробного рассмотрения этих двух признанных лидеров, а затем бегло сравним их с существующими конкурентами на этом специфичном рынке.

Эта поисковая система была основана индийцем Ахмедом Хоссейном и создана совместными усилиями Индийского Института Технологий, Университета Дельфи (Индия), а также знаменитым MIT (Massachusetts Institute of Technology). В проекте также принимали активное участие ИТ-факультеты из Гарвардского университета и Университета Калифорнии в Беркли. Это серьёзный научный проект и попытка создать принципиально новый тип поиска, при этом во главу угла поставлен факт того, что поиск не должен пользоваться никакими приватными данными или личными фактами граждан в процессе своей работы. Все результаты поиска никак не анализируются и не накапливаются, проект принципиально пытается создать абсолютно чистый и безопасный поиск насколько это вообще возможно. Сервис не сохраняет ваш IP-адрес, не сохраняет никакие куки на вашем компьютере, вся введенная вами в любые поисковые формы информация удаляется сразу после её обработки. На данный момент поисковик уверенно входит в топ 100 000 самых посещаемых сайтов мирового интернета. Важно, что данная поисковая машина обладает собственным поисковым движком, который также успешно индексирует и русскоязычные сайты, и обрабатывает пользовательские запросы на русском языке. При поисковой выдаче в ответ на пользовательские запросы Yauba предлагает перейти на найденные сайты по двум типам ссылок, одна из которых синего цвета (это обычная прямая ссылка), а вторая - зеленого, которая позволяет просмотреть пользователю поиска данный сайт через анонимный прокси-сервер.

Ixquick называет себя первым поисковым сайтом в мире, который не фиксирует IP-aдреса своих посетителей. Этот поисковый проект также утверждает, что они сохраняют минимум информации о поиске, которая в любом случае ни при каких обстоятельствах не будет предоставлена третьим лицам, а нужна лишь для собственных технических нужд, развития и оптимизации поиска. В 2008 году данный поисковый движок был награжден наградой European Privacy Seal и стал первым поисковиком, официально рекомендованным Евросоюзом для использования своим гражданам. В поисковике реализован удобный современный интерфейс (например, присутствует возможность сворачивать результаты поиска в спойлер). В поисковой выдаче пользователю предлагается выбор перехода на найденные ссылки через прокси-анонимайзер самого проекта и присутствует возможность выполнить переход по прямым ссылкам как в Google. По нашему мнению, поисковый движок показывает очень неплохие результаты поиска. Информация на самом сайте разработчиков о природе поискового движка несколько противоречивая, так, в одном месте речь идет о собственном движке поиска, в другом - наоборот, утверждается о фактически метапоиске, т.е. формировании совокупного результата выдачи из выдачи таких мировых поисковых лидеров, как Bing, Yahoo, Ask/Theoma, а также о заключении отдельного соглашения с Wikipedia. Как и традиционные поисковые машины, Ixquick позволяет также искать и в картинках, телефонных базах номеров, видео-коллекциях и т.д.

StartPage - это ещё один анонимный поиск, который технологически является клоном Ixquick. Также как и его коллега, StartPage не сохраняет никаких приватных данных пользователей, его использующих. Команда разработчиков StartPage пытается просто улучшить уже существующий Ixquick.

И хотя название этого поисковика похоже на имя какого-то сказочного легкомысленного героя из мультфильма, в отношении поиска это самая настоящая поисковая машина, которая использует кластерную ферму из 400 серверов, чтобы обслужить все входящие запросы и для индексации интернета. DuckDuckGo называет столь любимое традиционными поисковиками накопительство личных данных "поисковой утечкой", и сама, в качестве примера, сохраняет полный нейтралитет в отношении пользователя. В отличии от вышеназванных поисковиков здесь все можно настраивать. Так, в разделе Result settings и Privacy settings можно самостоятельно указать, что можно, а что нельзя использовать и сохранять поисковику - по умолчанию все значения сброшены. В разделе Proxy Settings вы можете настроить либо редирект на прямую ссылку в найденной записи, либо подключить режим использования прокси - точно также, как это делают поисковики из обзора выше. Также в этом разделе можно включить принудительное использование защищенного протокола https, таким образом ваше общение с поисковым сервером будет ещё и надежно шифроваться, что исключает “подслушивание” ваших интересов третьей стороной.

Поскольку все четыре рассмотренных выше поисковика достаточно похожи и однотипны в заключение можно предложить ещё один пример совершенно другого подхода к анонимности - это работа уже с традиционным поиском Google через специальный фильтр безопасности. Подобный успешный подход демонстрирует довольно известный сервис hidemyass.com. Он выступает в роли своеобразного прокси-сервера с веб-интерфейсом именно для поиска Google, выдавая его стандартный результат, но в то же самое время лишая вас всех прелестей “слежки”, попыток определения вашего географического местоположения, вкусов и привычек и прочих недостатков традиционного поиска через Google. Мы считаем, что этот подход подходит большинству пользователей, т.к. не заставляет отказываться от уже привычного и ведущего в мире поискового гиганта, в то же самое время устраняет все его нежелательные особенности. Конечно, можно не усложнять себе жизнь и не пользоваться подобными специализированными сервисами, а использовать какой-нибудь публичный анонимизатор, например the-cloak.com , который более-менее удачно справляется с ролью защитника от навязчивого любопытства поисковых систем, но тут нужно сразу иметь ввиду некоторые тонкости. Так например, в некоторых случаях придется самостоятельно запретить исполнение javascript в своем браузере, т.к. таким образом некоторые поисковики смогут «достать вас» даже при заходе через аномизатор. Второй альтернативный подход - использование поисковых машин с метапоиском, многие из которых не столь навязчивы и любопытны, выступая своего рода интерфейсом-посредником к традиционным поисковым движкам. В качестве такого «хорошего примера» можно привести наш российский проект nigma.ru .

Здравствуйте, уважаемые читатели блога сайт. , то его немногочисленным пользователям было достаточно собственных закладок. Однако, как вы помните, происходил в геометрической прогрессии, и совсем скоро ориентироваться во всем ее многообразии стало сложнее.

Тогда появились каталоги (Яху, Дмоз и другие), в которых их авторы добавляли и сортировали по категориям различные сайты. Это сразу же облегчило жизнь тогдашним, еще не очень многочисленным пользователям глобальной сети. Многие из этих каталогов живы и до сих пор.

Но через некоторое время размеры их баз стали настолько большими, что разработчики сначала задумались о создании поиска внутри них, а потом уже и о создании автоматизированной системы индексации всего содержимого интернета, чтобы сделать его доступным всем желающим.

Основные поисковики русскоязычного сегмента интернета

Как вы понимаете, идея эта реализовалась с ошеломительным успехом, но, правда, все сложилось хорошо только для горстки избранных компаний, которым удалось не сгинуть на просторах интернета. Почти все поисковые системы, которые появились на первой волне, сейчас либо исчезли, либо прозябают, либо были куплены более удачными конкурентами.

Поисковая система представляет из себя очень сложный и, что немаловажно, очень ресурсоемкий механизм (имеются в виду не только материальные ресурсы, но и людские). За внешне простой , или ее аскетичным аналогом от Гугла, стоят тысячи сотрудников, сотни тысяч серверов и многие миллиарды вложений, которые необходимы для того, чтобы эта махина продолжала работать и оставалась конкурентоспособной.

Выйти на этот рынок сейчас и начать все с нуля — это скорее утопия, чем реальный бизнес проект. Например, одна из богатейших в мире корпораций Микрософт десятилетиями пыталась закрепиться на рынке поиска, и только сейчас их поисковик Бинг начинает потихоньку оправдывать их ожидания. А до этого была целая череда провалов и неудач.

Что уж говорить о том, чтобы выйти на этот рынок без особых финансовых влияний. К примеру, наша отечественная поисковая система Нигма имеет много чего полезного и инновационного в своем арсенале, но их посещаемость в тысячи раз уступает лидерам рынка России. Для примера взгляните на суточную аудиторию Яндекса:

В связи с этим можно считать, что список основных (лучших и самых удачливых) поисковиков рунета и всего интернета уже сформировался и вся интрига заключается только в том, кто кого в итоге сожрет, ну или каким образом распределится их процентная доля, если все они уцелеют и останутся на плаву.

Рынок поисковых систем России очень хорошо просматривается и тут, наверное, можно выделить двух или трех основных игроков и парочку второстепенных. Вообще, в рунете сложилась достаточно уникальная ситуация, которая повторилась, как я понимаю, только еще в двух странах в мире.

Я говорю о том, что поисковик Google, придя в Россию в 2004 году, не смог до сих пор захватить лидерства. На самом деле, они пытались примерно в этот период купить Яндекс, но что-то там не сложилось и сейчас «наша Раша» вместе с Чехией и Китаем являются теми местами, где всемогущий Гугл, если не потерпел поражение, то, во всяком случае, встретил серьезное сопротивление.

На самом деле, увидеть текущее положение дел среди лучших поисковиков рунета может любой желающий. Достаточно будет вставить этот Урл в адресную строку вашего браузера:

Http://www.liveinternet.ru/stat/ru/searches.html?period=month;total=yes

Дело в том, что большая часть использует на своих сайтах , а данный Урл позволяет увидеть статистику захода посетителей с различных поисковых систем на все сайты, которые принадлежат доменной зоне RU.

После ввода приведенного Урла вы увидите не очень приглядную и презентабельную, но зато хорошо отражающую суть дела картинку. Обратите внимание на первую пятерку поисковых систем, с которых сайты на русском языке получают трафик:

Да, конечно же, не все ресурсы с русскоязычным контентом размещаются в этой зоне. Есть еще и SU, и РФ, да и общих зонах типа COM или NET полно интернет проектов ориентированных на рунет, но все же, выборка получается довольно-таки репрезентативная.

Эту зависимость можно оформить и более красочно, как, например, сделал кто-то в сети для своей презентации:

Сути это не меняет. Есть пара лидеров и несколько сильно и очень сильно отстающих поисковых систем. Кстати, о многих из них я уже писал. Иногда бывает довольно занимательно окунуться в историю успеха или, наоборот, покопаться в причинах неудач когда-то перспективных поисковиков.

Итак, в порядке значимости для России и рунета в целом, перечислю их и дам им краткие характеристики:

Поиск в Гугле стал для многих жителей планеты уже нарицательным — о том, вы можете прочитать по ссылке. Мне в этом поисковике нравился вариант «перевод результатов», когда ответы вы получали со всего мира, но на своем родном языке, однако сейчас он, к сожалению, не доступен (во всяком случае на google.ru).



Так же в последнее время меня озадачивает и качество их выдачи (Search Engine Result Page). Лично я всегда сначала использую поисковую систему зеркала рунете (там есть , ну и привык я к ней) и только не найдя там вразумительного ответа обращаюсь к Гуглу.

Обычно их выдача меня радовала, но последнее время только озадачивает — порой такой бред вылазит. Возможно, что их борьба за повышение дохода с контекстной рекламы и постоянная перетасовка выдачи с целью дискредитировать Seo продвижение могут привести к обратному результату. Во всяком случае в рунете конкурент у этого поисковика имеется, да еще какой.

Думаю, что вряд ли кто-то специально будет заходить на Go.mail.ru для поиска в рунете. Поэтому трафик на развлекательных проектах с этой поисковой системы может быть существенно больше, чем десять процентов. Владельцам таких проектов стоит обратить внимание на эту систему.

Однако, кроме ярко выраженных лидеров на рынке поисковых систем русскоязычного сегмента интернета, существует еще несколько игроков, доля которых довольно низка, но тем не менее сам факт их существования заставляет сказать о них пару слов.

Поисковые системы рунета из второго эшелона

Поисковые системы масштаба всего интернета

По большому счету в масштабах всего интернета серьезный игрок только один — Гугл . Это безусловный лидер, однако некоторая конкуренция у него все же имеется.

Во-первых, это все тот же Бинг , который, например, на американском рынке имеет очень хорошие позиции, особенно, если учитывать, что его движок используется так же и на всех сервисах Яху (почти треть от всего рынка поиска США).

Ну, а во-вторых, в силу огромной доли, которую составляют пользователи из Китая в общем числе пользователей интернета, их главный поисковик под названием Baidu вклинивается в распределение мест на мировом олимпе. Он появился на свет в 2000 году и сейчас его доля составляет около 80% процентов от всей национальной аудитории Китая.

Трудно о Байду сказать еще что-то вразумительное, но на просторах интернета встречаются суждения, что места в его Топе занимают не только наиболее релевантные запросу сайты, но и те, кто за это заплатил (напрямую поисковику, а не Сео конторе). Конечно же, это относится в первую очередь к коммерческой выдаче.

В общем-то, глядя на статистику становится понятно, почему Google там легко идет на то, чтобы ухудшать свою выдачу в обмен на увеличение прибыли с контекстной рекламы. Фактически они не боятся оттока пользователей, ибо в большинстве случаев им уходить особо и некуда. Такая ситуация несколько печалит, но посмотрим, что будет дальше.

К слову сказать, чтобы еще больше усложнить жизнь оптимизаторам, а может быть, чтобы поддержать спокойствие пользователей этого поисковика, Google с недавних пор применяет шифрование при передаче запросов из браузера пользователей в поисковую строку. Скоро уже нельзя будет увидеть в статистике счетчиков посетителей, по каким запросам приходили к вам пользователи с Гугла.

Конечно же, кроме озвученных в этой публикации поисковых систем, существует еще не одна тысяча других — региональных, специализированных, экзотических и т.д. Пытаться их все перечислить и описать в рамках одной статьи будет не возможно, да и, наверное, не нужно. Давайте лучше скажу пару слов о том, как не легко создать поисковик и как не просто и не дешево его поддерживать в актуальном состоянии.

Подавляющее большинство систем работают по схожим принципам (читайте о том, и про ) и преследуют одну и ту же цель — дать пользователям ответ на их вопрос. Причем ответ этот должен быть релевантным (соответствующим вопросу), исчерпывающим и, что не маловажно, актуальным (первой свежести).

Решить эту задачу не так-то уж и просто, особенно учитывая, что поисковой системе нужно будет налету проанализировать содержимое миллиардов интернет страниц, отсеять лишние, а из оставшихся сформировать список (выдачу), где вначале будут идти наиболее подходящие под вопрос пользователя ответы.

Эта сверхсложная задача решается предварительным сбором информации с этих страниц с помощью различных индексирующих роботов . Они собирают ссылки с уже посещенных страниц и загружают с них информацию в базу поисковой системы. Бывают боты индексирующие текст (обычный и быстробот, который живет на новостных и часто обновляемых ресурсах, чтобы в выдаче всегда были представлены самые свежие данные).

Кроме этого бывают роботы индексаторы изображений (для последующего их вывода в ), фавиконок, зеркал сайтов (для их последующего сравнения и возможной склейки), боты проверяющие работоспособность интернет страниц, которые пользователи или же через инструменты для вебмастеров (тут можете почитать про , и ).

Сам процесс индексации и следующий за ним процесс обновления индексных баз довольно времязатратный. Хотя Гугл делает это значительно быстрее конкурентов, во всяком случае Яндекса, которому на это дело требует неделя-другая (читайте про ).

Обычно текстовое содержимое интернет страницы поисковик разбивает на отдельные слова, которые приводит к базовым основам, чтобы потом можно было давать правильные ответы на вопросы, заданные в разных морфологических формах. Весь лишний обвес в виде Html тегов, пробелов и т.п. вещей удаляется, а оставшиеся слова сортируются по алфавиту и рядом с ними указывается их позиция в данном документе.

Такая шняга называется обратным индексом и позволяет искать уже не по вебстраницам, а по структурированным данным, находящимся на серверах поисковой системы.

Число таких серверов у Яндекса (который ищет в основном только по русскоязычным сайтам и чуток по украинским и турецким) исчисляется десятками или даже сотнями тысяч, а у Google (который ищет на сотнях языков) — миллионами.

Многие сервера имеют копии, которые служат как для повышения сохранности документов, так и помогают увеличить скорость обработки запроса (за счет распределения нагрузки). Оцените расходы на поддержание всего этого хозяйства.

Запрос пользователя будет направляться балансировщиком нагрузки на тот серверный сегмент, который менее всего сейчас нагружен. Потом проводится анализ региона, откуда пользователь поисковой системы отправил свой запрос, и делается его морфологически разбор. Если аналогичный запрос недавно вводили в поисковой строке, то пользователю подсовываются данные из кеша, чтобы лишний раз не грузить сервера.

Если запрос еще не был закеширован, то его передают в область, где расположена индексная база поисковика. В ответ будет получен список всех интернет страниц, которые имеют хоть какое-то отношение к запросу. Учитываются не только прямые вхождения, но и другие морфологические формы, а так же , и т.п. вещи.

Их нужно отранжировать, и на этом этапе в дело вступает алгоритм (искусственный интеллект). Фактически запрос пользователя размножается за счет всех возможных вариантов его интерпретации и ищутся одновременно ответы на множество запросов (за счет использования операторов языка запросов, некоторые из которых доступны и обычным пользователям).

Как правило, в выдаче присутствует по одной странице от каждого сайта (иногда больше). сейчас очень сложны и учитывают множество факторов. К тому же, для их корректировки используются и , которые вручную оценивают реперные сайты, что позволяет скорректировать работу алгоритма в целом.

В общем, дело ясное, что дело темное. Говорить об этом можно долго, но и так понято, что удовлетворенность пользователей поисковой системой достигается, ох как не просто. И всегда найдутся те, кому что-то не нравится, как, например, нам с вами, уважаемые читатели.

Удачи вам! До скорых встреч на страницах блога сайт

посмотреть еще ролики можно перейдя на

Вам может быть интересно

Яндекс Пипл - как искать людей по социальным сетям Апометр - бесплатный сервис по отслеживанию изменений выдачи и апдейтов поисковых систем DuckDuckGo - поисковая система, которая не следит за тобой
Как проверить скорость интернета - онлайн тест соединения на компьютере и телефоне, SpeedTest, Яндекс и другие измерители
Яндекс и Гугл картинки, а так же поиск по файлу изображения в Tineye (тинай) и Google

продолжим мастер класс по анонимным и не преследующим пользователя поисковикам.

по гуглу всё ясно, по продукции российского розлива тоже, поэтому обсуждаем действительно серьёзные ресурсы

отличная статья по свежим данным, просто копирую.

DuckDuckGo

Одно время DuckDuckGo представляли как «антишпионскую» альтернативу Google, однако даже быстрый анализ с помощью утилит вроде lightbeam (расширение для Mozilla Firefox) показывает, что он не так уж уважительно относится к вашей личной жизни. Причиной тому стала его бизнес-модель, которая в основном полагается на комиссионные от партнеров. То есть, не факт, что ему удается заработать без слежки за пользователями.

Кроме того, DuckDuckGo использует в качестве инфраструктуры облачные сервисы Amazon. Хотя с технической точки зрения это решение вполне оправдано, оно все равно вызывает вопросы с учетом того, что Amazon является главным поставщиком облачных услуг для ЦРУ и уже подчинился указанию американского правительства (с нарушением первой поправки) убрать из сети Wikileaks… Короче говоря, с DuckDuckGo все далеко не так чисто, как вам хотят показать.

Ixquick - это альтернатива, которая не лезет в вашу личную жизнь и предлагает похожий на DuckDuckGo интерфейс. Источником вдохновения для него послужил Google, но он является не поисковиком в буквальном смысле этого слова, а агрегатором результатов других поисковых систем. Такой подход, конечно, интересен, но его сложно назвать настоящей альтернативой. Он полагается на другие поисковики и не вносит никакого вклада в создание мира, где можно обойтись без Google.

Кроме того, к числу систем, которые не стремятся сунуть нос в вашу личную жизнь можно отнести и Qwant, поисковик «made in France». В отличие от Ixquick он является настоящим поисковиком и использует собственную поисковую технологию. Тем не менее, еще полгода назад он ценил неприкосновенность личной жизни едва ли больше DuckDuckGo и даже использовал Google Analytics для оценки трафика. А это, согласитесь, весьма неоднозначный ход, если вы хотите защитить конфиденциальность пользователей.

Но после того как люди привлекли их внимание к этому вопросу (к этому, кстати, приложил руку ваш покорный слуга, а также многие хакеры), они все же исправились и установили альтернативу Google Analytics с анонимными прокси-серверами (они становятся посредниками во взаимодействии пользователей с интернетом), что позволило всем желающим вести поиск в интернете и социальных сетях, не передавая никаких данных в фейсбук и твиттер.

Как и DuckDuckgo, Qwant стремится утвердиться в растущей нише не нарушающих конфиденциальность ресурсов и со всей серьезностью подходит к технической стороне вопроса. Для этого они устанавливают прокси (в результате пользователи могут совершенно анонимно проводить все запросы), вводят автономную и независимую от Google систему оценки трафика и используют логи (та информация, что остается на сервере после посещения), которые никак не связывают ваш IP с поисковыми запросами. Получается, что даже если власти конфискуют оборудование, у них никак не получится восстановить вашу историю поиска по IP-адресу. Некоторые хакеры критиковали Qwant за не слишком точный подход к защите личных данных пользователей, представители поисковика наладили связи с ними и активно развивают сотрудничество, чтобы улучшить существующие у них технологии. Короче говоря, проделанные ими усилия свидетельствуют о серьезном отношении к сохранности частной жизни пользователей. И это правильный подход, потому что в этой сфере Google никак не сможет затмить Qwant, а DuckDuckGo не стал принимать вещи всерьез и в конечном итоге дорого за это поплатится.

Наконец среди альтернатив Google стоит отметить и технологию, которую разрабатывает YaCy, децентрализованная поисковая система. Она не для всех, но в плане инфраструктуры мы видим действительно инновационный подход. Обратная сторона медали децентрализованной системы заключается в том, что ее эффективность зависит от количества пользователей (как, например, скорость загрузки файлов по протоколу P2P) в отличие от упомянутых выше централизованных систем. Пока что эта технология, конечно, интересна, но остается уделом «нердов». Как бы то ни было, вполне можно представить себе повторную децентрализацию интернета, в рамках которой подобный технологический подход приобрел бы уже совершенно другой смысл. Вообще, это единственный выход из формирующегося на наших глазах общества тотального контроля, в связи с чем YaCy в любом случае заслуживает нашей поддержки.

Google - тяжелый наркотик?

Тем не менее, простому смертному будет очень непросто совершить такой переход, потому что все давно и бесповоротно приучены к Google. Лично я стараюсь чаще использовать другой поисковик параллельно с Google, точно так же как затягиваюсь электронной сигаретой, чтобы курить поменьше настоящих. Когда же мне нужно найти некую «чувствительную» информацию, которая так или иначе связана с моими журналистскими расследованиями, я обычно пользуюсь только Qwant и Ixquick или же подключаю целый технологический арсенал, чтобы добиться полной анонимности в сети. Но он, как вы понимаете, недоступен для обычного пользователя.

Фабрис Эпельбуан (Fabrice Epelboin) - предприниматель, преподаватель Института политических исследований.

Оригинал публикации: Les alternatives pour ceux qui veulent se passer de Google