Продолжаем уроки по продвижению сайтов. Сегодня речь пойдет о том, как работают поисковые системы.

Каждый день в Интернете появляются тысячи сайтов, и большинство из них стремится занять почетный ТОП в поисковой системе по разнообразным ключевым запросам. Это веб-мастеру возможно осуществить только в том случае, если присутствует хотя бы начальное (а лучше, углубленное собственным опытом) понимание того, что есть поисковая система и каковы принципы ее работы.

Поисковая система (ПС) — это, говоря современным языком, попытка упорядочить и классифицировать информацию на веб-сайтах. При этом ПС имеют свои принципы оценки, что же такое достойный сайт, а что мусор.

Хороший и достойный сайт — это сайт, который соответствует требованиям системы, разработанных с учетом поведения реальных пользователей. Такой веб-ресурс наполнен уникальным контентом, знаком с юзабилити и регулярно обновляется. При этом одного только красивого текстового наполнения недостаточно, чтобы сайт оказывался в ТОПе поисковой выдачи. Необходимо «подготовить» его к индексированию. Для пониманию, как это сделать, лучше изначально разобраться, каковы же способы и принципы работы пресловутых Google или Yandex.

Из чего состоят поисковые системы

Для начала нужно сказать о том, из каких компонентов состоит поисковая система. Без понимания этого будет бесполезно объяснять процесс и принципы работы.

Итак, SEO мастер всегда должен помнить о таких участниках процесса, как:

• Spider (паук или спайдер) — программа, подобная браузеру, созданная для скачивания страниц для проверки и запоминания.
• Crawler (краулер, паук-путешественник) — очень важный компонент, программа, которая инспектирует ссылки на странице ресурса, переходя по ним.
• Indexer (индексатор) — программа для изучения страниц, любезно скачанных для нее спайдером.
• Database (база данных) — огромный каталог обработанных системой страниц сайтов.
• Search engine results (система выдачи результатов) — именно эта огромная система извлекает необходимые результаты из каталога. Именно ради нее и старается сеошник, стараясь обхитрить ее таким образом, чтобы она показывала результаты определенного характера.
• Web server (веб-сервер) — веб-сервер, «связной» между конечным пользователем и самой поисковой системой.

Принцип работы

Теперь, когда понятен список «главных действующих лиц», можно перейти к системе работы поисковой системы. Конечно, сценарий может варьироваться, но общие принципы будут сохраняться:

1. Spider получает указание скачать некую страницу сайта для дальнейшего исследования.

2. Страница скачана, и в дело вступает паук-путешественник, который начинает скрупулезно переходить по ссылкам на странице, постоянно кочуя по ним, пока не исследует все. Далее он «рапортует» об этом, и если нашел ссылки на посторонние ресурсы, процесс начинается заново.

3. Как только новый контент найден, Spider снова засылает туда Crawler на исследование ссылок. Этот процесс может длиться вечно, собственно, он и является бесконечным, ведь интернет никогда не остается статичным: появляются и исчезают веб-сайты, меняется контент, структура, изменяется код и так далее.

4. Следующий этап — вторая часть важных операций. Происходит встраивание проанализированных ресурсов в общий индекс поисковой системы. Как точно это происходит, не знает никто, за исключением самой системы. Думается, что множество сеошников готовы были бы временно продать душу какому-нибудь SEO-дьяволу, чтобы уметь предсказать результат формирования рейтинга. А так как пока таких возможностей нет, приходится детально изучать правила работы системы, копить ценнейший опыт и учиться делать сайты только «для людей».

Напоследок хотелось бы сказать о важности постоянного изменения контента на страницах подведомственного ресурса. Это могут быть добавления статей, лента новостей, что-то еще, в зависимости от цели и структуры Вашего сайта. Даже если в старой статье появится новая ссылка, поисковые роботы с жаром направятся туда, ибо для них это будет уже новый контент. Система заметит это очень быстро, так как анализ содержимого однажды проиндексированных веб-ресурсов не стихает ни днем, ни ночью.

Если вы даже, например, написали все статьи по всем ключевым словам вашей темы — все равно нужно обновлять (хотябы изредка) ваш сайт. Тут вы сами можете придумать, как это сделать. Например, можно сделать сервис «Вопрос-ответ». Пользователи будут задавать вопросы, а вы переодически публиковать ответы — ваш сайт будет жив.

Также позаботьтесь о бесперебойной работе сайта, не экономьте на хостере и его услугах. Если даже самый распрекрасный сайт часто будет «лежать», поисковые боты расценят его как недостойный и «умирающий» ресурс, и тем меньше система будет стремиться проиндексировать его.

Знание механизмов работы поисковых систем крайне важно для SEO-оптимизации. Эти знания - основа, так как они позволяют строить собственную стратегию продвижения сайта в Интернете.
Поисковая система состоит из нескольких основных компонентов: Spider, Crawler, Indexer, Database, SERE, Web server. Давайте рассмотрим каждый из компонентов подробнее.
Spider (анг. «паук») - браузеро-подобная программа, которая скачивает веб-страницы таким же способом, как вы скачиваете их с помощью браузера для просмотра. Существенное отличие состоит в том, что браузер отображает информацию, содержащуюся на странице (текстовую, графическую и т. д.), а паук не имеет никаких визуальных компонентов и работает напрямую с html-текстом страницы. Вы можете сами увидеть тот массив информации, с которой работает паук, если нажмете «Просмотр html-кода» в вашем браузере, чтобы увидеть «сырой» html-текст.
Crawler (краулер, «путешествующий» паук) называется программа, автоматически проходящая по всем ссылкам, найденным на странице. Задача краулера - определить, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Переходя по найденным ссылка, краулер осуществляет поиск новых документов, еще неизвестных поисковой системе.
Indexer (индексатор)разбирает страницы, скаченные пауками, на составные част и анализирует их. Выделяются и анализируются различные элементы страницы: текст, заголовки, структурные и стилевые особенности, специальные служебные html-теги и т. д.
Database (база данных) - хранилище скачанных и обработанных страниц, то есть все данных, которые поисковая система скачивает и анализирует. Иногда базу данных называют еще индексом поисковой системы. По сути это напоминает жесткие диски на наших персональных компьютерах.
Search Engine Results Engine (система выдачи результатов) - программа для извлечения результатов поиска из базы данных. Она занимается ранжированием страниц, то есть решает, какие страницы удовлетворяют запросу пользователя, и в каком порядке они должны быть отсортированы. В основе этой работы лежат определенные алгоритмы ранжирования поисковой системы (например, индекс цитирования). Эта информация является наиболее ценной для оптимизаторов, так как именно с этим компонентом поисковой системы они взаимодействует с целью улучшения позиции сайта в выдаче.
Web server - веб-сервер, который делает возможным взаимодействие между пользователем и остальными компонентами поисковой системы. Обычно на сервере присутствует html-страница с полем ввода, в котором пользователь может задать интересующий его поисковый термин. Также сервер отвечает за выдачу результатов пользователю в виде html-страницы.
Детальная реализация поисковых механизмов в отдельно взятой поисковой системе может быть различной (например, связка Spider+Crawler+Indexer может быть выполнена в виде единой программы), однако всем поисковым системам присущи описанные общие черты.

В одном из своих интервью Гари Флэйк (руководитель исследовательской лаборатории Yahoo!) сказал: «Если бы Web-поиск был совершенен, он бы выдавал ответ на каждый запрос, и это происходило бы так, будто на вопрос отвечает умнейший человек в мире, у которого есть под рукой вся справочная информация, и все это выполняется меньше, чем за мгновение». Пока же современные системы предоставляют визуальный интерфейс для анализа «препарированной» ими подборки документов.

1. Навигация по сети.
Альтернативным способом поиска является поиск объектов и их взаимосвязей, выделенных автоматически из текста документов в фазе ETL-процесса. Этот способ позволяет исследовать связи объектов из документов без указания контекстного критерия на фильтрацию документов. Например, можно произвести поиск взаимосвязей объекта «Чейни» с другими объектами (рис. 1). Это можно использовать для навигации к нужным объектам, для получения и анализа документов о связях этих объектов. Дальнейшее развитие методов анализа связей объектов связано с решением задач типизации связей между объектами. В свою очередь, их решение ограничено качеством синтаксических анализаторов русского языка и тезаурусов.

Очень полезен метод навигации в подборке документов с использованием OLAP-технологии. Система «на лету» строит многомерное представление полученной подборки документов с измерениями из полей карточки: рубрики, авторы, дата публикации, источники. Аналитик может погружаться в элементы разных измерений (например, в регионы федерального округа), просматривать документы в ячейках с нужными значениями частот и др. Дополнительно могут использоваться общие методы анализа и прогноза данных. На рис. 3 показана схема получения списка публикаций из ячейки двумерного распределения публикаций по регионам и подрубрикам рубрики «Политика». Этот метод используется при анализе динамики публикаций и факторов, ее определяющих

2. Автоматическое аннотирование.

Открытые источники информации делают доступными огромное количество публикаций и тем самым ставят проблему эффективной работы с большими объемами документов. Предоставление сжатого смысла первоисточников в виде аннотаций в несколько раз повышает скорость анализа. Однако, наш опыт показывает, что аннотации - статичный результат, он используется при анализе «бумажных» документов, а при анализе коллекций электронных документов более наглядное и структурированное представление содержания одного или коллекции электронных документов дает интерактивная семантическая карта взаимосвязей тем документов. Современные системы аналитической обработки текстовой информации обладают средствами автоматического составления аннотаций. При этом существует два подхода к решению этой задачи.

1. В первом подходе программа-аннотатор извлекает из первоисточника небольшое количество фрагментов, в которых наиболее полно представлено содержание документа. Это могут быть предложения, содержащие термы запроса; фрагменты предложений с окружением термов несколькими словами и др. В более развитых системах выделяются предложения, прямо содержащие ключевые темы документа (но не кореферентные ссылки на них).
2. В) При втором подходе аннотация представляет собой синтезированный документ в виде краткого содержания. Аннотация, сформированная в соответствии с первым подходом, качественно уступает получаемой при синтезе. Для повышения качества аннотирования необходимо решить проблему обработки кореферентных ссылок в русском языке. Еще одной проблемой, возникающей при синтезе аннотаций, является отсутствие средств семантического анализа и синтеза текста на русском языке, поэтому сервисы аннотирования ориентированы либо на узкую предметную область, либо требуют участия человека.

Большинство программ-аннотаторов построены по принципу выделения фрагментов текста. Так, исследовательская система eXtragon ориентирована на аннотирование Web-документов. Для каждого предложения документа вычисляется вес на основе информации о ключевых словах, значимых словосочетаниях, их месте в тексте и присутствии в запросе, после чего предложения ранжируются, и из нескольких фраз с максимальным весом составляется реферат. В системе «Аналитический курьер» аннотация документа автоматически формируется из его фрагментов, а ее объем зависит от главных тем документа и настроек. В аннотацию по объектам или проблемам могут включаться анафорические предложения документа. Кроме этого, имеется компонент создания общей аннотации на основе взаимосвязей тем в семантической сети этой подборки документов.

Поисковая система - это программно-аппаратный комплекс, предназначенный для осуществления поиска в сети Интернет и реагирующий на запрос пользователя, задаваемый в виде текстовой фразы (поискового запроса), выдачей списка ссылок на источники информации, в порядке релевантности (в соответствии запросу). Наиболее крупные международные поисковые системы: «Google» , «Yahoo» , «MSN» . В русском Интернете это – «Яндекс» , «Рамблер» , «Апорт» .

Опишем основные характеристики поисковых систем:

Полнота

Полнота - одна из основных характеристик поисковой системы, представляющая собой отношение количества найденных по запросу документов к общему числу документов в сети Интернет, удовлетворяющих данному запросу. К примеру, если в Интернете имеется 100 страниц, содержащих словосочетание «как выбрать автомобиль», а по соответствующему запросу было найдено всего 60 из них, то полнота поиска будет 0,6. Очевидно, что чем полнее поиск, тем меньше вероятность того, что пользователь не найдет нужный ему документ, при условии, что он вообще существует в Интернете.

Точность

Точность - еще одна основная характеристика поисковой машины, которая определяется степенью соответствия найденных документов запросу пользователя. Например, если по запросу «как выбрать автомобиль» находится 100 документов, в 50 из них содержится словосочетание «как выбрать автомобиль», а в остальных просто наличествуют эти слова («как правильно выбрать магнитолу и установить в автомобиль»), то точность поиска считается равной 50/100 (=0,5). Чем точнее поиск, тем быстрее пользователь найдет нужные ему документы, тем меньше различного рода «мусора» среди них будет встречаться, тем реже найденные документы не будут соответствовать запросу.

Актуальность

Актуальность - не менее важная составляющая поиска, которая характеризуется временем, проходящим с момента публикации документов в сети Интернет, до занесения их в индексную базу поисковой системы. Например, на следующий день после появления интересной новости, большое количество пользователей обратились к поисковым системам с соответствующими запросами. Объективно с момента публикации новостной информации на эту тему прошло меньше суток, однако основные документы уже были проиндексированы и доступны для поиска, благодаря существованию у крупных поисковых систем так называемой «быстрой базы», которая обновляется несколько раз в день.

Скорость поиска

Скорость поиска тесно связана с его устойчивостью к нагрузкам. Например, по данным ООО «Рамблер Интернет Холдинг», на сегодняшний день в рабочие часы к поисковой машине Рамблер приходит около 60 запросов в секунду. Такая загруженность требует сокращения времени обработки отдельного запроса. Здесь интересы пользователя и поисковой системы совпадают: посетитель желает получить результаты как можно быстрее, а поисковая машина должна отрабатывать запрос максимально оперативно, чтобы не тормозить вычисление следующих запросов.

Наглядность

Наглядность представления результатов является важным компонентом удобного поиска. По большинству запросов поисковая машина находит сотни, а то и тысячи документов. Вследствие нечеткости составления запросов или неточности поиска, даже первые страницы выдачи не всегда содержат только нужную информацию. Это означает, что пользователю зачастую приходится производить свой собственный поиск внутри найденного списка. Различные элементы страницы выдачи поисковой системы помогают ориентироваться в результатах поиска.одробные пояснения по странице результатов поиска, например у «Яндекса» можно посмотреть по ссылке http://help.yandex.ru/search/?id=481937 .

4. Краткая история развития поисковых систем

В начальный период развития Интернет, число его пользователей было невелико, а объем доступной информации сравнительно небольшим. В большинстве своем, доступ к сети Интернет имели лишь сотрудники научно-исследовательской сферы. В это время задача поиска информации в Интернете не была столь актуальной, как в настоящее время.

Одним из первых способов организации доступа к информационным ресурсам сети стало создание открытых каталогов сайтов, ссылки на ресурсы в которых группировались согласно тематике. Первым таким проектом стал сайт Yahoo.com, открывшийся весной 1994 года. После того, как количество сайтов в каталоге Yahoo значительно увеличилось, была добавлена возможность поиска нужной информации по каталогу. В полном смысле это еще не было поисковой системой, так как поисковая область была ограничена только ресурсами, присутствующими в каталоге, а не всеми Интернет ресурсами.

Каталоги ссылок широко использовались ранее, однако практически полностью утратили свою популярность в настоящее время. Так как даже современные, огромные по своему объему каталоги, содержат информацию лишь о ничтожно малой части сети Интернет. Самый большой каталог сети DMOZ (его еще называют Open Directory Project) содержит информацию о 5 миллионах ресурсов, тогда как база поисковой системы Google состоит из более чем 8 миллиардов документов.

Первой полноценной поисковой системой стал проект WebCrawler, вышедший в свет в 1994 году.

В 1995 году появились поисковые системы Lycos и AltaVista. Последняя долгие годы была лидером в области поиска информации в сети Интернет.

В 1997 году Сергей Брин и Ларри Пейдж создали поисковую машину Google в рамках исследовательского проекта в Стэндфордском университете. В настоящий момент Google - самая популярная поисковая система в мире!

В сентябре 1997 года была официально анонсирована поисковая система Yandex, являющаяся самой популярной в русскоязычном Интернете.

В настоящее время существуют три основные международные поисковые системы – Google, Yahoo и MSN, имеющих собственные базы и алгоритмы поиска. Большинство остальных поисковых систем (коих насчитывается большое количество) использует в том или ином виде результаты трех перечисленных. Например, поиск AOL (search.aol.com) использует базу Google, а AltaVista, Lycos и AllTheWeb – базу Yahoo.

5. Состав и принципы работы поисковой системы

В России основной поисковой системой является «Яндекс», далее - Rambler.ru, Google.ru, Aport.ru, Mail.ru. Причем, на данный момент, Mail.ru использует механизм и базу поиска «Яндекса».

Практически все крупные поисковые системы имеют свою собственную структуру, отличную от других. Однако можно выделить общие для всех поисковых машин основные компоненты. Различия в структуре могут быть лишь в виде реализации механизмов взаимодействия этих компонентов.

Модуль индексирования

Модуль индексирования состоит из трех вспомогательных программ (роботов):

Spider (паук) – программа, предназначенная для скачивания веб-страниц. «Паук» обеспечивает скачивание страницы и извлекает все внутренние ссылки с этой страницы. Скачивается html-код каждой страницы. Для скачивания страниц роботы используют протоколы HTTP. Работает «паук» следующим образом. Робот на сервер передает запрос “get/path/document” и некоторые другие команды HTTP-запроса. В ответ робот получает текстовый поток, содержащий служебную информацию и непосредственно сам документ.

URL страницы

дата, когда страница была скачана

http-заголовок ответа сервера

тело страницы (html-код)

Crawler («путешествующий» паук) – программа, которая автоматически проходит по всем ссылкам, найденным на странице. Выделяет все ссылки, присутствующие на странице. Его задача - определить, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Crawler, следуя по найденным ссылкам, осуществляет поиск новых документов, еще неизвестных поисковой системе.

Indexer (робот- индексатор) - программа, которая анализирует веб-страницы, скаченные пауками. Индексатор разбирает страницу на составные части и анализирует их, применяя собственные лексические и морфологические алгоритмы. Анализу подвергаются различные элементы страницы, такие как текст, заголовки, ссылки структурные и стилевые особенности, специальные служебные html-теги и т.д.

Таким образом, модуль индексирования позволяет обходить по ссылкам заданное множество ресурсов, скачивать встречающиеся страницы, извлекать ссылки на новые страницы из получаемых документов и производить полный анализ этих документов.

База данных

База данных, или индекс поисковой системы - это система хранения данных, информационный массив, в котором хранятся специальным образом преобразованные параметры всех скачанных и обработанных модулем индексирования документов.

Поисковый сервер

Поисковый сервер является важнейшим элементом всей системы, так как от алгоритмов, которые лежат в основе ее функционирования, напрямую зависит качество и скорость поиска.

Поисковый сервер работает следующим образом:

Полученный от пользователя запрос подвергается морфологическому анализу. Генерируется информационное окружение каждого документа, содержащегося в базе (которое и будет впоследствии отображено в виде сниппета, то есть соответствующей запросу текстовой информации на странице выдачи результатов поиска).

Полученные данные передаются в качестве входных параметров специальному модулю ранжирования. Происходит обработка данных по всем документам, в результате чего, для каждого документа рассчитывается собственный рейтинг, характеризующий релевантность запроса, введенного пользователем, и различных составляющих этого документа, хранящихся в индексе поисковой системы.

В зависимости от выбора пользователя этот рейтинг может быть скорректирован дополнительными условиями (например, так называемый «расширенный поиск»).

Далее генерируется сниппет, то есть, для каждого найденного документа из таблицы документов извлекаются заголовок, краткая аннотация, наиболее соответствующая запросу и ссылка на сам документ, причем найденные слова подсвечиваются.

Полученные результаты поиска передаются пользователю в виде SERP (Search Engine Result Page) – страницы выдачи поисковых результатов.

Как видно, все эти компоненты тесно связаны друг с другом и работают во взаимодействии, образовывая четкий, достаточно сложный механизм работы поисковой системы, требующий огромных затрат ресурсов.

Ни одна поисковая система не охватывает все ресурсы Интернет.

Каждая поисковая система собирает сведения о ресурсах Интернет, применяя свои уникальные методы, и формирует собственную периодически обновляемую базу данных. Доступ к этой базе предоставляется пользователю.

Поисковые системы реализуют два способа поиска ресурса:

Поиск по тематическим каталогам - информация представляется в виде иерархической структуры. На верхнем уровне - общие категории (“Интернет”, “Бизнес”, “Искусство”, “Образование” и т.д.), на следующем уровне категории делятся на разделы и т.д. Самый нижний уровень - ссылки на конкретные веб-страницы или другие информационные ресурсы.

Поиск по ключевым словам (индексный поиск или детальный) - пользователь отправляет поисковой системе запрос , состоящий из ключевых слов. Система возвращает пользователю перечень найденных по запросу ресурсов.

Большинство поисковых систем сочетают оба способа поиска.

Поисковые системы могут быть локальными, глобальными, региональными и специализированными.

В русской части Интернет (Рунет) наиболее популярны сейчас поисковые системы общего назначения Rambler (www.rambler.ru), Яндекс (www.yandex.ru), Апорт (www.aport.ru), Гугл (www.google.ru).

Большинство поисковых систем реализовано в виде порталов.

Портал (от англ. portal - главный вход, ворота) -это веб-сайт, который интегрирует различные сервисы Интернет: средства поиска, почту, новости, словари и т.д.

Порталы могут быть специализированными (как, www . museum . ru ) и общими (например, www . km . ru ).

Поиск по ключевым словам

Набор ключевых слов, по которым ведется поиск, называют также критерием поиска или темой поиска.

Запрос может состоять как из одного слова, так и из сочетания слов, объединенных операторами - символами, по которым система определяет, какое действие ей нужно произвести. Например: запрос “Москва Питер” содержит оператор И (так воспринимается пробел), который указывает, что надо искать документы, в которых есть оба слова - и Москва, и Питер.

Для того, чтобы поиск был релевантным (от англ. relevant -уместный, относящийся к делу), следует учитывать несколько общих правил:

Независимо от того, в какой форме употреблено слово в запросе, поиск учитывает все его словоформы по правилам русского языка. Например, по запросу “билет” будут найдены и слова “билетом”, “билету” и т.д.

Заглавные буквы следует использовать только в именах собственных, чтобы не просматривать лишние ссылки. По запросу “кузнецов”, например, будут найдены документы, где говорится и о кузнецах, и о Кузнецовых.

Желательно сужать круг поиска, используя несколько ключевых слов.

Если нужного адреса нет среди первой двадцатки найденных адресов, следует изменить запрос.

Каждая поисковая система использует свой язык запросов. Для знакомства с ним, пользуйтесь встроенной справкой поисковой системы

Крупные сайты могут иметь встроенные системы поиска информации в пределах своих веб-страниц.

Запросы в подобных системах поиска, как правило, строятся по тем же правилам, что и в глобальных поисковых системах, однако знакомство со справкой и здесь не будет лишним.

Расширенный поиск

Поисковые системы могут предоставлять в распоряжение пользователя механизм, позволяющий формировать сложный запрос. Переход по ссылке Расширенный поиск дает возможность редактировать параметры поиска, указывать дополнительные параметры и выбирать наиболее удобную форму показа результатов поиска. Ниже описаны параметры, которые могут быть заданы при расширенном поиске в системах Япс1ех и Rambler.

Описание параметра	Название в Яндекс	Название в Rambler
Где искать ключевые слова (заголовок документа, основной текст и т.д.)	Словарный фильтр	Поиск по тексту...
Какие слова должны или не должны присутствовать в документе и насколько точным должно быть совпадение	Словарный фильтр	Искать слова запроса... Исключить документы, содержащие следующие слова...
На каком расстоянии друг от друга должны располагаться ключевые слова	Словарный фильтр	Расстояние между словами запроса...
Ограничение на дату документа		Дата документа...
Ограничение поиска пределами одного или нескольких сайтов	Сайт/Вершина	Искать документы только на следующих сайтах...
Ограничение поиска по языку документа		Язык документа...
Поиск документов, содержащих картинку с определенным именем или подписью	Изображение
Поиск страниц, содержащих объекты	Специальные объекты
Форма представления результатов поиска	Формат выдачи	Вывод результатов поиска

Некоторые поисковые системы (например, Яндекс) позволяют вводить запросы на естественном языке. Вы пишите, что нужно найти (например: заказ билетов на поезд из Москвы в Питер). Система анализирует запрос и выдает результат. Если он Вас не устраивает, переходите на язык запросов.

Всем привет. Прежде чем начинать продвигать сайт в поисковых системах необходимо понять принципы работы этих самых систем. Вернемся к основам и узнаем каким же образом работает поисковая система.

Принцип работы поисковых систем

Любая поисковая система состоит из следующих компонентов:

Spider (паук)-программа которая скачивает все веб-страницы сайта. В чем-то она похожа на обыкновенный браузер, только работает она напрямую с html-кодом страницы. Ее основная задача найти как можно больше информации на сайте, которая в дальнейшем будет обрабатываться другими алгоритмами поисковой системы.

Crawler (краулер)-программа, которая проходит по всем ссылкам, которые она находит на странице. Она определяет, куда дальше должен идти паук, и находит новые документы, которые еще не известны поисковой системе. В том случае, если есть , то он проходит по всем ссылкам найденным в ней, определяя какие именно страницы нужно проиндексировать.

Indexer (индексатор)-разбивает страницу скачанную пауком на составляющие, анализирует их и заносит в базу данных. Все это называется одним словом «индексация». Существует несколько способов для того, чтобы ускорить .

Database (база данных)-место где хранятся скачанные и обработанные страницы.

Web server (веб-сервер)-сервер, осуществляющий взаимодействие между пользователем и всеми остальными компонентами поисковой системы. Ее Вы видите каждый раз, когда заходите на страницу поиска.

Search engine results engine (система выдачи)-это самая главная часть любой поисковой системы, её ядро, определяющее принцип ее работы. Каждый вопрос, который пользователь задает поисковой системе, она анализирует, и, после этого, находит в индексе документ, который полностью на этот вопрос отвечает.

Основные принципы построения выдачи поисковых систем

Для того, чтобы решить какой документ больше всего подходит для ответа на запрос пользователя система выдачи анализирует:

• Заголовок страницы. Заголовок страницы это текст, расположенный в теге