На первый взгляд кажется, что индексация сайта поисковым роботом Google — вещь рядовая, ничем не примечательная и не вызовет трудностей даже у новичков.
Однако на деле и у этого процесса имеется немало подводных камней и нюансов, о которых вы даже можете не знать, но которые необходимо учесть, чтобы получить достойный результат. Индексация — процесс весьма любопытный, и его качество зависит не от воли случая или прихоти поискового робота, но от вас самих, а именно — тех действий, которые вы совершите.
Также индексация — это необходимое условие для реализации маркетинговой программы в интернете. Конечно, это не самое важное звено, но, без сомнения, одно из первых. Без индексации своих лендингов или пройдя ее кое-как — вы обречены на провал.
Какими путями можно добиться более качественной индексации сайта — в статье ниже.
Особенности индексации в системе Google
Для начала определим, что же такое индексация, в чем суть этого процесса.
Поскольку Google является крупнейшей в мире поисковой системой, сосредоточимся прежде всего на его индексе.
Что такое веб-индекс?
Вы же знаете, что такое индекс, верно? Это перечень сведений, своего рода инструкция к тому, как найти ту или иную информацию. Один из простейших примеров индекса — алфавитно-предметный указатель в конце любого учебника.
Веб-индекс имеет немного отличий. Это база данных, то есть список всех материалов, размещенных в интернете, с указанием расположения каждого документа. Это свойство индекса и позволяет вам быстро получать те или иные материалы в сети.
Объем размещенных в интернете материалов невообразимо велик. Поэтому информация о каждом материале размещена в большой базе данных.
Представьте, что интернет — это гигантская библиотека, в которой размещены миллионы и миллиарды всевозможных книг (сайтов). Поисковая система Google и является индексом для этой библиотеки. К счастью, чтобы пользоваться этим индексом, вам не нужно знать, что такое десятичная классификация Дьюи и как ею пользоваться; достаточно лишь умения печатать.
При наборе запроса в поисковую строку системы и нажатии на кнопку «Поиск» вы осуществляете поиск именно по индексу. Страница с результатами — это страница индекса.
Как Google индексирует интернет?
Для того, чтобы суметь проиндексировать такую большую библиотеку, какой является интернет, вам нужно обладать мощнейшими инструментами. Эти инструменты называются «пауками» (от англ. — spider) или поисковыми роботами.
Почему именно пауки? Потому что они ползают с сайта на сайт, создавая, по сути, веб-информацию. Этот процесс называется выборкой (от англ. fetching). Пауки отбирают информацию, которая затем хранится в индексе Google.
Веб-спайдер заползает на один сайт, индексирует все доступные там страницы, переползает на следующий, индексирует его, и продолжает двигаться в том направлении, куда его направит цепочка из размещенных в сети ссылок.
Так и формируется всемогущий индекс.
Какого рода информацию сохраняет паук?
Спайдер пытается обозреть большую часть той информации, которая размещена на сайте, но он не в состоянии увидеть абсолютно все. В первую очередь он индексирует наиболее важную информацию.
Красная градиентная шкала — важность для поисковой машины; синяя градиентная шкала — важность для пользователя.
Сверху вниз: адреса страниц, тег Title, метаданные, теги изображений, заголовки, ссылки, контент.
1. Адреса страниц — URL (uniform resource locator — единый указатель ресурса).
2. Тег Title. Title — это название лендинга.
3. Метаданные. Описание сайта с набором ключевых слов.
Это тот самый набор главной информации, которую поисковый робот пересылает в индекс Google. И это именно та информация, которую вы видите на странице результатов поиска.
В этом заключается базовая идея. Очевидно, что больше трудностей возникает с поиском информации по индексу, ее грамотной организации и выдаче результатов.
Нас как веб-мастеров должны волновать другие проблемы, а именно — какие шаги нужно предпринять, чтобы поисковый робот Google как можно скорее заглянул к вам на сайт и занес информацию о нем в общую базу.
Что сделать, чтобы Google проиндексировал ваш сайт как можно быстрее?
Следует сказать, что независимо от того, сделаете ли вы что-либо из перечисленного ниже, Google, вероятно, и так проиндексирует ваш сайт, если только вы намеренно не закроете его от индексации (через файл robots.txt).
Но если вы оставите этот процесс на самотек, то попасть в индекс вы сможете через неопределенно долгое время. У кого-то сайт проиндексируется через 2 недели, а у кого — через 2 месяца. В ваших интересах, чтобы индексация лендинга произошла как можно раньше, а для этого и нужно предпринять некоторые специальные действия. Что именно нужно делать — читайте ниже.
Шаг №1: создайте карту сайта (sitemap)
Карта — это документ в XML-формате, который должен лежать в корневой папке вашего сайта. Поисковый робот обращается к этому документу, чтобы обозреть ваш сайт целиком, понять, какие страницы/разделы на нем самые главные и где расположен самый свежий контент. Карта сайта — это незаменимый и один из важнейших элементов успешной индексации.
Поисковый робот умен, но сайтмап ему необходим. Зачем? Без карты сайта индексация лендинга или нового материала может занять до 24 часов. Это слишком долго. С помощью карты сайта вы можете свести продолжительность этого процесса до нескольких минут. Согласитесь: существенная разница.
Чтобы доказать состоятельность этого положения, был проведен эксперимент, в ходе которого была замерена скорость, с которой индексируется сайт без sitemap и сайт с картой. Результаты более чем удивительные:
Индексация сайтов без sitemap. По вертикали: затраченное время в минутах, по горизонтали: число проиндексированных страниц.
Индексация сайтов при помощи sitemap. По вертикали: затраченное время в минутах, по горизонтали: число проиндексированных страниц.
После того, как вы создали файл sitemap, вы можете загрузить его в Google Search Console. Чтобы это сделать, выполните следующее:
- на главной странице Google Search Console выберите свой сайт;
- на панели в левой части экрана нажмите «Конфигурация сайта», а затем «Файлы Sitemap»;
- в правом верхнем углу кликните по кнопке «Добавить/Протестировать карту сайта»;
- введите /system/feeds/sitemap в появившемся текстовом окне;
- нажмите «Отправить файл Sitemap».
Шаг №2: создайте файл Robots.txt
Robots.txt — это обычный файл вашего сайта, в котором содержатся инструкции для поискового робота: там указано, что индексировать, а что — нет. Это самая первая остановка, которую делает паук на вашем веб-ресурсе. Если ваш robots.txt как бы говорит «не индексируй меня», поисковый робот не станет ничего индексировать и поползет дальше. Поэтому очень важно, чтобы ваш robots.txt давал роботу Google неограниченное разрешение на обзор сайта.
Разумеется, если вы хотите, чтобы какие-то страницы сайта не появлялись в результатах поиска, вы можете ограничить к ним доступ.
Вот что говорит о robots.txt поисковая система Google:
«Большинство сайтов не имеет необходимости скрывать от поискового робота те или иные страницы, поэтому они будут появляться в поисковой выдаче без каких-либо дополнительных усилий. Robots.txt, наряду с другими инструментами веб-мастера, предоставляет владельцам веб-ресурсов неограниченные возможности в управлении индексацией сайта, поведением поискового робота на сайте. С помощью этого файла собственники интернет-ресурсов могут закрыть сайт от индексации роботом Google (иди других поисковых систем), дать какие-то специальные указания для индексации определенных страниц».
Вывод один: чем больше страниц вашего сайта открыты к индексации, тем лучше.
Шаг №3: Регистрация сайта в поисковых системах
Ранее считалось, для того, чтобы поисковая система проиндексировала сайт, веб-мастеру непременно нужно подать заявку, зарегистрировать ресурс в системе. Однако в настоящее время появляются такие умельцы поисковой оптимизации, которые и без регистрации могут выдвинуть сайты на первые страницы поисковой выдачи. Если вы таким умением пока еще похвалиться не можете, советуем вам все же зарегистрировать свой сайт во всех популярных поисковых системах. В Google вы можете сделать это через Google Search Console.
Шаг №4: сделайте внутреннюю перелинковку
Самый эффективный способ ускорить индексацию сайта — сделать внутреннюю перелинковку страниц сайта.
Маршрут, по которому поисковый робот перемещается в глобальной паутине, формируется посредством ссылок. Когда одна страница связана с другой, паук автоматически переходит и на нее. Ваша задача — убедиться, что все основные страницы сайта связаны друг с другом ссылками.
Если ваш сайт хорошо организован, внутренняя перелинковка произойдет естественным путем. Взгляните на этот пример стандартной архитектуры сайта ресторана: все основные страницы связаны друг с другом.
Чем больше страниц вы свяжете друг с другом, тем лучше. Как только вы публикуете на своем сайте новый материал, тут же добавляйте в него ссылки на другие страницы.
Шаг №5: повышайте свой индекс цитирования
Одно дело, когда вы создаете и размещаете ссылки на свой сайт внутри самого сайта, но другое — когда на вас ссылаются извне. Разумеется, чтобы попасть на страницы других сайтов, нужно выделиться чем-то необычным и полезным. Чем чаще о вас будут говорить другие, тем быстрее проиндексируется ваш сайт и тем выше он будет стоять в поисковой выдаче.
Шаг №6: поощряйте социальный обмен
Социальный обмен — это весомая часть эффективной индексации, поэтому щедро размещайте ссылки на свои материалы в социальных сетях. Так как Google и Twitter заключили партнерское соглашение, чтобы беспрепятственно делиться данными, Google может получить доступ к информации такого рода очень быстро, а вы улучшите индексацию своего сайта.
Шаг №7: заведите блог
Блог заставит вас создавать тонны интересного и полезного контента, а это крайне необходимо для высоких позиций в поисковой выдаче. Запомните: чем больше контента вы разместите в сети, тем .
Шаг №8: создайте RSS-канал
RSS-канал не обязателен, но и он не будет лишним. RSS (от англ. Rich Site Summary — обогащенная сводка сайта) — семейство XML-форматов, предназначенных для описания лент новостей, анонсов статей, изменений в блогах и т.п. Пожалуй, это один из самых простых способов оповещения об обновлениях сайта, блога и т.д., но на сегодняшний момент отчасти устаревший. Но даже так RSS-канал может быть эффективным способом донести до Google информацию о своем новом материале, как только он появился на вашем сайте.
Шаг №9: отслеживайте ошибки индексации
Ошибки и некоторые неточности в индексации сайта неминуемы. Обычно это происходит, когда вы вносите значительные изменения на сайт: добавляете, удаляете или перемещаете страницы.
В этой инструкции мы рассмотрим вопрос добавления нашего нового сайта на индексацию к различным поисковым системам.
Я решил упомянуть как популярные поисковики, так и те, про которые вы возможно и не слышали.
Индексация сайта в Яндексе
Для добавления сайта на индексацию достаточно ввести url главной страницы и капчу. Капча — это несколько цифр, которые защищают от автоматических регистраций. После того как вы нажмете кнопку «добавить» возможно несколько вариантов развития событий.
1) Сообщение «ваш сайт добавлен» сигнализирует об успешном добавлении ресурса в очередь на индексацию в Яндекс.
2) Если появилась надпись «Ваш хостинг не отвечает» — значит, ваш сервер лежит в этот момент. Можно попробовать добавить сайт позже или найти более качественный хостинг.
3) А вот если появилось сообщение, что «указанный URL запрещен к индексации» то дела плохи. Это говорит о том, что на ваш ресурс наложены санкции в виде бана сайта. Вполне возможно, что на купленном вами домене уже когда-то был сайт, который и получил санкции. При помощи addurl вебмастера часто проверяют сайты на бан в Яндексе .
Индексация сайта в Google (Гугле)
Следующая по значимости для нашего сайта идет поисковая система Google (Гугл). Процесс добавления на индексацию сайта в Google точно такой-же как на Yandex. В Гугле тоже есть своя адурилка, которая расположена по адресу: https://www.google.com/webmasters/tools/submit-url .
Так же надо ввести капчу при добавлении. Но есть два отличия. Если в Яндексе можно просто добавить урл без лишних телодвижений, то в Google надо быть залогиненым в своем аккаунте. Иначе не получится. Соответственно если аккаунта у вас там еще нет, его придется завести. Второе отличие Google от Яндекса это скорость индексации. Google очень быстро индексирует сайты.
Индексация сайта в Рамблере (Rambler.ru)
Конечно, Рамблер уже не тот, что раньше, как скажут многие, и дает совсем немного трафика. И все равно, зачем им пренебрегать? Процесс индексации сайта в Rambler самый затяжной, среди других отечественных поисковых систем. Да и его адурилка уже давно не работает, она была по адресу: robot.rambler.ru/cgi-bin/addsite.cgi
Он уже давно использует поисковую базу Яндекса. Поэтому, что бы попасть в индекс Rambler.ru достаточно добавиться в Яндекс.
Индексация сайта в Mail.ru (Майл)
Поисковая система Mail.ru тоже имеет кабинет вебмастера. Добавление сайта на индексацию в Mail.ru происходит через форму addurl, которая расположена по адресу: go.mail.ru/addurl
Причем как и у гугла, что бы сделать заявку на индексирование, нужно завести свой аккаунт и войти в него. Иначе не выйдет. Майл в последнее время старается развивать свои собственные инструменты для вебмастеров.
Выше мы рассмотрели основные отечественные поисковики, в которых нам желательно проиндексировать свой сайт. Идущие далее ПС приведу скорее для вашей общей SEO-эрудиции, чем для конкретных действий.
Поисковая система Aport.ru (Апорт)
Aport.ru когда-то был поисковой системой, со своей индексной базой и адурилкой. Сейчас из него сделали товарный поисковик, в котором можно сравнивать цены на товары и услуги.
Поисковая система Nigma.ru (Нигма)
Nigma.ru это наша русская интеллектуальная поисковая машина. Суммарный объем ее трафика порядка трех миллионов запросов в сутки. Очевидно, что не надо пренебрегать трафиком из Нигмы. Добавить свой сайт на индексацию в Нигму можно на странице nigma.ru/index_menu.php?menu_element=add_site.
Медиа навигатор Tagoo.ru
Система Tagoo.ru представляет собой медийный поисковик, который ищет медиа данные. Это музыкальный контент, видеоролики и программы. Что бы ваш сайт был проиндексирован системой Tagoo, нужно воспользоваться формой добавления: tagoo.ru/ru/webmaster.php?mode=add_site.
Поисковая система Turtle.ru (Черепаха)
Международный поисковик Turtle (Черепаха) осуществляет поиск по странам СНГ на любом языке. Для индексации принимаются ресурсы расположенные на таких доменных зонах как: ru, su, ua, am, az, ge, by, kz, kg, uz, md. Что бы добавить сайт на индексацию в черепахе нужно воспользоваться адурилкой: http://www.turtle.ru/add.html . Желательно дождаться вывода сообщения о принятии вашего сайта. Может не добавить, а вы и знать не будете.
Зарубежные поисковые системы
Если выше были отечественные поисковые системы, то ниже будет список зарубежных поисковых систем.
Поисковая система Yahoo.com (Яху)
Поисковая система Bing.com (Бинг)
Поисковая система Bing принадлежит корпорации Microsoft и была создана на замену Live Search. Майкрософ надеется, что новое детище окажется намного популярнее предшественника. Если вы хотите индексации своего сайта ПС Bing.com, это это можно сделать на странице http://www.bing.com/toolbox/submit-site-url .
Украинские поисковые системы
И в заключении моего обзора приведу две популярных поисковых системы на Украине.
Украинская поисковая система Meta.ua (Мета)
Речь пойдёт о достижении быстрой индексации страниц в Google. Причём фраза «быстрая индексация» это ещё слабо сказано, я бы применил фразу «молниеносная индексация страниц гуглом».
Вы узнаете, как сделать так, чтобы ваша, только что написанная, статья сразу проиндексировалась и попала в выдачу поисковой системы Google. Лично я успел запечатлеть момент попадания в поисковую выдачу Гугла за 3 минуты. Возможно и быстрее, просто долго делал скриншоты экрана. Вот, к моменту, когда я делал запрос на индексацию этой статьи - Google проиндексировал её за 31 секунду!
Про значимость быстрой индексации страниц вашего сайта поисковыми роботами, думаю, рассказывать не стоит, вы должны об этом знать.
Схема действий для быстрой индексация страниц в Google
Вы написали и опубликовали на своём блоге новую статью. Ваша статья автоматически попадает в XML карту сайта, конечно, если у вас стоит плагин Google sitemap. Можно ждать пока робот Гугла придёт на ваш сайт и будет искать новые статьи блога, после чего индексировать их и заносить в поисковую выдачу. На это уходит много времени, в зависимости от того, как быстро и часто на ваш блог сами приходят эти роботы.
Чтобы ваша статья сразу появилась в выдаче, необходимо самостоятельно сообщить Google, что на вашем сайте появился новый пост. Делать это необходимо через сервис Google вебмастер - www.google.com/webmasters. Если вы не зарегистрировались в этом сервисе, то срочно это делаем. Регистрируем себе безопасную электронную почту – gmail, заводим аккаунт в сервисе, сообщаем гуглу о сайте и подтверждаем на него права. Думаю, с этим разберётесь. Далее, заходим в инструменты для вебмастера – выбираем раздел «Сканирование» и пункт «Посмотреть, как Googlebot».
Вы увидите форму, куда необходимо ввести url адрес новой статьи. Но Url вводим не полностью, а лишь часть, ту часть, которая после вашего основного домена. Ввели адрес поста – нажмите кнопку «Сканировать».
Робот гугла просканирует вашу новую страницу. Пройдёт небольшая проверка, и вы увидите статус «Готово». Для того, чтобы статья попала в выдачу, нажмите кнопку «Добавить в индекс».
Всплывет окошко, где необходимо выбрать «Сканировать только этот URL» и нажать кнопку «Отправить».
Всё! Ваша новая статья проиндексировалась и попала в поисковую выдачу Google. Для того, чтобы проверить выдачу, перейдите опять в поиск Google и введите url нового поста (как делали в начале). Если сразу не увидите, то подождите пару минут, т.к. выдача обновляется.
Вот вам и быстрая индексация нового поста. Я, когда узнал про это, то сразу обалдел. Теперь, только так и сканирую новые статьи блога для Google. Вот, если бы ещё у Яндекса было, что-нибудь подобное, то была бы полная красота.
Может, кто знает, как добиться быстрой индексации Яндекса, а то с ним сейчас небольшие проблемы. Вчера писал Платону (техническая поддержка Яндекса), сказали, что санкций никаких нет, что вам нужно немного потерпеть, пока Яндекс проиндексирует страница блога.
Google – это первый поисковик в мире. В каком бы регионе вы не продвигали сайт, вам обязательно нужно добавить его в этот поисковик. В этой статье я покажу, как добавить сайт в Google и добиться от него быстрой и правильной индексации.
А о том, как добавить сайт в Яндекс, вы можете узнать .
Как добавить сайт в Google
Запаситесь терпением, ведь все поисковые машины очень медлительны. На индексирование сайта уйдёт несколько недель. Это означает, что не нужно откладывать добавление сайта в поисковик. Если вы только создали сайт, и записей в нём ещё нет, то уже можете добавлять.
Чтобы добавить сайт в Google, у вас должен быть аккаунт в этом поисковике (если пользуетесь почтой Gmail, то считайте, что есть аккаунт, через него можно получить доступ ко всем инструментам Google). Сделайте следующие действия по порядку:
- Перейдите в инструменты вебмастера Google, которые находятся , и нажмите на кнопку «Добавить ресурс
». Введите адрес сайта, который добавляете, и нажмите кнопку «Продолжить
».
Добавление сайта в Google
- Появится следующая страница, на которой необходимо подтвердить права на свой сайт. Есть несколько способов, но самый простой и удобный с помощью HTML-файла. Скачайте файл, который вам предлагается в п.1 инструкции Google, и закачайте его в корневой каталог вашего сайта. Если всё сделали правильно, то при клике по ссылке в п.3 в инструкции Google вы увидите содержимое этого сайта. Если нет, то страницу 404. Нажмите кнопку «Подтвердить
».
Подтверждение прав на сайт
- Чтобы добавить сайт в Google и добиться правильной и быстрой индексации, необходимо показать поисковым роботам, где у вас . Для этого переходим в панель управления сайтом в инструментах вебмастера Google, нажимаем пункт «Сканирование
» и выбираем подпункт «Файлы
Sitemap
». Нажмите на кнопку «Добавление/проверка файла
Sitemap
» и введите в строке адрес до карты, например «ru/
sitemap.
xml
». Обратите внимание, что домен сайта там уже написан, поэтому вводить нужно без него – «sitemap.
xml
». Потом нажмите кнопку «Отправить файл
Sitemap
». Если хотите проверить её перед этим на ошибки, нажмите «Проверить
Sitemap
».
Добавление карты сайта
Если вы сделали всё по этих пунктам, то считайте, что у вас получилось добавить сайт в Google. Теперь необходимо немного подождать, пока поисковик всё проиндексирует. Как правило, на это уходит 1-3 недели. Вы можете контролировать весь процесс индексации в
Теперь по запросу вебмастера, "Как ускорить индексацию новой страницы сайта?", "Как мгновенно проиндексировать содержимое сайта?", Google в новой версии Search Console, предлагает несколько другой способ быстро разместить в поиске новую страницу сайта.
Робот, при использовании возможностей кабинета вебмастера Google, мгновенно начинает сканировать предложенный ему адрес странички и размещает его в поиске.
Да, такой инструмент находится в кабинете вебмастеров от Google и доступен вебмастерам, подтвердившим права управления сайтом.
Новый способ индексировать страницу сайта в Google?
Итак мы исходим из того что вы уже давно доказали своё право управлять сайтом, и уже используете новую версию Search Console.
простой способ перейти в новую версию Search Console
Повторю, это не способ запросить повторное сканирование страниц, это возможность отправить на быструю индексацию, абсолютно новую страницу.
в поисковую строку вставляем URL новой страницы для возможности отправки на индексацию
Нажав Enter, после внесения URL в поиск, ожидаем от нескольких секунд до нескольких минут (это в самом плохом случае).
нажимаем Enter, и ждем получения данных.
Для абсолютно новой страницы сайта, отсутствие в индексе и в поиске - это нормальная ситуация. Теперь остается отправить новую страницу на индексацию в Google.
запрос индексации
проверка страницы и её индексация может занимать и больше одной минуты, наберитесь терпения
Во время проверки новой страницы сайта на предмет индексации, главное не закрывать в браузере страницу "кабинет вебмастера" (Search Console). И результат не разочарует вас.
URL добавлен в приоритетную очередь сканирования. Не пытайтесь добавить страницу в индекс несколько раз. Это не повлияет на ее позицию в очереди на сканирование или приоритет.
Как быстро индексирует Google?
Нет точной статистики, сколько конкретно времени пройдет, прежде чем URL, указанный поисковым паукам, будет проиндексирован и появится в поиске.
Иногда, страница, добавленная на индексацию попадает в индекс за пару секунд, а иногда проходит до нескольких минут (5-10).
После того как отправил новую страницу на индексацию в Google, ввел название статьи "Как индексировать страницу в новой версии Search Console." и вот она уже на первой странице в Google поиске.
Такой вот новый способ в кабинете вебмастера от Google для желающих мгновенной индексации!
А как вы добавляете новые страницы в Google или Яндекс?
