И Wonder Wheel, в прошлом месяце поисковой гигант решил добавить новые функции в Google Webmaster Tools, а именно возможность ускорить индексацию или переиндексацию уже существующих страниц сайта в Google . Об этом пишет официальный блог Google Webmaster и у вас есть возможность прочитать оригинальный текст на английском .
Как ускорить индексацию в поисковой системе?
Данная возможность будет очень полезна тем, кто:
- провел внутреннюю перелинковку
- изменил контент на странице, который должен помочь улучшить ранжирование по определенным запросам.
- добавил новую страницу
- изменил мета-тэги Title, Description
После приведенных выше изменений, многие оптимизаторы и вебмастера задавались вопросом: «А как же попасть в индекс как можно быстрее?».
По данной теме было написано большое множество статей, давались разные советы, даже я писал о том , но большинство данных примеров работает только для новых страниц. Так что же делать со старыми страницами, на которых изменился контент? Ведь старые страницы на блоге или сайте поисковые машины могут посещать раз в месяц или того реже… Как же ускорить переиндексацию уже существующих страниц сайта? Решением данного вопроса занялся Google и добавил такую возможность для вебмастеров в Google Webmaster Tools с помощью функции «Просмотреть как Googlebot».
Функция «Просмотреть как Googlebot» позволяла раньше увидеть страницу такой, как её видит поисковая машина. Теперь же в данной функции появилась возможность ускорить индексирование новых или переиндексацию уже существующих страниц.
Теперь вы можете попросить поисковик обратить внимание на определенную страницу или группу страниц и сказать ему: «Google смотри, у меня появился новый контент или я улучшил уже существующий».
При добавлении страниц на индексирование существует разделение на две категории:
- индексация через функцию «Просмотреть как Googlebot» для сайта, владельцем которого являетесь вы. То есть данный сайт внесен в список ваших сайтов в Google Webmaster Tools
- индексация с помощью публичной формы добавления страниц (индексация страниц сайтов, не принадлежащих вам).
Сейчас я расскажу более подробно о каждом из типов добавления страниц на индексацию.
Альтернативой, выше указанному способу, может послужить , который поможет быстро индексировать ваш блог не используя посторонних сервисов.
Индексация URL сайта, который принадлежит вам
Во-первых, вам необходимо зайти в Инструменты для вебмастеров от Google с помощью вашего Google аккаунта, где вы найдете список сайтов принадлежащих вам. Потом выбрать из списка тот сайт, на котором вам необходимо проиндексировать страницы.
Во-вторых, перейти в меню Диагностика→Просмотреть как Googlebot. Там вы можете добавить URL новой или уже существующей страницы, которою необходимо проиндексировать.
В первое поле помеченное красным, вы добавляете страницу, которою необходимо проиндексировать в Google (для индексации главной страницы поле необходимо оставить пустым) и жмем на кнопку «Получить содержание».
После нажатия на кнопку «Отправить в индекс» вы увидите всплывающее окно
В данном окне вы можете выбрать: индексировать только один заданный URL или все страницы, на которые ссылается данный URL. Решать вам, но второй вариант будет очень полезен тем, у кого проблемы с общей индексацией сайта. Данная возможность позволит вам добавить в индекс как можно большее количество страниц.
Каждую неделю у вебмастера есть возможность добавить 50 страниц на индексацию в Google. И только 10 раз в месяц вы можете добавить заданный URL и все страницы, на который он ссылается. Если же вам необходимо проиндексировать видео или картинки, то Google рекомендует добавлять на индексацию сайтмапы.
Индексация URL сайта, который не принадлежит вам
Вы обменялись ссылками или купили ссылку на сайте? И хотели, чтобы ваша ссылка была обнаружена Гуглом как можно быстрее, то вам поможет публичное добавление на индексацию. Найти форму добавления URL можно в Google Webmaster Tools . Это лучший способ быстро проиндексировать любой URL в Google.
Если говорить о практике, то я ее уже успешно провел. Были статьи со ссылками, которые я купил в Getgoodlinks (читайте о том ) и которые не могли попасть в индекс Google более 15 дней. Особых усилий для попадания их в индекс я не предпринимал, но прогон через Pingexpert не помог. После использования формы добавления страниц на индексацию в Google Webmaster Tools, страницы попали в индекс в течении дня.
Однако, не стоит забывать о словах источника в Google, который утверждает, что добавление на индексацию через форму в Webmaster Tools не гарантирует попадание страницы в индекс. Так же индексация страниц сайтов, которые принадлежат вам может пройти быстрее, чем добавление на индексацию страниц сайтов, которые не принадлежат вам. Этим самым Google дает преимущество на индексацию сайтов владельцам, а не случайным пользователям.
Всем тестировать новшества, о ваших результатах и впечатлениях рассказывайте в комментариях.
Сегодня же хотелось бы напомнить всем о том как не нужно меняться ссылками об этом я писал , но сегодня еще встретил похожую запись о неэффективных методах обмена ссылками . Всем советую прочитать обе статьи и выбрать главное из двух источников.
Чтобы понять, находится ли конкретная страница сайт в поиске и сколько вообще страниц вашего ресурса видят поисковые машины, нужно не так и много. Подробнее о том, как проверить индексацию сайта и получить нужную информацию, мы расскажем в этой статье. Сразу же отметим, что при сканировании сайта, роботы переносят все полученные сведения о ресурсе в отдельные базы. И далее уже поисковая система работает по этим базам. Однако отметим, что некоторые неопытные веб-мастера путают два понятия: сканирование и индексацию. Сканирование – это, по сути, изучение роботом сайта. На обход всего ресурса нужно не так уж и много времени. А вот индексирование – то есть, добавления информации о ресурсе в базы данных, занимает относительного много времени.
1) Как проверить индексацию сайта через панель управления в сервисе для веб-мастеров
Этот метод является основным. Для сервиса Google следует выполнить следующие действия:
- перейти в панель управления сервиса;
- выбрать вкладку Search Console;
- после этого перейти в еще одну вкладку «Индекс Google»;
- кликнуть по пункту Статус индексирования.
Для сервиса Яндекс последовательность действий будет следующей:
- открыть Вебмастер;
- найти пункт Индексирование сайта;
- выбрать строку Страницы в поиске.
Также можно пойти по другой последовательности вкладок – после Индексирования сайта кликнуть на вкладку История, а уже там кликнуть на вкладку Страницы в поиске. Это позволит вам отследить, как меняется количество проиндексированных страниц.
Такой способ проверки доступен только тем веб-мастерам, для которых в панели инструментов сервиса открыт соответствующий доступ.
На картинке ниже представлен график хорошо проиндексированного сайта. Как можно увидеть, количество страниц в индексе постоянно возрастает.
А на картинке ниже представлен тот случай, когда наблюдаются проблемы с индексацией или страницы сайты вообще закрыты от индексирования.
2) Проверка поисковыми операторами
С их помощью легко уточнить будущие результаты. Например, отлично для этих целей подходит параметр/оператор «site:», посредством которого вы сможете увидеть, сколько именно страниц проиндексировано.
Для этого в поисковой строке (Яндекс или Google, а лучше и там, и там) вводится следующая комбинация: site: url сайта
Обратите внимание! Большая разница в результатах двух поисковых систем может говорить о наличии тех или иных проблем в работе сайте.
К примеру, сайт cubing.com.ua, данные которого приведены на скринах ниже, находится под фильтром АГС, накладываемым поисковой системой Яндекс.
А вот дополнительные инструменты, которые есть в поисковых системах, дают возможность получить много интересной информации. Например, как менялась индексации за тот или иной период времени.
3) Плагины и расширения
Это автоматизированный метод проверки. Помимо плагинов можно использовать специальные расширения. Их еще называют букмарклеты, который представляют собой программы-скрипты. Они сохраняются в виде обычных браузерных закладок.
Привлекательность скриптов состоит в том, что теперь вам не придется снова и снова открывать поисковую системы и вводить какие-то слова или символы. За вас все сделает программа.
На картинке выше представлен пример работы плагина RDS bar . На скриншоте показано, какие данные он показывает при интеграции в браузер Google Chrome. Но в браузере Mozilla он предоставляет еще больше данных и возможностей.
В частности, такой плагин дает возможность получить данные, как по отдельной странице, так и по всему сайту в целом.
Обратите внимание! Плагины бывают, как платными, так и бесплатными. Явный недостаток бесплатных версий – необходимость постоянно вводить капчу. Нервирует жутко!
Хорошие отзывы заслужил скрипт/букмарклет «Проверка индексации». Его нужно всего лишь перетащить на панель вашего браузера. Потом открывайте нужный вам сайт и кликните по закладке скрипта. Это активирует новую вкладку браузера, на которой показаны все данные.
4) Специальные сервисы
Истинные помощники всех «сеошников». Перечислять подобные сервисы можно долго – их много. К примеру, выделяется ресурс Netpeak Spider .
Основное преимущество сервисов состоит в том, что вы получаете массу дополнительной информации помимо основных данных:
- данные о количестве проиндексированных страниц;
- полный список всех страниц, которые находятся в индексе;
- коды ответа;
- мета-теги;
- файл robots.txt и многое-многое другое.
Кроме того, сервис предоставит информацию об ошибках на сайте.
5) Проверка индексации сайта с помощью Topvisor
Topvisor — является лучшим из сервисов для мониторинга и анализа поискового продвижения. Для проверки индексации следует выполнить следующие действия:
После того, как пройдете регистрацию, выберите проект, которой хотите проиндексировать.
Здесь можно создавать группы ключевых слов для удобства и с помощью сервиса определить частотность запросов и посмотреть их базовые, «фразовые» и «точные» значения. При этом «ключи» вводить можно вручную, импортировать их из файла, а также сделать подбор из Яндекс.Wordstat и Google AdWords.
Для проверки позиций переходим на вкладку «позиции» , выбираем нужную поисковую систему, к примеру Яндекс, выбираем нужную группу ключевых запросов и кликаем по зеленой кнопке в верхнем левом углу «обновить».
Спустя некоторое время данные обновятся. В отчете вы увидите позиции вашего сайта по определенным запросам и частоту запросов по «ключам». Когда происходят какие-либо изменения, например, ваш сайт поднялся на несколько позиций выше в поисковой системе, то эти изменения будут отображены здесь же. Так же доступна опция автоматического запуска проверки в указанное время или в зависимости от апдейтов Яндекса
Почему возникают проблемы с индексированием сайта: описание основных проблем и пути их решения
Рассмотрим основные причины, почему сайт может не индексироваться. Зачастую на исправление ошибок нужно не так уж и много времени, но после этого результаты поисковой выдачи существенно улучшаются.
Молодой сайт
Если вашему ресурсу совсем мало дней/недель/месяцев, нужно лишь просто подождать. Немного. Так уж работают поисковые системы, что сайты и страницы попадают в индекс далеко не сразу. Иногда приходится ждать несколько месяцев.
Отсутствует sitemap
Без нормальной карты сайта добиться хороших результатов нереально. Sitemap оказывает непосредственную помощь поисковым роботам, что существенно ускоряет скорость сканирования сайта, а также попадания его страниц в индекс. Добавлять ссылку на карту сайта проще всего через панель управления в сервисе веб-мастеров.
Наличие ошибок
Внимательно следите за оповещениями при посещении сервиса веб-мастеров. Там постоянно появляются сообщение о наличии тех или иных недочетов, ошибок. Просматривайте их и не забывайте исправлять.
Проблема с robots
Метатег robots важен для правильного индексирования сайта. Неосознанное изменение настроек на хостинге или вашей CMS приводит к появлению следующей записи в коде.
Что говорит о том, что страница попросту не индексируется.
Ошибка с файлом robots.txt
Правильно написанный – гарантия хорошего индексирования. Нередко можно встретить советы и рекомендации закрывать для поисковых роботов через данный файл все ненужное.
Однако уникальная особенность файла состоит в том, что лишь один неправильно поставленный символ может вообще закрыть сайт для индексации поисковыми системами.
Даже если вы стремились закрыть всего лишь одну страницу, может оказаться так, что одним кликом перекрыли несколько страниц и т.д.
Посмотрите внимательно на свой файл. Нет ли в нем записи User-agent: * Disallow: / ? Если она присутствует, значит сайт закрыт для индексрования.
И еще несколько причин, по которым сайт не индексируется
Среди основных проблем с индексированием можно выделить:
- наличие дублей страниц;
- использование при наполнении сайта неуникальных материалов;
- низкая скорость загрузки сайта и проблемы с доступом к нему.
Как ускорить индексацию сайта в Яндексе и Гугле?
Главная цель владельца сайта – чтобы все страницы, открытые для поисковых роботов, находились в индексации. Добиться такого результата, скажем откровенно, весьма и весьма сложно.
Кроме того, необходимо постоянно отслеживать весь процесс добавления страниц в индекс. Любые изменения – резкие – будь-то положительные или отрицательные, сигнализируют о наличии конкретных проблем, которые мешают нормальному индексированию ресурса.
Для проверки индексирования сайта воспользуйтесь любым (а лучше последовательно каждым) способом, описанным в нашей статье:
- панелью инструментов в сервисе для веб-мастеров;
- поисковым оператором/параметром site: ;
- плагины и скрипты;
- специализированные онлайн-сервисы.
Бонус, для тех, кто действительно хочет достичь результатов
Представляем специальную таблицу , которая поможет вам при работе с индексацией сайта.
Работать с такой таблицей очень и очень просто. Вот подробная последовательность действий:
- сделайте копию таблицы со столбцами, как на скрине;
- выберите доменную зону;
- в столбик А подгрузите URL сайта;
- подождите, пока подгрузятся все URL – чем их больше, тем дольше ждать результата.
Столбы В и С можно копировать, что позволит вам отслеживать динамику индексации страниц.
Вы еще не прошли обучение на моем авторском курсе «Как создать сайт за 4 дня»? Переходите по ссылке: и регестрируйтесь прямо сейчас либо можете воспользоваться моей инструкцией, где я пошагово показываю ! Приходите, будет интересно!
Не так давно компания Google на пару с NASA (да-да, с аэрокосмическим агентством США) купила у канадской компании D-Wave Systems квантовый компьютер (ну или то, что на сегодня называется квантовым компьютером). Сообщалось, что на его базе планировали (с этой осени) запустить лабораторию по изучению искусственного интеллекта с применением достижений квантовой физики.
Что такое квантовый компьютер - долго объяснять. Но представьте себе в перспективе - некий огромный суперкомпьютер, у которого весь интернет будет находится в оперативной памяти. Необходимости индексировать новый контент и новую информацию, размещаемую в интернете - уже не будет. Информация сразу будет в поиске! В момент ее публикации в интернете! Как вам такая скорость... хотел сказать "индексации", но по-сути "индексации" в привычном значении этого слова уже не будет!
Но пока это в перспективе, и, кажется, не совсем уж такой далекой! Мгновенная индексация информации не за горами. И это хорошо иллюстрирует новшество от компании Google. Теперь по запросу вебмастера, Google сканирует мгновенно предложенный ему адрес странички и также мгновенно размещает его в поиске. Да, такой сервис есть и называется он не аддурилка Google, куда надо сообщать о новом сайте. Инструмент находится в кабинете вебмастеров от Google и доступен всем желающим вебмастерам, подтвердившим права управления на свой сайт.
Как мгновенно проиндексировать страничку в Google?
Быстрая индексация материалов сайтов - головная боль вебмастеров (каких тем только не создано на веб-форумах: "Как быстро вогнать сайт в индекс Google ", "Как ускорить индексацию сайта? ", "Как мгновенно проиндексировать содержимое сайта? " и т.д.). Поскольку преимущественно публикуются уникальные материалы, то существует вероятность кражи контента и публикации его на быстроиндексируемом сайте. Однако, с нововведением Google, это уже в прошлом. Сейчас возможно отправлять странички в Google не только на индексацию, но и прямо в результаты поиска. Делается это очень и очень просто.
- Заходим в кабинет вебмастера Google -
- На главной странице Инструментов для веб-мастеров выберите нужный сайт (страницы которого нужно вогнать в индекс)
- На левой панели находим функцию Просмотреть как Googlebot
- В появившемся текстовом поле указываем путь к новой страничке в интернете
- В раскрывающемся списке не трогаем (установленный по умолчанию) Веб
- Нажимаем Получить содержание (Google получит содержание указанного URL, несколько раз перезагрузив страницу; не спешите ничего нажимать, этот процесс может занять до 10-15 минут).
- Когда получим сообщение об успешном получении содержимого, нам станет доступна кнопочка Добавить в индекс - нажимаем на нее.
- Нам предложат выбрать одно из двух:
Чтобы добавить отдельный URL в индекс Google, выберите URL и нажмите Отправить (используя этот способ, можно добавлять до 500 URL в неделю)
Чтобы добавить URL и все страницы, на которые он ссылается, выберите URL и все связанные страницы (можно отправлять до 10 таких запросов в месяц)
Непосредственно в кабинете вебмастеров Google это выглядит примерно так:
На официальной страничке документации - нового метода, где подчеркнуты его главные приимущества:
Попасть в результаты поиска Google просто. Не нужно ничего платить, не нужно даже отправлять свой сайт в Google
ясно указано, что
Google не может гарантировать, что все просканированные URL будут включены в индекс.
это подразумевает, что гарантии индексации новой странички в интернете такие же, как и при обычном сканировании поисковыми роботами. Никаких гарантий, что бредовые тексты, машинные и не несущие никакой полезной нагрузки будут попадать в индекс поисковой системы.
Как быстро индексируется страничка в Google?
Нигде не указано, сколько именно времени должно пройти, прежде чем страничка, указанная поисковым паукам, будет проиндексирована и доступна в поиске. Однако, собственные эксперименты показывают, что это происходит сразу . Что именно я вкладываю в слово "сразу "?
По неизвестным причинам, страница, добавленная на индексацию через Googlebot попадает в индекс от мгновенно (пару секунд) до нескольких минут (5-10). В целях эксперимента добавлялись в индекс такие страницы на редкообновляемых сайтах, которые самостоятельно не индексировались в Google по 4-6 дней (и успешно появлялись в индексе сразу же). Лишь в некоторых случаях, единичных, страничка вообще не появлялась в индексе. Впоследствии, она появлялась сама по себе, видимо во время очередного визита другого паука на сайт.
Такой вот подарок от Google любителям мгновенной индексации! Надеюсь, мои советы станут вам полезными!
Вконтакте
Оцените материал:Чтобы проиндексировать сайт в Google, нужно авторизоваться в google-аккаунте и перейти по адресу https://www.google.com/webmasters/tools/submit-url . Там вы должны будете ввести адрес главной страницы своего сайта и пройти проверку на то, что вы не робот. Собственно, этих действий достаточно для того, чтобы ваш интернет-портал индексировался в Гугле – другое дело, что для продвижения в ТОПе выдачи придется приложить гораздо больше усилий.
Теоретически возможны две ситуации, при которых индексация в гугл не пройдет:
В случае проблем с сервером. Вы увидите сообщение о том, что ваш хостинг не отвечает на запросы системы, и, соответственно, не сможете выполнить процедуру в этот конкретный момент времени. Однако вы можете повторить попытку позже, когда ваш сайт снова заработает. Впрочем, если проблемы с хостингом у вас возникают систематически, то стоит задуматься о смене провайдера. Стабильная работа интернет-портала важна и в контексте «симпатий» поисковых систем, и в связи с необходимостью удовлетворять пожелания и запросы посетителей, а не раздражать их.
При попадании под санкции. В подобной ситуации на странице появится сообщение о том, что адрес вашего сайта запрещен к добавлению на индексацию. Санкции могут быть разными, и выданы они могут быть по разным причинам. Если вы уверены, что не сделали ничего плохого за время владения сайтом – то, возможно, санкции были наложены за то время, что им управлял предыдущий собственник. Поэтому очень важно проверять сайты на бан поисковиков перед тем, как покупать их. Если же вы узнаете о санкциях уже по факту, то вы можете попробовать узнать их причину на форуме Google. Но для того, чтобы добиться индексации в системе Гугл как можно быстрее, проще будет развивать проект на другом домене.
Быстрая индексация в Google
Далеко не всегда вебмастеру хочется ждать, пока робот поисковой системы сам зайдет на его сайт и проиндексирует новые страницы. Чтобы ускорить этот процесс, можно прибегнуть к нескольким эффективным способам:
Через панель вебмастера Google. Для этого в разделе «Сканировать» необходимо выбрать пункт «Посмотреть как Googlebot». В соответствующее поле понадобится вставить адрес новой страницы, причем без адреса самого сайта (то есть из URL необходимо удалить эту часть). Далее необходимо нажать на кнопку «Сканировать», а по завершении процесса – на кнопку «Добавить в индекс». Появление сканированной страницы в индексе займет от нескольких минут до получаса. Единственный недостаток такого способа заключается в том, что его необходимо выполнять вручную, и он требует достаточно большого количества времени.
С использованием файла SiteMap.XML. Это файл, в котором содержатся ссылки на все страницы сайта, информация о датах их изменения, приоритетности просмотра. Он, во многом, определяет то, насколько быстро индексируются новые страницы. Поэтому ссылки на них нужно сразу же добавлять в такой файл, чтобы роботы находили их быстрее. При этом крайне желательно использовать динамический SiteMap.XML, а не обновлять его вручную после каждой корректировки сайта.
Путем оптимизации файла robots.txt. Этот файл позволяет задать директивы, в соответствии с которыми будут работать поисковые роботы и, соответственно, выполняться индексация сайта в системе Гугл. В контексте скорости этого процесса особое значение имеет директива Disallow, задающая те файлы, страницы и разделы, которые не должны быть проиндексированными. Благодаря ей роботы экономят время и быстрее доходят до новых страниц.
С помощью RSS-канала и социальных сетей. Увеличить скорость, с которой индексируется новый материал на сайте, можно и посредством добавления наиболее часто пополняемых разделов на RSSканал. Кроме того, вы можете добавлять ссылки на новые страницы в социальные сети (особенно полезна в контексте индексации сайта роботами Google соцсеть Twitter). Еще лучше, если вы сделаете кросспостинг из RSS-ленты в Твиттер.
Таким образом, индексация сайта в Google – это задача, для решения которой достаточно потратить несколько мгновений и сделать пару кликов. Однако быстрая индексация, и тем более – эффективное продвижение сайта в Гугл, требует гораздо более комплексной и продолжительной работы.
