• ×

    • Robots txt синтаксис. Как редактировать файл robots txt

    19.06.2019

    Большинство роботов хорошо спроектированы и не создают каких-либо проблем для владельцев сайтов. Но если бот написан дилетантом или «что-то пошло не так», то он может создавать существенную нагрузку на сайт, который он обходит. Кстати, пауки вовсе на заходят на сервер подобно вирусам — они просто запрашивают нужные им страницы удаленно (по сути это аналоги браузеров, но без функции просмотра страниц).

    Robots.txt — директива user-agent и боты поисковых систем

    Роботс.тхт имеет совсем не сложный синтаксис, который очень подробно описан, например, в хелпе яндекса и хелпе Гугла . Обычно в нем указывается, для какого поискового бота предназначены описанные ниже директивы: имя бота ("User-agent "), разрешающие ("Allow ") и запрещающие ("Disallow "), а также еще активно используется "Sitemap" для указания поисковикам, где именно находится файл карты.

    Стандарт создавался довольно давно и что-то было добавлено уже позже. Есть директивы и правила оформления, которые будут понятны только роботами определенных поисковых систем. В рунете интерес представляют в основном только Яндекс и Гугл, а значит именно с их хелпами по составлению robots.txt следует ознакомиться особо детально (ссылки я привел в предыдущем абзаце).

    Например, раньше для поисковой системы Яндекс было полезным указать, вашего вебпроекта является главным в специальной директиве "Host", которую понимает только этот поисковик (ну, еще и Майл.ру, ибо у них поиск от Яндекса). Правда, в начале 2018 Яндекс все же отменил Host и теперь ее функции как и у других поисковиков выполняет 301-редирект.

    Если даже у вашего ресурса нет зеркал, то полезно будет указать, какой из вариантов написания является главным - .

    Теперь поговорим немного о синтаксисе этого файла. Директивы в robots.txt имеют следующий вид:

    <поле>:<пробел><значение><пробел> <поле>:<пробел><значение><пробел>

    Правильный код должен содержать хотя бы одну директиву «Disallow» после каждой записи «User-agent». Пустой файл предполагает разрешение на индексирование всего сайта.

    User-agent

    Директива «User-agent» должна содержать название поискового бота. При помощи нее можно настроить правила поведения для каждого конкретного поисковика (например, создать запрет индексации отдельной папки только для Яндекса). Пример написания «User-agent», адресованной всем ботам зашедшим на ваш ресурс, выглядит так:

    User-agent: *

    Если вы хотите в «User-agent» задать определенные условия только для какого-то одного бота, например, Яндекса, то нужно написать так:

    User-agent: Yandex

    Название роботов поисковых систем и их роль в файле robots.txt

    Бот каждой поисковой системы имеет своё название (например, для рамблера это StackRambler). Здесь я приведу список самых известных из них:

    Google http://www.google.com Googlebot Яндекс http://www.ya.ru Yandex Бинг http://www.bing.com/ bingbot

    У крупных поисковых систем иногда, кроме основных ботов , имеются также отдельные экземпляры для индексации блогов, новостей, изображений и т.д. Много информации по разновидностям ботов вы можете почерпнуть (для Яндекса) и (для Google).

    Как быть в этом случае? Если нужно написать правило запрета индексации, которое должны выполнить все типы роботов Гугла, то используйте название Googlebot и все остальные пауки этого поисковика тоже послушаются. Однако, можно запрет давать только, например, на индексацию картинок, указав в качестве User-agent бота Googlebot-Image. Сейчас это не очень понятно, но на примерах, я думаю, будет проще.

    Примеры использования директив Disallow и Allow в роботс.тхт

    Приведу несколько простых примеров использования директив с объяснением его действий.

    1. Приведенный ниже код разрешает всем ботам (на это указывает звездочка в User-agent) проводить индексацию всего содержимого без каких-либо исключений. Это задается пустой директивой Disallow . User-agent: * Disallow:
    2. Следующий код, напротив, полностью запрещает всем поисковикам добавлять в индекс страницы этого ресурса. Устанавливает это Disallow с «/» в поле значения. User-agent: * Disallow: /
    3. В этом случае будет запрещаться всем ботам просматривать содержимое каталога /image/ (http://mysite.ru/image/ — абсолютный путь к этому каталогу) User-agent: * Disallow: /image/
    4. Чтобы заблокировать один файл, достаточно будет прописать его абсолютный путь до него (читайте ): User-agent: * Disallow: /katalog1//katalog2/private_file.html

      Забегая чуть вперед скажу, что проще использовать символ звездочки (*), чтобы не писать полный путь:

      Disallow: /*private_file.html

    5. В приведенном ниже примере будут запрещены директория «image», а также все файлы и директории, начинающиеся с символов «image», т. е. файлы: «image.htm», «images.htm», каталоги: «image», «images1», «image34» и т. д.): User-agent: * Disallow: /image Дело в том, что по умолчанию в конце записи подразумевается звездочка, которая заменяет любые символы, в том числе и их отсутствие. Читайте об этом ниже.
    6. С помощью директивы Allow мы разрешаем доступ. Хорошо дополняет Disallow. Например, таким вот условием поисковому роботу Яндекса мы запрещаем выкачивать (индексировать) все, кроме вебстраниц, адрес которых начинается с /cgi-bin: User-agent: Yandex Allow: /cgi-bin Disallow: /

      Ну, или такой вот очевидный пример использования связки Allow и Disallow:

      User-agent: * Disallow: /catalog Allow: /catalog/auto

    7. При описании путей для директив Allow-Disallow можно использовать символы "*" и "$" , задавая, таким образом, определенные логические выражения.
      1. Символ "*"(звездочка) означает любую (в том числе пустую) последовательность символов. Следующий пример запрещает всем поисковикам индексацию файлов с расширение «.php»: User-agent: * Disallow: *.php$
      2. Зачем нужен на конце знак $ (доллара) ? Дело в том, что по логике составления файла robots.txt, в конце каждой директивы как бы дописывается умолчательная звездочка (ее нет, но она как бы есть). Например мы пишем: Disallow: /images

        Подразумевая, что это то же самое, что:

        Disallow: /images*

        Т.е. это правило запрещает индексацию всех файлов (вебстраниц, картинок и других типов файлов) адрес которых начинается с /images, а дальше следует все что угодно (см. пример выше). Так вот, символ $ просто отменяет эту умолчательную (непроставляемую) звездочку на конце. Например:

        Disallow: /images$

        Запрещает только индексацию файла /images, но не /images.html или /images/primer.html. Ну, а в первом примере мы запретили индексацию только файлов оканчивающихся на.php (имеющих такое расширение), чтобы ничего лишнего не зацепить:

        Disallow: *.php$

  • Во многих движках пользователи (человеко-понятные Урлы), в то время как Урлы, генерируемые системой, имеют знак вопроса "?" в адресе. Этим можно воспользоваться и написать такое правило в robots.txt: User-agent: * Disallow: /*?

    Звездочка после вопросительного знака напрашивается, но она, как мы с вами выяснили чуть выше, уже подразумевается на конце. Таким образом мы запретим индексацию страниц поиска и прочих служебных страниц создаваемых движком, до которых может дотянуться поисковый робот. Лишним не будет, ибо знак вопроса чаще всего CMS используют как идентификатор сеанса, что может приводить к попаданию в индекс дублей страниц.

    • Директивы Sitemap и Host (для Яндекса) в Robots.txt

    Во избежании возникновения неприятных проблем с зеркалами сайта, раньше рекомендовалось добавлять в robots.txt директиву Host, которая указывал боту Yandex на главное зеркало.

    Директива Host — указывает главное зеркало сайта для Яндекса

    Например, раньше, если вы еще не перешли на защищенный протокол , указывать в Host нужно было не полный Урл, а доменное имя (без http://, т.е..ru). Если же уже перешли на https, то указывать нужно будет полный Урл (типа https://myhost.ru).

    Замечательный инструмент для борьбы с дублями контента — поисковик просто не будет индексировать страницу, если в Canonical прописан другой урл. Например, для такой страницы моего блога (страницы с пагинацией) Canonical указывает на https://сайт и никаких проблем с дублированием тайтлов возникнуть не должно.

    Но это я отвлекся...

    Если ваш проект создан на основе какого-либо движка, то дублирование контента будет иметь место с высокой вероятностью, а значит нужно с ним бороться, в том числе и с помощью запрета в robots.txt, а особенно в мета-теге, ибо в первом случае Google запрет может и проигнорировать, а вот на метатег наплевать он уже не сможет (так воспитан).

    Например, в WordPress страницы с очень похожим содержимым могут попасть в индекс поисковиков, если разрешена индексация и содержимого рубрик, и содержимого архива тегов, и содержимого временных архивов. Но если с помощью описанного выше мета-тега Robots создать запрет для архива тегов и временного архива (можно теги оставить, а запретить индексацию содержимого рубрик), то дублирования контента не возникнет. Как это сделать описано по ссылке приведенной чуть выше (на плагин ОлИнСеоПак)

    Подводя итог скажу, что файл Роботс предназначен для задания глобальных правил запрета доступа в целые директории сайта, либо в файлы и папки, в названии которых присутствуют заданные символы (по маске). Примеры задания таких запретов вы можете посмотреть чуть выше.

    Теперь давайте рассмотрим конкретные примеры роботса, предназначенного для разных движков — Joomla, WordPress и SMF. Естественно, что все три варианта, созданные для разных CMS, будут существенно (если не сказать кардинально) отличаться друг от друга. Правда, у всех у них будет один общий момент, и момент этот связан с поисковой системой Яндекс.

    Т.к. в рунете Яндекс имеет достаточно большой вес, то нужно учитывать все нюансы его работы, и тут нам поможет директива Host . Она в явной форме укажет этому поисковику главное зеркало вашего сайта.

    Для нее советуют использовать отдельный блог User-agent, предназначенный только для Яндекса (User-agent: Yandex). Это связано с тем, что остальные поисковые системы могут не понимать Host и, соответственно, ее включение в запись User-agent, предназначенную для всех поисковиков (User-agent: *), может привести к негативным последствиям и неправильной индексации.

    Как обстоит дело на самом деле — сказать трудно, ибо алгоритмы работы поиска — это вещь в себе, поэтому лучше сделать так, как советуют. Но в этом случае придется продублировать в директиве User-agent: Yandex все те правила, что мы задали User-agent: * . Если вы оставите User-agent: Yandex с пустым Disallow: , то таким образом вы разрешите Яндексу заходить куда угодно и тащить все подряд в индекс.

    Robots для WordPress

    Не буду приводить пример файла, который рекомендуют разработчики. Вы и сами можете его посмотреть. Многие блогеры вообще не ограничивают ботов Яндекса и Гугла в их прогулках по содержимому движка WordPress. Чаще всего в блогах можно встретить роботс, автоматически заполненный плагином .

    Но, по-моему, все-таки следует помочь поиску в нелегком деле отсеивания зерен от плевел. Во-первых, на индексацию этого мусора уйдет много времени у ботов Яндекса и Гугла, и может совсем не остаться времени для добавления в индекс вебстраниц с вашими новыми статьями. Во-вторых, боты, лазящие по мусорным файлам движка, будут создавать дополнительную нагрузку на сервер вашего хоста, что не есть хорошо.

    Мой вариант этого файла вы можете сами посмотреть. Он старый, давно не менялся, но я стараюсь следовать принципу «не чини то, что не ломалось», а вам уже решать: использовать его, сделать свой или еще у кого-то подсмотреть. У меня там еще запрет индексации страниц с пагинацией был прописан до недавнего времени (Disallow: */page/), но недавно я его убрал, понадеясь на Canonical, о котором писал выше.

    А вообще, единственно правильного файла для WordPress, наверное, не существует. Можно, кончено же, реализовать в нем любые предпосылки, но кто сказал, что они будут правильными. Вариантов идеальных robots.txt в сети много.

    Приведу две крайности :

    1. можно найти мегафайлище с подробными пояснениями (символом # отделяются комментарии, которые в реальном файле лучше будет удалить): User-agent: * # общие правила для роботов, кроме Яндекса и Google, # т.к. для них правила ниже Disallow: /cgi-bin # папка на хостинге Disallow: /? # все параметры запроса на главной Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins Disallow: /wp/ # если есть подкаталог /wp/, где установлена CMS (если нет, # правило можно удалить) Disallow: *?s= # поиск Disallow: *&s= # поиск Disallow: /search/ # поиск Disallow: /author/ # архив автора Disallow: /users/ # архив авторов Disallow: */trackback # трекбеки, уведомления в комментариях о появлении открытой # ссылки на статью Disallow: */feed # все фиды Disallow: */rss # rss фид Disallow: */embed # все встраивания Disallow: */wlwmanifest.xml # xml-файл манифеста Windows Live Writer (если не используете, # правило можно удалить) Disallow: /xmlrpc.php # файл WordPress API Disallow: *utm= # ссылки с utm-метками Disallow: *openstat= # ссылки с метками openstat Allow: */uploads # открываем папку с файлами uploads User-agent: GoogleBot # правила для Google (комментарии не дублирую) Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: /wp/ Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Disallow: *utm= Disallow: *openstat= Allow: */uploads Allow: /*/*.js # открываем js-скрипты внутри /wp- (/*/ - для приоритета) Allow: /*/*.css # открываем css-файлы внутри /wp- (/*/ - для приоритета) Allow: /wp-*.png # картинки в плагинах, cache папке и т.д. Allow: /wp-*.jpg # картинки в плагинах, cache папке и т.д. Allow: /wp-*.jpeg # картинки в плагинах, cache папке и т.д. Allow: /wp-*.gif # картинки в плагинах, cache папке и т.д. Allow: /wp-admin/admin-ajax.php # используется плагинами, чтобы не блокировать JS и CSS User-agent: Yandex # правила для Яндекса (комментарии не дублирую) Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: /wp/ Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Allow: */uploads Allow: /*/*.js Allow: /*/*.css Allow: /wp-*.png Allow: /wp-*.jpg Allow: /wp-*.jpeg Allow: /wp-*.gif Allow: /wp-admin/admin-ajax.php Clean-Param: utm_source&utm_medium&utm_campaign # Яндекс рекомендует не закрывать # от индексирования, а удалять параметры меток, # Google такие правила не поддерживает Clean-Param: openstat # аналогично # Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent # не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже. Sitemap: http://site.ru/sitemap.xml Sitemap: http://site.ru/sitemap.xml.gz # Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS # то пишем протокол, если нужно указать порт, указываем). Команду Host понимает # Яндекс и Mail.RU, Google не учитывает. Host: www.site.ru
    2. А вот можно взять на вооружение пример минимализма: User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Host: https://site.ru Sitemap: https://site.ru/sitemap.xml

    Истина, наверное, лежит где-то посредине. Еще не забудьте прописать мета-тег Robots для «лишних» страниц, например, с помощью чудесного плагина — . Он же поможет и Canonical настроить.

    Правильный robots.txt для Joomla

    User-agent: * Disallow: /administrator/ Disallow: /bin/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /layouts/ Disallow: /libraries/ Disallow: /logs/ Disallow: /modules/ Disallow: /plugins/ Disallow: /tmp/

    В принципе, здесь практически все учтено и работает он хорошо. Единственное, в него следует добавить отдельное правило User-agent: Yandex для вставки директивы Host, определяющей главное зеркало для Яндекса, а так же указать путь к файлу Sitemap.

    Поэтому в окончательном виде правильный robots для Joomla, по-моему мнению, должен выглядеть так:

    User-agent: Yandex Disallow: /administrator/ Disallow: /cache/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /modules/ Disallow: /plugins/ Disallow: /tmp/ Disallow: /layouts/ Disallow: /cli/ Disallow: /bin/ Disallow: /logs/ Disallow: /components/ Disallow: /component/ Disallow: /component/tags* Disallow: /*mailto/ Disallow: /*.pdf Disallow: /*% Disallow: /index.php Host: vash_sait.ru (или www.vash_sait.ru) User-agent: * Allow: /*.css?*$ Allow: /*.js?*$ Allow: /*.jpg?*$ Allow: /*.png?*$ Disallow: /administrator/ Disallow: /cache/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /modules/ Disallow: /plugins/ Disallow: /tmp/ Disallow: /layouts/ Disallow: /cli/ Disallow: /bin/ Disallow: /logs/ Disallow: /components/ Disallow: /component/ Disallow: /*mailto/ Disallow: /*.pdf Disallow: /*% Disallow: /index.php Sitemap: http://путь к вашей карте XML формата

    Да, еще обратите внимание, что во втором варианте есть директивы Allow, разрешающие индексацию стилей, скриптов и картинок . Написано это специально для Гугла, ибо его Googlebot иногда ругается, что в роботсе запрещена индексация этих файлов, например, из папки с используемой темой оформления. Даже грозится за это понижать в ранжировании.

    Поэтому заранее все это дело разрешаем индексировать с помощью Allow. То же самое, кстати, и в примере файла для Вордпресс было.

    Удачи вам! До скорых встреч на страницах блога сайт

    посмотреть еще ролики можно перейдя на
    ");">

    Вам может быть интересно

    Домены с www и без него - история появления, использование 301 редиректа для их склеивания
    Зеркала, дубли страниц и Url адреса - аудит вашего сайта или что может быть причиной краха при его SEO продвижении

    Файл robots.txt — это обыкновенный файл с расширением.txt, который можно создать с помощью обыкновенного блокнота Windows. Данный файл содержит инструкции по индексации для поисковых роботов. Размещают этот файл корневой директории на хостинге.

    При заходе на сайт поисковый робот первым делом обращаются к файлу robots.txt для того, чтобы получить инструкции к дальнейшему действию и узнать, какие файлы и директории запрещены к индексированию. Файл robots.txt носит рекомендательный характер для поисковых систем. Нельзя стопроцентно сказать, что все файлы, на которые выставлен запрет к индексации, не будут в итоге индексироваться.

    Рассмотрим простейший пример файла robots.txt. Данный файл содержит следующие строки:

    User-agent: * Disallow: /wp-admin/ Disallow: /images/

    Первая строка указывает для каких поисковых роботов действуют данные инструкции. В данном примере указана звездочка — это означает, что инструкции относятся ко всем поисковым роботам. В случае необходимости указания инструкции для конкретного поискового робота, необходимо прописать его имя. Вторая и третья строки запрещают индексацию директорий «wp-admin» и «images».

    Для поискового робота Яндекса актуально также прописывать директорию Host для указания основного зеркала сайта:

    User-agent: Yandex Disallow: /wp-admin/ Disallow: /images/ Host: yoursite.ru

    Примеры написания файла robots.txt для конкретных задач

    1. Не запрещать роботам любых поисковых систем индексировать сайт:

    User-agent: googlebot Disallow: /

    4. Не запрещать к индексации только одним роботом (например, googlebot) и запретить к индексации всем остальным поисковым роботам:

    User-agent: googlebot Disallow:
    User-agent: * Disallow: /admin/ Disallow: /wp-content/ Disallow: /images/
    User-agent: * Disallow: /News/webnews.html Disallow: /content/page.php
    User-agent: * Disallow: /page.php Disallow: /links.htm Disallow: /secret.html

    Основные правила написания robots.txt

    При написании файла robots.txt часто допускаются ошибки. Для того, чтобы их избежать, давайте рассмотрим основные правила:

    1. Писать содержимое файла нужно только в прописными буквами.
    2. В инструкции Disallow необходимо указывать только одну директорию или один файл.
    3. Строка «User-agent» не должна быть пустой. Если инструкция относится ко всем поисковым роботам, то необходимо указывать звёздочку, а если к конкретному поисковому роботу, то указывать его название.
    4. Менять местами инструкции Disallow и User-agent нельзя.
    5. В директиве Host, которая используется для Яндекса, адрес нашего сайта необходимо указывать без протокола HTTP и без закрывающего слэша.
    6. При запрещении к индексации директорий необходимо обязательно прописывать слэши.
    7. Следует проверить файл robots.txt перед загрузкой его на сервер. Это позволит избежать в будущем возможных проблем с индексацией сайта.

    Время чтения: 7 минут(ы)


    Почти каждый проект, который приходит к нам на аудит либо продвижение, имеет некорректный файл robots.txt, а часто он вовсе отсутствует. Так происходит, потому что при создании файла все руководствуются своей фантазией, а не правилами. Давайте разберем, как правильно составить этот файл, чтобы поисковые роботы эффективно с ним работали.

    Зачем нужна настройка robots.txt?

    Robots.txt - это файл, размещенный в корневом каталоге сайта, который сообщает роботам поисковых систем, к каким разделам и страницам сайта они могут получить доступ, а к каким нет.

    Настройка robots.txt - важная часть в выдаче поисковых систем, правильно настроенный robots также увеличивает производительность сайта. Отсутствие Robots.txt не остановит поисковые системы сканировать и индексировать сайт, но если этого файла у вас нет, у вас могут появиться две проблемы:

      Поисковый робот будет считывать весь сайт, что «подорвет» краулинговый бюджет. Краулинговый бюджет - это число страниц, которые поисковый робот способен обойти за определенный промежуток времени.

      Без файла robots, поисковик получит доступ к черновым и скрытым страницам, к сотням страниц, используемых для администрирования CMS. Он их проиндексирует, а когда дело дойдет до нужных страниц, на которых представлен непосредственный контент для посетителей, «закончится» краулинговый бюджет.

      В индекс может попасть страница входа на сайт, другие ресурсы администратора, поэтому злоумышленник сможет легко их отследить и провести ddos атаку или взломать сайт.

    Как поисковые роботы видят сайт с robots.txt и без него:


    Синтаксис robots.txt

    Прежде чем начать разбирать синтаксис и настраивать robots.txt, посмотрим на то, как должен выглядеть «идеальный файл»:


    Но не стоит сразу же его применять. Для каждого сайта чаще всего необходимы свои настройки, так как у всех у нас разная структура сайта, разные CMS. Разберем каждую директиву по порядку.

    User-agent

    User-agent - определяет поискового робота, который обязан следовать описанным в файле инструкциям. Если необходимо обратиться сразу ко всем, то используется значок *. Также можно обратиться к определенному поисковому роботу. Например, Яндекс и Google:


    С помощью этой директивы, робот понимает какие файлы и папки индексировать запрещено. Если вы хотите, чтобы весь ваш сайт был открыт для индексации оставьте значение Disallow пустым. Чтобы скрыть весь контент на сайте после Disallow поставьте “/”.

    Мы можем запретить доступ к определенной папке, файлу или расширению файла. В нашем примере, мы обращаемся ко всем поисковым роботам, закрываем доступ к папке bitrix, search и расширению pdf.


    Allow

    Allow принудительно открывает для индексирования страницы и разделы сайта. На примере выше мы обращаемся к поисковому роботу Google, закрываем доступ к папке bitrix, search и расширению pdf. Но в папке bitrix мы принудительно открываем 3 папки для индексирования: components, js, tools.


    Host - зеркало сайта

    Зеркало сайта - это дубликат основного сайта. Зеркала используются для самых разных целей: смена адреса, безопасность, снижение нагрузки на сервер и т. д.

    Host - одно из самых важных правил. Если прописано данное правило, то робот поймет, какое из зеркал сайта стоит учитывать для индексации. Данная директива необходима для роботов Яндекса и Mail.ru. Другие роботы это правило будут игнорировать. Host прописывается только один раз!

    Для протоколов «https://» и «http://», синтаксис в файле robots.txt будет разный.

    Sitemap - карта сайта

    Карта сайта - это форма навигации по сайту, которая используется для информирования поисковых систем о новых страницах. С помощью директивы sitemap, мы «насильно» показываем роботу, где расположена карта.


    Символы в robots.txt

    Символы, применяемые в файле: «/, *, $, #».


    Проверка работоспособности после настройки robots.txt

    После того как вы разместили Robots.txt на своем сайте, вам необходимо добавить и проверить его в вебмастере Яндекса и Google.

    Проверка Яндекса:

    1. Перейдите по ссылке https://webmaster.yandex.ru/tools/robotstxt/ .
    2. Выберите: Настройка индексирования - Анализ robots.txt.

    Проверка Google:

    1. Перейдите по ссылке https://support.google.com/webmasters/answer/6062598 .
    2. Выберите: Сканирование - Инструмент проверки файла robots.txt.

    Таким образом вы сможете проверить свой robots.txt на ошибки и внести необходимые настройки, если потребуется.

    1. Содержимое файла необходимо писать прописными буквами.
    2. В директиве Disallow нужно указывать только один файл или директорию.
    3. Строка «User-agent» не должна быть пустой.
    4. User-agent всегда должна идти перед Disallow.
    5. Не стоит забывать прописывать слэш, если нужно запретить индексацию директории.
    6. Перед загрузкой файла на сервер, обязательно нужно проверить его на наличие синтаксических и орфографических ошибок.

    / Просм: 21952

    Здравствуйте уважаемые друзья ! Проверка robots.txt также важна, как и его правильное составление.

    Проверка файла robots.txt в панели Yandex и Google Webmasters.

    Проверка robots.txt, почему важно проверить?

    Рано или поздно каждый уважающий себя автор сайта вспоминает про файл robots . Про этот файл, размещаемый в корне сайта, написано в интернете предостаточно. Почти у каждого вебмастера есть на сайте про актуальность и правильность составления его. Я же в этой статье напомню начинающим блоггерам как проверить его с помощью инструментов в панели вебмастера, предоставляемые Yandex и Google.

    Для начала немного о нем. Файл Robots.txt (иногда ошибочно называемый robot.txt, в единственном числе, внимание английская буква s в конце обязательна) создается веб-мастерам, чтобы отметить или запретить те или иные файлы и папки веб-сайта, для поисковых пауков (а также других типов роботов). Т. е. те файлы, к которым робот поисковика не должен иметь доступ.

    Проверка robots.txt является для автора сайта обязательным атрибутом при создании блога на WordPress и его дальнейшем продвижении. Многие вебмастера также обязательно просматривают страниц проекта. Анализ дает понять роботам правильный синтаксис, чтобы убедиться, в его действительном формате. Дело в том, что существует установленный Стандарт исключений для роботов. Будет не лишним узнать мнение самих поисковиков, читайте документацию, в ней поисковые системы подробно излагают свое видение насчет этого файла.

    Все это будет не лишним, дабы впредь обезопасить свой сайт от ошибок при индексировании. Знаю примеры, когда из-за неправильного составленного файла, был дан сигнал запретить его видимость в сети. При дальнейшем его исправлении можно долго ждать изменения ситуации вокруг сайта.

    Останавливаться на правильном составлении самого файла в этой статье не буду. Примеров в сети множество, можете зайти на блог любого популярного блоггера и приписать в конце его домена для проверки /robots.txt. Браузер покажет его вариант, который вы можете взять за основу. Однако у каждого бывают свои исключения, поэтому необходимо проверить именно для своего сайта на соответствие. Также описание и пример правильного текста для блога на WordPress находиться по адресу:

    Sitemap: http: // ваш сайт/sitemap.xml

    User-agent: Googlebot-Image

    # Google AdSense

    User-agent: Mediapartners-Google*

    User-agent: duggmirror

    Disallow: /cgi-bin/

    Disallow: /wp-admin/

    Disallow: /wp-includes/

    Disallow: /wp-content/plugins/

    Disallow: /wp-content/cache/

    Disallow: /wp-content/themes/

    Disallow: /trackback/

    Disallow: /feed/

    Disallow: /comments/

    Disallow: /category/*/*

    Disallow: */trackback/

    Disallow: */feed/

    Disallow: */comments/

    Allow: /wp-content/uploads/

    Существуют некоторые различия в составлении и дальнейшей проверки файла robots.txt для основных поисковых систем Рунета. Ниже приведу примеры, как проверить в панели Яндекс Вебмастер и Google.

    После того как вы составили файл и закинули его в корень своего сайта по FTP необходимо провести проверку его на соответствие к примеру поисковой системе Яндекс. Тем самым мы узнаем, не закрыли ли мы случайно те страницы, благодаря которым к вам придут посетители.

    Проверка robots.txt в панели Yandex Webmaster

    У вас должен быть аккаунт в панели Яндекс Вебмастер. Зайдя в инструменты и указав свой сайт, справа будет перечень доступных возможностей. Переходим на вкладку «Проверить robots.txt»

    Указываем свой домен и жмем «Загрузить robots.txt с сайта». Если у вас составлен файл, в котором указано отдельно для каждой поисковой системы, то необходимо выбрать строки для Яндекс и скопировать их в поле ниже. Напоминаю, директива Host: актуальна для Янд., поэтому не забудьте внести в поле для проверки. Осталось сделать проверку robots.txt. Кнопка справа.

    Буквально сразу увидите анализ от Яндекс на соответствие вашего robots.txt. Ниже будет указаны строки, которые Янд. принял к рассмотрению. И смотрим результаты проверки. Слева Url указаны директивы. Справа напротив сам результат. Как видно на скриншоте, правильно будет увидеть красным цветом надпись – запрещен правилом и указано само правило. Если вы указали директиву для индексации, то увидим зеленым – разрешен.

    После проверки robots.txt, вы сможете подкорректировать свой файл. Также рекомендую проверить страницы сайта. Вставляем url адрес отдельной записи в поле /Список URL/. И на выходе получаем результат – разрешен. Так мы сможет отдельно проверить запреты на архивы, рубрики и далее.

    Не забываем подписываться, в следующей статье планирую показать, как бесплатно пройти регистрацию в каталог Mail.ru. Не пропустите, .

    Как проверить в Yandex Webmasters.

    Проверить robots.txt в панели Google Webmasters

    Заходим в свой аккаунт и ищем слева /Состояние/ – /Заблокированные URL/

    Здесь увидим его наличие и возможность отредактировать. При необходимости проверки всего сайта на соответствие указываем в поле ниже адрес главной страницы. Имеется возможность проверить, как видят разные роботы Google ваш сайт с учетом проверки файла robots.txt

    Кроме основного бота Google выбираем и робота специализирующегося на разных видах контента (2). Скриншот ниже.

    1. Googlebot
    2. Googlebot-Image
    3. Googlebot-Mobile
    4. Mediapartners-Google – показатели для AdSense
    5. AdsBot-Google – проверка качества целевой стр.

    Показатели для других роботов Гугл я не нашел:

    • Googlebot Video
    • Googlebot-News

    По аналогии с проверкой файла роботс.тхт в панели Яндекс, здесь также есть возможность проанализировать отдельную страницу сайта. После проверки вы увидите результат отдельно для каждого поискового бота.

    При условии, что результаты проверки вас не устроили, вам остается дальше продолжить редактировать. И в дальнейшем проверка.

    Анализ robots.txt онлайн

    Кроме этих возможностей, вы также можете сделать анализ файла robots.txt с помощью онлайн сервисов. Те которые я находил в основном англоязычные. Мне понравился этот сервис. После анализа будут даны рекомендации по его исправлению.

    tool.motoricerca.info/robots-checker.phtml

    На этом все. Надеюсь, проверка файла robots.txt глазами Яндекс и Google вас не расстроила? Если же увидели не соответствие вашим желаниям, то всегда можно отредактировать и затем сделать повторный анализ. Спасибо за ваш твит в Twitter и лайк в Facebook!

    Robots.txt для сайта - это индексный текстовый файл в кодировке UTF-8.

    Индексным его назвали потому, что в нем прописываются рекомендации для поисковых роботов - какие страницы нужно просканировать, а какие не нужно.

    Если кодировка файла отличается от UTF-8, то поисковые роботы могут неправильно воспринимать находящуюся в нем информацию.

    Файл действителен для протоколов http, https, ftp, а также имеет «силу» только в пределах хоста/протокола/номера порта, на котором размещен.

    Где находится robots.txt на сайте?

    У файла robots.txt может быть только одно расположение - корневой каталог на хостинге. Выглядит это примерно вот так: http://vash-site.xyz/robots.txt

    Директивы файла robots txt для сайта

    Обязательными составляющими файла robots.txt для сайта являются правило Disallow и инструкция User-agent. Есть и второстепенные правила.

    Правило Disallow

    Disallow - это правило, с помощью которого поисковому роботу сообщается информация о том, какие страницы сканировать нет смысла. И сразу же несколько конкретных примеров применения этого правила:

    Пример 1 - разрешено индексировать весь сайт:

    Пример 2 - полностью запретить индексацию сайта:

    В таком случае будет бесполезно. Применение этого примера актуально в том случае, если сайт «закрыт» на доработку (например, неправильно функционирует). В этом случае сайту в поисковой выдаче не место, поэтому его нужно через файл robots txt закрыть от индексации. Разумеется, после того, как сайт будет доработан, запрет на индексирование надо снять, но об этом забывают.

    Пример 6 - как в robots txt закрыть от индексации файлы конкретного расширения (в данном случае - .gif):

    Звездочка перед.gif$ сообщает, что имя файла может быть любым, а знак $ сообщает о конце строки. Т.е. такая «маска» запрещает сканирование вообще всех GIF-файлов.

    Правило Allow в robots txt

    Правило Allow все делает с точностью до наоборот - разрешает индексирование файла/папки/страницы.

    И сразу же конкретный пример:

    Мы с вами уже знаем, что с помощью директивы Disallow: / мы можем закрыть сайт от индексации robots txt. В то же время у нас есть правило Allow: /catalog, которое разрешает сканирование папки /catalog. Поэтому комбинацию этих двух правил поисковые роботы будут воспринимать как «запрещено сканировать сайт, за исключением папки /catalog»

    Сортировка правил и директив Allow и Disallow производится по возрастанию длины префикса URL и применяется последовательно. Если для одной и той же страницы подходит несколько правил, то робот выбирает последнее подходящее из списка.

    Рассмотрим 2 ситуации с двумя правилами, которые противоречат друг другу - одно правило запрещает индексировать папки /content, а другое - разрешает.

    В данном случае будет приоритетнее директива Allow, т.к. оно находится ниже по списку:

    А вот здесь приоритетным является директива Disallow по тем же причинам (ниже по списку):

    User-agent в robots txt

    User-agent — правило, являющееся «обращением» к поисковому роботу, мол, «список рекомендаций специально для вас» (к слову, списков в robots.txt может быть несколько - для разных поисковых роботов от Google и Яндекс).

    Например, в данном случае мы говорим «Эй, Googlebot, иди сюда, тут для тебя специально подготовленный список рекомендаций», а он такой «ОК, специально для меня - значит специально для меня» и другие списки сканировать не будет.

    Правильный robots txt для Google (Googlebot)

    Примерно та же история и с поисковым ботом Яндекса. Забегая вперед, список рекомендаций для Яндекса почти в 100% случаев немного отличается от списка для других поисковых роботов (чем - расскажем чуть позже). Но суть та же: «Эй, Яндекс, для тебя отдельный список» - «ОК, сейчас изучим его».

    Т.е. если в одном и том же robots.txt есть 3 списка с User-agent: *, User-agent: Googlebot и User-agent: Yandex, это значит, первый является «одним для всех», за исключением Googlebot и Яндекс, т.к. для них есть «личные» списки.

    Sitemap

    Правило Sitemap - расположение файла с XML-картой сайта, в которой содержатся адреса всех страниц, являющихся обязательными к сканированию. Как правило, указывается адрес вида http://site.ua/sitemap.xml.

    Т.е. каждый раз поисковый робот будет просматривать карту сайта на предмет появления новых адресов, а затем переходить по ним для дальнейшего сканирования, дабы освежить информацию о сайте в базах данных поисковой системы.

    Правило Sitemap должно быть вписано в Robots.txt следующим образом:

    Директива Host

    Межсекционная директива Host в файле robots.txt так же является обязательной. Она необходима для поискового робота Яндекса - сообщает ему, какое из зеркал сайта нужно учитывать при индексировании. Именно поэтому для Яндекса формируется отдельный список правил, т.к. Google и остальные поисковые системы директиву Host не понимают. Поэтому если у вашего сайта есть копии или же сайт может открываться под разными URL адресами, то добавьте директиву host в файл robots txt, чтобы страницы сайта правильно индексировались.

    «Зеркалом сайта» принято называть либо точную, либо почти точную «копию» сайта, которая доступна по другому адресу.

    Адрес основного зеркала обязательно должно быть указано следующим образом:

    Для сайтов, работающих по http - Host: site.ua или Host: http://site.ua (т.е. http:// пишется по желанию)

    Для сайтов, работающих по https - Host: https://site.ua (т.е. https:// прописывается в обязательном порядке)

    Пример директивы host в robots txt для сайта на протоколе HTTPS:

    Crawl delay

    В отличие от предыдущих, параметр Crawl-delay уже не является обязательным. Основная его задача - подсказать поисковому роботу, в течение скольких секунд будут грузиться страницы. Обычно применяется в том случае, если Вы используете слабые сервера. Актуален только для Яндекса.

    Clean param

    С помощью директивы Clean-param можно бороться с get-параметрами, чтобы не происходило дублирование контента, т.к. один и тот же контент бывает доступен по разным динамическим ссылкам (это те, которые со знаками вопроса). Динамические ссылки могут генерироваться сайтом в том случае, когда используются различные сортировки, применяются идентификаторы сессий и т.д.

    Например, один и тот же контент может быть доступен по трем адресам:

    www.site.com/catalog/get_phone.ua?ref=page_1&phone_id=1

    www.site.com/catalog/get_phone.ua?ref=page_2&phone_id=1

    www.site.com/catalog/get_phone.ua?ref=page_3&phone_id=1

    В таком случае директива Clean-param оформляется вот так:

    Т.е. после двоеточия прописывается атрибут ref, указывающий на источник ссылки, и только потом указывается ее «хвост» (в данном случае - /catalog/get_phone.ua).

    Самые частые вопросы

    Как в robots.txt запретить индексацию?

    Для этих целей придумано правило Disallow: т.е. копируем ссылку на документ/файл, который нужно закрыть от индексации, вставляем ее после двоеточия:

    Disallow: http://your-site.xyz/privance.html

    Disallow: http://your-site.xyz/foord.doc

    Disallow: http://your-site.xyz/barcode.jpg

    А затем удаляете адрес домена (в данном случае удалить надо вот эту часть - http://your-site.xyz). После удаления у нас останется ровно то, что и должно остаться:

    Disallow: /privance.html

    Disallow: /foord.doc

    Disallow: /barcode.jpg

    Ну а если требуется закрыть от индексирования все файлы с определенным расширением, то правила будут выглядеть следующим образом:

    Disallow: /*.html

    Disallow: /*.doc

    Disallow: /*.jpg

    Как в robots.txt указать главное зеркало?

    Для этих целей придумана директива Host. Т.е. если адреса http://your-site.xyz и http://yoursite.com являются «зеркалами» одного и того же сайта, то одно из них необходимо указать в директиве Host. Пусть основным зеркалом будет http://your-site.xyz. В этом случае правильными вариантами будут следующие:

    Если сайт работает по https-протоколу, то нужно делать только так:

    User-agent: Yandex

    Disallow: /privance.html

    Disallow: /foord.doc

    Disallow: /barcode.jpg

    Host: https://your-site.xyz

    Если сайт работает по http-протоколу, то оба приведенных ниже варианта будут верными:

    User-agent: Yandex

    Disallow: /privance.html

    Disallow: /foord.doc

    Disallow: /barcode.jpg

    Host: http://your-site.xyz

    User-agent: Yandex

    Disallow: /privance.html

    Disallow: /foord.doc

    Disallow: /barcode.jpg

    Host: your-site.xyz

    Однако, следует помнить, директива Host является рекомендацией, а не правилом. Т.е. не исключено, что в Host будет указан один домен, а Яндекс посчитает за основное зеркало другой, если у него в панели вебмастера введены соответствующие настройки.

    Простейший пример правильного robots.txt

    В таком виде файл robots.txt можно разместить практически на любом сайте (с мельчайшими корректировками).

    Давайте теперь разберем, что тут есть.

    1. Здесь 2 списка правил - один «персонально» для Яндекса, другой - для всех остальных поисковых роботов.
    2. Правило Disallow: пустое, а значит никаких запретов на сканирование нет.
    3. В списке для Яндекса присутствует директива Host с указанием основного зеркала, а также, ссылка на карту сайта.

    НО… Это НЕ значит, что нужно оформлять robots.txt именно так. Правила должны быть прописаны строго индивидуально для каждого сайта. Например, нет смысла индексировать «технические» страницы (страницы ввода логина-пароля, либо тестовые страницы, на которых отрабатывается новый дизайн сайта, и т.д.). Правила, кстати, зависят еще и от используемой CMS.

    Закрытый от индексации сайт - как выглядит robots.txt?

    Даем сразу же готовый код, который позволит запретить индексацию сайта независимо от CMS:

    Как указать главное зеркало для сайта на https robots.txt?

    Очень просто:

    Host: https://your-site.xyz

    ВАЖНО!!! Для https-сайтов протокол должен указываться строго обязательно!

    Наиболее частые ошибки в robots.txt

    Специально для Вас мы приготовили подборку самых распространенных ошибок, допускаемых в robots.txt. Почти все эти ошибки объединяет одно - они допускаются по невнимательности.

    1. Перепутанные инструкции:

    Правильный вариант:

    2. В один Disallow вставляется куча папок:

    В такой записи робот может запутаться. Какую папку нельзя индексировать? Первую? Последнюю? Или все? Или как? Или что? Одна папка = одно правило Disallow и никак иначе.

    3. Название файла допускается только одно - robots.txt, причем все буквы маленькие. Имена Robots.txt, ROBOTS.TXT и т.п. не допускаются.

    4. Правило User-agent запрещено оставлять пустым. Либо указываем имя поискового робота (например, для Яндекса), либо ставим звездочку (для всех остальных).

    5. Мусор в файле (лишние слэши, звездочки и т.д.).

    6. Добавление в файл полных адресов скрываемых страниц, причем иногда даже без правила Disallow.

    Неправильно:

    http://mega-site.academy/serrot.html

    Тоже неправильно:

    Disallow: http://mega-site.academy/serrot.html

    Правильно:

    Disallow: /serrot.html

    Онлайн-проверка файла robots.txt

    Существует несколько способов проверки файла robots.txt на соответствие общепринятому в интернете стандарту.

    Способ 1. Зарегистрироваться в панелях веб-мастера Яндекс и Google. Единственный минус - придется покопаться, чтоб разобраться с функционалом. Далее вносятся рекомендованные изменения и готовый файл закачивается на хостинг.

    Способ 2. Воспользоваться онлайн-сервисами:

    Https://services.sl-team.ru/other/robots/

    Https://technicalseo.com/seo-tools/robots-txt/

    Http://tools.seochat.com/tools/robots-txt-validator/

    Итак, robots.txt сформирован. Осталось только проверить его на ошибки. Лучше всего использовать для этого инструменты, предлагаемые самими поисковыми системами.

    Google Вебмастерс (Search Console Google): заходим в аккаунт, если в нем сайт не подтвержден - подтверждаем, далее переходим на Сканирование -> Инструмент проверки файла robots.txt.

    Здесь можно:

    • моментально обнаружить все ошибки и потенциально возможные проблемы,
    • сразу же «на месте» внести поправки и проверить на ошибки еще раз (чтоб не перезагружать файл на сайт по 20 раз)
    • проверить правильность запретов и разрешений индексирования страниц.

    Является аналогом предыдущего, за исключением:

    • авторизация не обязательна;
    • подтверждение прав на сайт не обязательно;
    • доступна массовая проверка страниц на доступность;
    • можно убедиться, что все правила правильно восприняты Яндексом.

    Готовые решения для самых популярных CMS

    Правильный robots.txt для Wordpress

    Disallow: /cgi-bin # классика жанра

    Disallow: /? # любые параметры запроса на главной

    Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins

    Disallow: *?s= # поиск

    Disallow: *&s= # поиск

    Disallow: /search # поиск

    Disallow: *?attachment_id= # страница вложения. Вообще-то на ней редирект...

    Disallow: */feed # все фиды

    Disallow: */rss # rss фид

    Disallow: */embed # все встраивания

    Disallow: */page/ # все виды пагинации

    Allow: */uploads # открываем uploads

    Allow: /*/*.js # внутри /wp- (/*/ - для приоритета)

    Allow: /*/*.css # внутри /wp- (/*/ - для приоритета)

    Allow: /wp-*.png # картинки в плагинах, cache папке и т.д.

    Allow: /wp-*.jpg # картинки в плагинах, cache папке и т.д.

    Allow: /wp-*.jpeg # картинки в плагинах, cache папке и т.д.

    Allow: /wp-*.gif # картинки в плагинах, cache папке и т.д.

    Allow: /wp-*.svg # картинки в плагинах, cache папке и т.д.

    Allow: /wp-*.pdf # файлы в плагинах, cache папке и т.д.

    #Disallow: /wp/ # когда WP установлен в подкаталог wp

    Sitemap: http://site.ru/sitemap2.xml # еще один файл

    #Sitemap: http://site.ru/sitemap.xml.gz # сжатая версия (.gz)

    Host: www.site.ru # для Яндекса и Mail.RU. (межсекционная)

    # Версия кода: 1.0

    # Не забудьте поменять `site.ru` на ваш сайт.

    Давайте разберем код файла robots txt для WordPress CMS:

    Здесь мы указываем, что все правила актуальны для всех поисковых роботов (за исключением тех, для кого составлены «персональные» списки). Если список составляется для какого-то конкретного робота, то * меняется на имя робота:

    User-agent: Yandex

    User-agent: Googlebot

    Allow: */uploads

    Здесь мы осознанно даем добро на индексирование ссылок, в которых содержится /uploads. В данном случае это правило является обязательным, т.к. в движке WordPress есть директория /wp-content/uploads (в которой вполне могут содержаться картинки, либо другой «открытый» контент), индексирование которой запрещено правилом Disallow: /wp-. Поэтому с помощью Allow: */uploads мы делаем исключение из правила Disallow: /wp-.

    В остальном просто идут запреты на индексирование:

    Disallow: /cgi-bin - запрет на индексирование скриптов

    Disallow: /feed - запрет на сканирование RSS-фида

    Disallow: /trackback - запрет сканирования уведомлений

    Disallow: ?s= или Disallow: *?s= - запрет на индексирование страниц внутреннего поиска сайта

    Disallow: */page/ - запрет индексирования всех видов пагинации

    Правило Sitemap: http://site.ru/sitemap.xml указывает Яндекс-роботу путь к файлу с xml-картой. Путь должен быть прописан полностью. Если таких файлов несколько - прописываем несколько Sitemap-правил (1 файл = 1 правило).

    В строке Host: site.ru мы специально для Яндекса прописали основное зеркало сайта. Оно указывается для того, чтоб остальные зеркала индексировались одинаково. Пустая строка перед Host: является обязательной.

    Где находится robots txt WordPress вы все наверное знаете - так как и в другие CMS, данный файл должен находится в корневом каталоге сайта.

    Файл robots.txt для Joomla

    Joomla — почти самый популярный движок у вебмастеров, т.к. не смотря на широчайшие возможности и множества готовых решений, он поставляется бесплатно. Однако, штатный robots.txt всегда имеет смысл подправить, т.к. для индексирования открыто слишком много «мусора», но картинки закрыты (это плохо).

    Вот так выглядит правильный robots.txt для Joomla:

    Disallow: /administrator/

    Disallow: /cache/

    Disallow: /components/

    Disallow: /images/

    Disallow: /includes/

    Disallow: /installation/

    Disallow: /language/

    Disallow: /layouts/

    Disallow: /libraries/

    Disallow: /logs/

    Disallow: /media/

    Disallow: /modules/

    Disallow: /plugins/

    Disallow: /templates/

    robots.txt Wix

    Платформа Wix автоматически генерирует файлы robots.txt персонально для каждого сайта Wix. Т.е. к Вашему домену добавляете /robots.txt (например: www.domain.com/robots.txt) и можете спокойно изучить содержимое файла robots.txt, находящегося на Вашем сайте.

    Отредактировать robots.txt нельзя. Однако с помощью noindex можно закрыть какие-то конкретные страницы от индексирования.

    robots.txt для Opencart

    Стандартный файл robots.txt для OpenCart:

    Disallow: /*route=account/

    Disallow: /*route=affiliate/

    Disallow: /*route=checkout/

    Disallow: /admin

    Disallow: /catalog

    Disallow: /download

    Disallow: /export

    Disallow: /system

    Disallow: /*?sort=

    Disallow: /*&sort=

    Disallow: /*?order=

    Disallow: /*&order=

    Disallow: /*?limit=

    Disallow: /*&limit=

    Disallow: /*?filter_name=

    Disallow: /*&filter_name=

    Disallow: /*?filter_sub_category=

    Disallow: /*&filter_sub_category=

    Disallow: /*?filter_description=

    Disallow: /*&filter_description=

    Disallow: /*?tracking=

    Disallow: /*&tracking=

    Disallow: /*?page=

    Disallow: /*&page=

    Disallow: /wishlist

    Disallow: /login

    User-agent: Yandex

    Disallow: /*route=account/

    Disallow: /*route=affiliate/

    Disallow: /*route=checkout/

    Disallow: /*route=product/search

    Disallow: /index.php?route=product/product*&manufacturer_id=

    Disallow: /admin

    Disallow: /catalog

    Disallow: /download

    Disallow: /export

    Disallow: /system

    Disallow: /*?sort=

    Disallow: /*&sort=

    Disallow: /*?order=

    Disallow: /*&order=

    Disallow: /*?limit=

    Disallow: /*&limit=

    Disallow: /*?tracking=

    Disallow: /*&tracking=

    Disallow: /*route=product/search

    Disallow: /*?page=

    Disallow: /*&page=

    Clean-param: tracking

    Clean-param: filter_name

    Clean-param: filter_sub_category

    Clean-param: filter_description

    Disallow: /wishlist

    Disallow: /login

    Disallow: /index.php?route=product/manufacturer

    Disallow: /index.php?route=product/compare

    Disallow: /index.php?route=product/category

    Host: Vash_domen

    Sitemap: http://Vash_domen/sitemap.xml

    robots.txt для Битрикс (Bitrix)

    1. Папки /bitrix и /cgi-bin должны быть закрыты, т.к. это чисто технический «хлам», который незачем светить в поисковой выдаче.

    Disallow: /bitrix

    Disallow: /cgi-bin

    2. Папка /search тоже не представляет интереса ни для пользователей, ни для поисковых систем. Да и образование дублей никому не нужно. Поэтому тоже ее закрываем.

    Disallow: /search

    Disallow: /auth/

    Disallow: /auth.php

    4. Материалы для печати (например, счета на оплату) тоже нет смысла светить в поисковой выдаче. Закрываем.

    Disallow: /*?print=

    Disallow: /*&print=

    5. Один из жирных плюсов «Битрикса» в том, что он фиксирует всю историю сайта - кто когда залогинился, кто когда сменил пароль, и прочую конфиденциальную информацию, утечка которой не допустима. Поэтому закрываем:

    Disallow: /*register=yes

    Disallow: /*forgot_password=yes

    Disallow: /*change_password=yes

    Disallow: /*login=yes

    Disallow: /*logout=yes

    Disallow: /*auth=yes

    6. Back-адреса тоже нет смысла индексировать. Эти адреса могут образовываться, например, при просмотре фотоальбома, когда Вы сначала листаете его «вперед», а потом - «назад». В эти моменты в адресной строке вполне может появиться что-то типа матерного ругательства: ?back_url_ =%2Fbitrix%2F%2F. Ценность таких адресов равна нулю, поэтому их тоже закрываем от индексирования. Ну а в качестве бонуса - избавляемся от потенциальных «дублей» в поисковой выдаче.

    Disallow: /*BACKURL=*

    Disallow: /*back_url=*

    Disallow: /*BACK_URL=*

    Disallow: /*back_url_admin=*

    7. Папку /upload необходимо закрывать строго по обстоятельствам. Если там хранятся фотографии и видеоматериалы, размещенные на страницах, то ее скрывать не нужно, чтоб не срезать дополнительный трафик. Ну а если что-то конфиденциальное - однозначно закрываем:

    Disallow: /upload

    Готовый файл robots.txt для Битрикс:

    Allow: /search/map.php

    Allow: /bitrix/templates/

    Disallow: */index.php

    Disallow: /*action=

    Disallow: /*print=

    Disallow: /*/gallery/*order=

    Disallow: /*/search/

    Disallow: /*/slide_show/

    Disallow: /*?utm_source=

    Disallow: /*ADD_TO_COMPARE_LIST

    Disallow: /*arrFilter=

    Disallow: /*auth=

    Disallow: /*back_url_admin=

    Disallow: /*BACK_URL=

    Disallow: /*back_url=

    Disallow: /*backurl=

    Disallow: /*bitrix_*=

    Disallow: /*bitrix_include_areas=

    Disallow: /*building_directory=

    Disallow: /*bxajaxid=

    Disallow: /*change_password=

    Disallow: /*clear_cache_session=

    Disallow: /*clear_cache=

    Disallow: /*count=

    Disallow: /*COURSE_ID=

    Disallow: /*forgot_password=

    Disallow: /*index.php$

    Disallow: /*login=

    Disallow: /*logout=

    Disallow: /*modern-repair/$

    Disallow: /*MUL_MODE=

    Disallow: /*ORDER_BY

    Disallow: /*PAGE_NAME=

    Disallow: /*PAGE_NAME=detail_slide_show

    Disallow: /*PAGE_NAME=search

    Disallow: /*PAGE_NAME=user_post

    Disallow: /*PAGEN_

    Disallow: /*print_course=

    Disallow: /*print=

    Disallow: /*register=

    Disallow: /*register=yes

    Disallow: /*set_filter=

    Disallow: /*show_all=

    Disallow: /*show_include_exec_time=

    Disallow: /*show_page_exec_time=

    Disallow: /*show_sql_stat=

    Disallow: /*SHOWALL_

    Disallow: /*sort=

    Disallow: /*sphrase_id=

    Disallow: /*tags=

    Disallow: /access.log

    Disallow: /admin

    Disallow: /auth.php

    Disallow: /bitrix

    Disallow: /bitrix/

    Disallow: /cgi-bin

    Disallow: /club/$

    Disallow: /club/forum/search/

    Disallow: /club/gallery/tags/

    Disallow: /club/group/search/

    Disallow: /club/log/

    Disallow: /club/messages/

    Disallow: /club/search/

    Disallow: /communication/blog/search.php

    Disallow: /communication/forum/search/

    Disallow: /communication/forum/user/

    Disallow: /content/board/my/

    Disallow: /content/links/my/

    Disallow: /error

    Disallow: /e-store/affiliates/

    Disallow: /e-store/paid/detail.php

    Disallow: /examples/download/download_private/

    Disallow: /examples/my-components/

    Disallow: /include

    Disallow: /personal

    Disallow: /search

    Disallow: /upload

    Disallow: /*/*ELEMENT_CODE=

    Disallow: /*/*SECTION_CODE=

    Disallow: /*/*IBLOCK_CODE

    Disallow: /*/*ELEMENT_ID=

    Disallow: /*/*SECTION_ID=

    Disallow: /*/*IBLOCK_ID=

    Disallow: /*/*CODE=

    Disallow: /*/*ID=

    Disallow: /*/*IBLOCK_EXTERNAL_ID=

    Disallow: /*/*SECTION_CODE_PATH=

    Disallow: /*/*EXTERNAL_ID=

    Disallow: /*/*IBLOCK_TYPE_ID=

    Disallow: /*/*SITE_DIR=

    Disallow: /*/*SERVER_NAME=

    Sitemap: http://site.ru/sitemap_index.xml

    Sitemap: http://site.ru/sitemap.xml

    robots.txt для Modx и Modx Revo

    CMS Modx Revo тоже не лишена проблемы дублей. Однако, она не так сильно обострена, как в Битриксе. Теперь о ее решении.

    1. Включаем ЧПУ в настройках сайта.
    2. закрываем от индексации:

    Disallow: /index.php # т.к. это дубль главной страницы сайта

    Disallow: /*? # разом решаем проблему с дублями для всех страниц

    Готовый файл robots.txt для Modx и Modx Revo:

    Disallow: /*?id=

    Disallow: /assets

    Disallow: /assets/cache

    Disallow: /assets/components

    Disallow: /assets/docs

    Disallow: /assets/export

    Disallow: /assets/import

    Disallow: /assets/modules

    Disallow: /assets/plugins

    Disallow: /assets/snippets

    Disallow: /connectors

    Disallow: /index.php

    Disallow: /install

    Disallow: /manager

    Disallow: /profile

    Disallow: /search

    Sitemap: http://site.ru/sitemap.xml

    Выводы

    Без преувеличения файл robots.txt можно назвать «поводырём для поисковых роботов Яндекс и Гугл» (разумеется, если он составлен правильно). Если файл robots txt отсутствует, то его нужно обязательно создать и загрузить на хостинг Вашего сайта. Справка Disallow правил описаны выше в этой статьей и вы можете смело их использоваться в своих целях.

    Еще раз резюмируем правила/директивы/инструкции для robots.txt:

    1. User-agent — указывает, для какого именно поискового робота создан список правил.
    2. Disallow - «рекомендую вот это не индексировать».
    3. Sitemap - указывает расположение XML-карты сайта со всеми URL, которые нужно проиндексировать. В большинстве случаев карта расположена по адресу http://[ваш_сайт]/sitemap.xml.
    4. Crawl-delay — директива, указывающая период (в секундах), через который будет загружена страница сайта.
    5. Host - показывает Яндексу основное зеркало сайта.
    6. Allow - «рекомендую вот это проиндексировать, не смотря на то, что это противоречит одному из Disallow-правил».
    7. Clean-param - помогает в борьбе с get-параметрами, применяется для снижения рисков образования страниц-дублей.

    Знаки при составлении robots.txt:

    1. Знак «$» для «звездочки» является «ограничителем».
    2. После слэша «/» указывается наименование файла/папки/расширения, которую нужно скрыть (в случае с Disallow) или открыть (в случае с Allow) для индексирования.
    3. Знаком «*» обозначается «любое количество любых символов».
    4. Знаком «#» отделяются какие-либо комментарии или примечания, оставленные вэб-мастером для себя, либо для кого-то другого. Поисковые роботы их не читают.
    Похожие статьи
     
    Категории
    Видеоматериалы
    Популярное
    Новое