Компания "Яндекс" запустила новый алгоритм для своего поисковика, который основывается на нейросети.
"Яндекс запустил новую версию поиска. В её основе лежит поисковый алгоритм "Королёв". Алгоритм с помощью нейронной сети сопоставляет смысл запросов и веб-страниц - это позволяет Яндексу точнее отвечать на сложные запросы. Для обучения новой версии поиска используются поисковая статистика и оценки миллионов людей. Таким образом, вклад в развитие поиска вносят не только разработчики, но и все пользователи Яндекса", - сказано в
Зарегистрируйтесь или авторизуйтесь для просмотра ссылок!
Особенность алгоритма заключается в том, что он сопоставляет запрос и веб-страницу не по словам, а по смыслу. Алгоритм способен "понимать" смысл поискового запроса пользователя, он обращает внимание на другие запросы, по которым люди приходят на эту страницу, что позволяет устанавливать дополнительные смысловые связи.
Системы сбора статистики алгоритма учитывают, на какие страницы пользователи переходят и сколько времени они там проводят.
Как работает алгоритм «Королёв»
Поисковый алгоритм «Королёв» сравнивает семантические векторы поисковых запросов и веб-страниц целиком - а не только их заголовков. Это позволяет выйти на новый уровень понимания смысла. Представьте, что вы впервые услышали о романе Льва Толстого «Война и мир». Безусловно, вы сможете извлечь смысл из названия - например предположить, что в книге много батальных сцен. Но чтобы узнать все хитросплетения сюжета и давать исчерпывающие ответы на вопросы о романе, вам потребуется прочитать его полностью.
Подробнее о том, как устроена нейронная сеть «Королёва» и чем она отличается от нейронной сети «Палеха», читайте в нашем блоге на «
Ссылки могут видеть только зарегистрированные пользователи. Зарегистрируйтесь или авторизуйтесь для просмотра ссылок!
»Как и в случае с «Палехом», тексты веб-страниц в семантические векторы преобразует нейросеть. Эта операция требует много вычислительных ресурсов. Сравните: на то, чтобы прочитать название книги, у вас уйдут считанные секунды, но на то, чтобы прочитать её всю от корки до корки, потребуются часы, дни или даже недели. Поэтому «Королёв» высчитывает векторы страниц не в режиме реального времени, а заранее, на этапе индексирования. Когда человек задаёт запрос, алгоритм сравнивает вектор запроса с уже известными ему векторами страниц.
Эффект «Королёва»
Умение понимать смысл особенно полезно при обработке редких и необычных запросов - когда люди пытаются описать своими словами свойства того или иного объекта и ожидают, что поиск подскажет его название: [
Ссылки могут видеть только зарегистрированные пользователи. Зарегистрируйтесь или авторизуйтесь для просмотра ссылок!
Ссылки могут видеть только зарегистрированные пользователи. Зарегистрируйтесь или авторизуйтесь для просмотра ссылок!
].Такая схема позволяет начать подбор веб-страниц, соответствующих запросу по смыслу, на ранних стадиях ранжирования. В «Палехе» смысловой анализ - один из завершающих этапов: через него проходят всего 150 документов. В «Королёве» он производится для 200 тысяч документов - то есть в тысячу с лишним раз больше. Кроме того, новый алгоритм не только сравнивает текст веб-страницы с поисковым запросом, но и обращает внимание на другие запросы, по которым люди приходят на эту страницу. Так можно установить дополнительные смысловые связи.
Люди учат машины
Мы верим, что использование машинного обучения, а особенно нейросетей, рано или поздно позволит научить поиск оперировать смыслами на уровне человека. Но без помощи людей тут не обойтись. Чтобы машина поняла, как решать ту или иную задачу, необходимо показать ей огромное количество примеров: положительных и отрицательных. Такие примеры дают пользователи Яндекса.
Нейронная сеть, которую использует алгоритм «Королёв», обучается на обезличенной поисковой статистике. Системы сбора статистики учитывают, на какие страницы пользователи переходят по тем или иным запросам и сколько времени они там проводят. Если человек открыл веб-страницу и «завис» там надолго, вероятно, он нашёл то, что искал, - то есть страница хорошо отвечает на его запрос. Это положительный пример. Подобрать отрицательные примеры гораздо легче: достаточно взять запрос и любую случайную веб-страницу.
Статистика, которая используется для обучения алгоритма, обезличена
В помощи людей нуждается и Матрикснет, который строит формулу ранжирования. Чтобы поиск развивался, люди должны постоянно давать оценку его работе. Когда-то выставлением оценок занимались только сотрудники Яндекса - так называемые асессоры. Но чем больше оценок, тем лучше - поэтому мы решили привлечь к этому всех желающих и запустили сервис
Ссылки могут видеть только зарегистрированные пользователи. Зарегистрируйтесь или авторизуйтесь для просмотра ссылок!
Сейчас там зарегистрировано более миллиона пользователей: они анализируют качество поиска и участвуют в улучшении других сервисов Яндекса. Задания на Толоке оплачиваются - сумма, которую можно заработать, указана рядом с заданием. За два с лишним года существования сервиса толокеры дали около двух миллиардов оценок.
В основе современного поиска лежат сложные алгоритмы. Алгоритмы придумывают разработчики, а учат - миллионы пользователей Яндекса. Любой запрос - это анонимный сигнал, который помогает машине всё лучше понимать людей. Поэтому мы не ошибёмся, если скажем: новый поиск - это поиск, который мы сделали вместе.
Вчера Яндекс на своей презентации официально объявил о запуске нового алгоритма «Королёв».
Рассказываю как это происходило и что нового дал нам новый алгоритм Яндекса.
Вот самая трансляция данной презентации:
Я не буду мусолить весь этот пафос который был не презентации и скажу суть:
- Алгоритм «Королёв» запустили не вчера, а эдак 2-6 месяцев назад . Я думаю всем понятно, чтобы вот взять и запустить за секунду новый алгоритм невозможно.
Т.е. новый алгоритм Яндекса действует давно, просто всё это время шло его тестирование и отладка.
2. Это вовсе не новый алгоритм. Вовсе нет. Это алгоритм Палех в котором просто сделали возможность сравнения не 150, а 2000 результатов.
Ну, а а конкретно о различии Королёва и Палеха нам официально всё разъяснил сотрудник Яндекса:
По сути ничего не поменялось. Был просто пафос Яндекса и больше ничего.
Если говорить честно, то никакого нового алгоритма нет. Просто нет и всё. Даже поиск по органике остался прежним.
Если был бы внедрён новый алгоритм, но мы бы увидели колебания по трафику. Но этих колебаний нет.
Да, впринципе и искать то нечего.
Вот так выглядит в настоящее время выдача Яндекса:
А что собственно вы ищите своим поиском?!
Сверху 4 позиции Директа + 5-я позиция Маркет, потом 4 позиции Директа снизу, справа Яндекс.Маркет + Яндекс.Баян.
Что то тут искать?
Какой к хуям алгоритм ранжирования сайтов? Что тут ранжировать?
Я даже нарисовал новый логотип Яндекса:
А Королёв тут причём? Вам до Королёва как до Луны. Подмазались под великого человека.
Я вообще не понимаю, что произошло. Было обычный пафос Яндекса и всё. Никакого глобального изменения в алгоритме ранжирования сайтов нет.
Теперь пройдёмся по самой презентации этого алгоритма.
За месяц до презентации Яндекс объявил, что вы можете подать заявку, чтобы вживую в планетарии посмотреть эту презентацию.
Я лично заполнял заявку. Да и много кто заполнял. И всем нам пришёл отказ.
Всё на самом деле оказалось проще:
Просто собрали своих сотрудников, родственников, знакомых, подруг и знакомых своих знакомых.
Зачем вообще мы подавали на что то заявки?! Ну теперь понятно кого вы набираете на работу в Яндекс.
Но по видимому набрали слишком много знакомых и многие из них тупо спали:
Ебала, я все ваши алгоритмы, я спать хочу….
Вот это человек пришёл на место Саши Садовского:
МОСКВА, 23 августа. /ТАСС/. Новый поиск "Яндекса", основанный на понимании смысла запроса, заставит владельцев сайтов внимательнее следить за качеством контента и сократит возможности для накрутки посещаемости. Об этом ТАСС в среду заявили эксперты интернет-отрасли.
"Сейчас можно лишь с уверенностью сказать, что новый алгоритм не только позволит существенно улучшить скорость и качество поиска, но и заставит владельцев сайтов более внимательно относится к контенту", - считает директор Российской ассоциации электронных коммуникаций Сергей Плуготаренко.
"И делать его (контент - прим. ТАСС) максимально "честным", избегать любых возможных "накруточных" механизмов, серых и черных схем, поскольку, чем выше будет качество контента и его релевантность действительной ситуации, - к примеру, с предлагаемыми на сайте товарами или услугами, - тем больше шансов у сайта оказаться в первых строках поисковой выдачи", - отметил он.
Эксперт уверен, что новый поиск "однозначно плохо" скажется на компаниях, занимающихся накруткой посещаемости сайтов. "И это - однозначно хорошо", - подчеркнул Плуготаренко.
Руководитель продуктов для бизнеса Rambler&Co Леонид Черный считает, что переход к семантическому поиску - это логичный и закономерный шаг для компании, от которого выиграет вся интернет-индустрия, поскольку новый поиск приведет к росту трафика на ресурсах с достаточным количеством необходимой пользователю информации.
"Сейчас кажется, что переход к анализу содержимого страниц может радикально сказаться на рынке поисковой оптимизации, или SEO. Но еще рано делать прогнозы о том, надолго ли и насколько заметным будет это влияние. Но в выигрыше должны оказаться владельцы ресурсов с большим количеством разнообразного уникального контента", - сказал Черный.
Национальный герой
Плуготаренко подчеркнул, что запуск нового поиска - очень значимое событие для всего Рунета.
"Значимость очевидно велика, так как не просто позволяет российским IT-лидерам идти в ногу с международными, но и делает заявку на то, что в Рунете ставятся эксперименты, целью которых может стать занятие лидирующих позиций на рынке инноваций и технологий", - считает эксперт.
"Я хотел бы акцентировать внимание на важности каждого успеха "Яндекс" для страны в целом. Только вдумайтесь - на всем Земном шаре число локальных поисковиков, имеющих существенную долю поиска, можно пересчитать по пальцам, то есть "Яндекс" - это в некой мере наш национальный герой и претендент на мировую долю рынка поиска. Это очень важно. Начиная от патриотических чувств, заканчивая рассуждениями на тему стратегии информационной безопасности", - сказал генеральный директор digital агентства "КупиСлова.ру" Дмитрий Вишневецкий.
Он также согласен, что новый поиск негативно скажется на ресурсах, которые продвигаются за счет "манипуляций заголовков документов и ключевых слов". Однако, по мнению, Вишневецкого, новация никак не отразится на рынке SEO.
"Те, кто в тренде, все так же продолжают заниматься кластеризацией и внедрением. А те, кто живет вчерашним поиском дублей и другими базисными, но устаревшими технологиями, все так же продолжают оставаться в вчерашнем дне. То есть, по сути, на рынок не повлияет никак. Хотя есть собственное предположение, что можно в первые месяцы, дополучить на 30% дополнительного трафика по информационным сайтам", - считает эксперт.
Вырастет ли "Яндекс"
Несмотря на положительные отзывы о новом поиске, ряд экспертов замечают, что лежащая в его основе технология не является новинкой. Так, компания Google еще в 2013 году создала алгоритмы современной лингвистики Word2Vec.
"Сами подходы известны, они рабочие, современные поисковые системы последовательно внедряют нейронные сети в свои движки и поисковик Mail.ru в этом плане не исключение. Мы давно и глубоко изучаем возможности машинного обучения для улучшения качества не только поиска, но и других наших продуктов. Это действительно положительно сказывается на качестве поиска, которое в конечном счете приводит к его улучшению для пользователя", - сказал руководитель проекта Поиск Mail.Ru Андрей Калинин.
В то же время с запуском нового поиска связывают надежды на усиление позиций "Яндекса" в Рунете.
"Поиск по смыслу - звучит хорошо и заявка хорошая. Однако это скорее то, что "Яндекс" и должен был сделать. Большее впечатление производит масштаб применения технологий для такого крупного проекта как поиск скорее, чем сами технологии... Если говорить о применении, то интересно будет посмотреть заметим ли мы с вами улучшение и без того высокого качества поиска. И вернет ли это к росту долю "Яндекса" в этом ключевом для него сегменте", - отметил коммерческий директор Brand Analytics Василий Черный.
Новый поиск
Представленная во вторник вечером "Яндексом" новая версия поиска основывается на сопоставлении смысла запроса и веб-страницы. Новинка работает на алгоритме "Королев", который сравнивает семантические векторы поисковых запросов и веб-страниц полностью, а не только их заголовков.
"Яндекс" является крупнейшей поисковой системой в России. Доля компании на российском поисковом рынке (включая поиск на мобильных устройствах) во втором квартале 2017 года составила в среднем 54,3%, в первом квартале этого года - 54,7% (по данным аналитического сервиса "Яндекс.Радар").
По данным Liveinternet.ru, в июне этого года поисковая доля "Яндекса" составила 51,3%.
Нейросеть анализирует не только заголовок, а всю страницу целиком, при этом поисковик определяет ее суть еще на этапе индексирования
МОСКВА, 22 августа. /ТАСС/. «Яндекс» запустил новую версию поиска, в основе которой лежит сопоставление смысла запроса и веб-страницы, сообщила компания. Новая версия работает на алгоритме «Королев», который с помощью нейронной сети определяет, что именно нужно пользователю. Нейросеть анализирует не только заголовок, а всю страницу целиком, при этом «Яндекс» определяет суть страницы заранее, на этапе индексирования.
Другая особенность «Королева» заключается в том, что он учитывает еще и смысл других запросов, по которым люди на нее переходят. «Чтобы нейронная сеть могла оценить смысловую близость запроса и документа, ей нужно огромное количество примеров. Такие примеры дает обезличенная поисковая статистика: на какие сайты люди переходят по запросам и сколько времени там проводят. Так, если человек перешел на страницу и просматривал ее какое-то время, скорее всего, она близка по смыслу запросу. Используя поисковую статистику миллионов людей, „Яндекс“ учится понимать смысловые связи. Например, он поймет, что в запросе „картина где небо закручивается“, речь идет о картине Ван Гога, а в запросе „ленивая кошка из монголии“ - о мануле», - говорится в пресс-релизе компании.
В прошлом году «Яндекс» уже запускал систему, работающую на основе нейросетей - «Палех». Прежняя система индексировала 150 страниц, в «Королеве» количество страниц, которые поиск сравнивает по смыслу с запросом, выросло до 200 тыс.
Новый алгоритм был назван в честь основоположника отечественной космонавтики Сергея Королева.
«А сегодня мы запускаем новый алгоритм ранжирования „Королев“. Почему мы выбрали такое название? Сергей Павлович Королев осуществил мечту человечества о полетах в космос. Для нас в „Яндексе“ сегодняшний запуск является таким же важным технологическим прорывом к мечте о поиске, который понимает пользователей», - сказал на презентации новой версии поиска руководитель службы релевантности лингвистики «Яндекса» Александр Сафронов.
Помощь зала
Для обучения поисковой системы нужны оценки качества ответов. Раньше «Яндекс» оценивал качество поиска с помощью своих оценщиков. В новом поиске будут учитываться оценки, которые будут выставлять пользователи сервиса «Яндекс.Толока» - распределенной сети оценщиков. Сервис позволяет любому выполнять задания и получать за них вознаграждения, на данным момент в нем зарегистрировано более миллиона пользователей. На платформе может зарегистрироваться любой желающий.
«Яндекс» является крупнейшей поисковой системой в России. Доля компании на российском поисковом рынке (включая поиск на мобильных устройствах) во втором квартале 2017 года составила в среднем 54,3%, в первом квартале этого года - 54,7% (по данным аналитического сервиса «Яндекс.Радар»). По данным Liveinternet.ru, в июне этого года поисковая доля «Яндекса» составила 51,3%.
Представляем вам новую версию Яндекс.Браузера. Наиболее интересные изменения в этой версии:
- поиск по странице научился понимать морфологию русского языка - насколько нам известно, это первый браузер, который такой поиск поддерживает;
- появились жесты для управления навигацией в браузере;
- проводится эксперимент с объединением омнибокса и поисковой строки на странице поискового сервиса;
- для закладок теперь можно включить отображение фавиконок.
Поиск по странице с учетом морфологии
Яндекс с 1997 года специализируется на понимании ваших поисковых запросов. Важную роль в этом играют наши алгоритмы , которые позволяют анализировать и учитывать для качественной поисковой выдачи морфологию русского языка. Было бы странно не использовать наши достижения в области морфологии в других продуктах. Возможно, вы уже слышали про программу Mystem , а теперь они нашли применение в Яндекс.Браузере.В любой современный браузер встроен поиск на странице. Все они умеют искать лишь по точному посимвольному вхождению запроса в тексте. Но зачастую пользователи не помнят (или не знают) точной формы слова или фразы, которые они ищут. Яндекс.Браузер первым приступил к решению этой проблемы и совместно с командой Поиска представляет первую версию поиска информации на странице с учетом морфологии русского языка .
Предположим, что вы ищете слово «пользователя», но забыли его точную форму и поэтому в поле поиска по странице вводите запрос [пользователей]. Если в других браузерах искомый запрос не будет найден, то обновленный поиск в Яндекс.Браузере найдет и покажет нужное слово.
Еще интереснее ситуация, когда вы ищете фразу из нескольких слов. В этом случае мы ищем все введенные слова, а также все слова, найденные по точному вхождению. При этом они могут быть в любом порядке или даже на расстоянии нескольких слов друг от друга.
Разумеется, вы можете искать и только точные соответствия вашему запросу. Для этого достаточно поставить галочку «Точное совпадение».
Как это работает? Яндекс.Браузер использует специальный модуль, который анализирует морфологию текста на странице. Работа эта идет локально, без использования сети, при этом сам модуль весит около мегабайта. Это лишь первая версия нашего морфологического движка, но уже в нем мы научились с определенной вероятностью находить схожие слова без использования словаря. В будущих версиях мы планируем повысить качество анализа и точность выявления слов с общей нормальной формой.
Жесты
Возможность управлять браузером при помощи жестов мыши известна достаточно давно. В одних браузерах это реализуется с помощью расширений, в других - встроено изначально. Начиная с этой версии Яндекс.Браузер поддерживает жесты «из коробки». Теперь такие часто выполняемые действия, как «вперед», «назад», открытие, закрытие, перезагрузка или восстановление вкладок, можно совершать быстрее.
При желании вы можете отключить жесты в настройках. Описание всех доступных жестов можно найти в справке .
Поисковость
Посетители нашего стенда на YaC 2013 уже могли заметить, что в тестовой версии Яндекс.Браузера на странице с поисковой выдачей Яндекса поисковая строка объединена с адресной. Как следствие, увеличился объем полезной информации на странице. В новой версии Браузера это реализовано в виде эксперимента (cейчас только под Windows), чтобы оценить, насколько удобно это будет для пользователя.По умолчанию эта возможность отключена. Для того чтобы ее подключить, необходимо запустить Браузер с параметром:
- --toolbar-experiment=1 , чтобы включить белую шапку на поисковой выдаче Яндекса;
- --toolbar-experiment=2 , чтобы включить серую шапку на поисковой выдаче Яндекса.
Новый способ нумерации версий
Несколько слов о новом способе нумерации версий. Теперь номер содержит год и месяц выхода обновления: например, 13.10 означает, что версия вышла в октябре 2013 года. Подобный способ уже знаком многим по операционной системе Ubuntu. Это позволяет нам уйти от простого увеличения первого числа в номере версии в начале каждого цикла разработки (подобный способ нумерации принят у браузеров Chrome, Firefox, Opera). Кроме того, такой способ позволяет отказаться от субъективной оценки «значимости» обновления (как мы делали раньше).И еще один бонус. Теперь можно включить отображение фавиконок на панели закладок. Нас об этом просили многие пользователи, и мы решили вернуть такую возможность.
Яндекс.Браузер постепенно обновится у всех пользователей, но если вы хотите скачать обновление уже сейчас, то зайдите на страницу «О браузере Yandex» в меню браузера и нажмите на кнопку «Обновить» (уже очень скоро появится у всех). Скачать также можно с
