Алгоритм Яндекса «Королёв»: новая эра интеллектуального поиска

Краткий исторический контекст

До появления «Королёва» в Яндексе уже был внедрён алгоритм «Палех» — первый нейросетевой механизм, позволявший искать не по совпадению слов, а по смыслу. Он научился сопоставлять короткие текстовые запросы с заголовками документов, даже если слова не совпадали напрямую. Однако у «Палеха» были ограничения: он оперировал только заголовками и не учитывал всю полноту документа. Кроме того, он использовал сравнительно небольшой объём данных.

«Королёв» стал развитием этих идей, но шагнул гораздо дальше — как по глубине анализа, так и по масштабу данных.

Что такое «Королёв» и в чём его суть

Алгоритм «Королёв», запущенный Яндексом в 2017 году, — это мощная нейросетевая модель, обученная на больших массивах поисковых данных, включая не только заголовки, но и полные тексты документов, а также поведение пользователей (например, на что они чаще кликают в выдаче).

Главные особенности алгоритма:

1. Семантический поиск
   «Королёв» способен понимать не просто слова, а контекст и значение запроса. Он сопоставляет их с содержимым документов, даже если словесное совпадение минимально.
2. Глубокое обучение
   Алгоритм построен на основе глубоких нейронных сетей, обученных на огромном количестве пар «запрос – документ», где известна успешность взаимодействия (например, клики, время на странице).
3. Двунаправленный анализ
   «Королёв» не просто подбирает документы к запросу, он также анализирует, какие запросы подходят к определённым страницам, что позволяет лучше понимать содержание сайта.
4. Онлайн-обновление
   Алгоритм постоянно дообучается на свежих данных, что позволяет учитывать новые тренды, запросы и поведение пользователей в режиме почти реального времени.

Как работает алгоритм на практике

Представим, что пользователь вводит запрос «как ухаживать за фикусом». Ранее поисковик искал бы страницы, содержащие эти конкретные слова. Но что если хороший текст называется «Секреты ухода за домашними растениями» и не содержит слово «фикус» в заголовке?

С «Королёвым» всё иначе. Алгоритм способен:

• Понять, что фикус — это растение, и отнести его к категории комнатных цветов.
• Выделить важные параметры запроса: уход, условия, советы.
• Проанализировать тексты документов, даже если в них не встречается точный запрос.
• Определить, какие страницы уже ранее помогали другим пользователям с похожими задачами.
• Сформировать выдачу, где на первом месте окажется реально полезный материал, даже если он не содержит вхождения всех ключевых слов.