Русская компания «Яндекс» запустила новый метод поиска, основанный на искусственных нейронных сетях.
«Палех» использует поисковую модель на нейронных сетях, способную устанавливать смысловые соотношения между поисковым запросом и заголовками веб-страниц. При разработке поискового алгоритма компания использовала систему так называемых «семантических векторов», позволяющую находить ответы на сложные запросы, по которым имеется очень не достаточно пользовательской статистики. Например, одна из них — запросы от детей, которые пока не освоили язык общения с поиском и часто обращаются к нему как к живому собеседнику: [дорогой яндекс посоветуй пожалуйста новые интересные игры про фей для плантика]. Как правило это однотипные запросы типа «ВКонтакте», «погода» — они вводятся каждую секунду. По утверждению уполномоченных компании, ежедневно поисковик получает около 100 млн таковых запросов — это практически треть всех запросов «Яндекса». В пресс-центре пояснили, что это могут быть, например, запросы детей, обращающихся к поиску как к живому собеседнику, либо запросы людей, пытающихся найти название фильма либо книги по запомнившемуся отрывку. Новому алгоритму приняли решение дать название «Палех» в честь Жар-птицы — фантастической птицы с длинным хвостом, которая часто появляется в сюжетах палехской миниатюры.
Если для обычных запросов, которые повторяются не один раз, уже есть пользовательская статистика, то с редкими вопросами таковых данных о поведении юзера нет, пояснили в компании. Если слова из запроса есть на веб-странице, то она, вероятно, будет интересна пользователю.
Для решения данной задачи профессионалы компании использовали семантические векторы, которые уже применяются в поиске изображений.
Тестирование нового алгоритма началось несколько месяцев назад. На их основе также построены модели, отвечающие за распознавание речи.