«Яндекс» продолжает активное внедрение генеративного ИИ в собственные продукты. Теперь компания вводит в свои сервисы рекомендательные системы на основе генеративных моделей, узнал Forbes. Помимо «Яндекс Музыки», их уже успешно интегрировал «Маркет», а в перспективе их получат все сервисы «Яндекса», где есть такие алгоритмы, — в частности, «Кинопоиск» и «Лавка». В компании уверены, что это повысит качество персональных рекомендаций и, соответственно, увеличит использование. По словам экспертов, исследователям «Яндекса» удалось реализовать технически очень сложную задачу, которая под силу только нескольким компаниям в мире вроде Google, Netflix или LinkedIn
Совет да любовь
Исследователи «Яндекса» разработали рекомендации на основе генеративных моделей, компания будет внедрять их в свои продукты, узнал Forbes. Пользователи различных сервисов компании будут экономить больше времени на поиске контента и товаров, чаще выходить за рамки своих привычек, рассчитывают в «Яндексе».
«Новшество в том, что мы смогли внедрить именно большие генеративные модели в рексистемы, — говорят в «Яндексе». — В рекомендации «Яндекс Музыки» внедрена трансформерная модель с 126 млн параметров и длиной истории 8192 (в терминах событий в жизни пользователя). Для сравнения — раньше у нас максимальная конфигурация имела 19 млн параметров в энкодере и обрабатывала 2000 событий». Это обезличенные данные о действиях пользователей на сервисе, указывают в «Яндексе»: «Такого нет у других компаний. Мы первые в мире показали, что можно сделать такую большую модель с такой большой длиной истории для музыкальных рекомендаций».
Первой новые алгоритмы внедрила «Яндекс Музыка». Они работают в режиме реального времени и мгновенно реагируют на действия пользователей, но с учетом большего количества параметров. За «Музыкой» их интегрировал «Яндекс Маркет», а со временем на них перейдут и другие сервисы «Яндекса», например «Кинопоиск» и «Лавка», уточняют в компании.
По словам руководителя рекомендательных технологий «Яндекса» Николая Савушкина, в последние годы качество рекомендательных алгоритмов вышло на плато, и чтобы вывести их на новый уровень, нужно было внедрять генеративные модели, а они требуют больших вычислительных мощностей. «Нам удалось разработать нейронную архитектуру, которая более эффективна в обучении и требует меньше ресурсов, и доказать, что скачок качества, который мы видим в сфере языковых моделей, возможен в рекомендациях. Эту задачу удалось решить только нескольким компаниям в мире — таким, как Google, Netflix, LinkedIn», — говорит он.
Forbes.Идеи для бизнеса Канал о стартапах, новых идеях и малом бизнесе Подписаться
«Яндекс Музыка» еще в 2023 году внедрила в рекомендации генеративные нейросети — о том, как это работает, руководитель сервиса Александра Сагалович рассказывала ранее в интервью Forbes. Теперь стриминг первым среди сервисов компании внедрил обновленные модели и перевел их в режим онлайн. Это значит, что алгоритмы анализируют потребности человека и генерируют рекомендации в моменте — с учетом его долгосрочных предпочтений. При этом они учитывают в три раза больше паттернов поведения пользователя. Благодаря этому люди стали чаще и дольше слушать «Мою волну», где звучат только рекомендованные треки, и на 20% чаще добавлять в коллекцию песни и артистов, которых услышали впервые. Разнообразие самих рекомендаций выросло на 14% — в них стало больше новых для людей треков, обращают внимание в «Яндексе».
Вслед за «Яндекс Музыкой» новые алгоритмы внедрил «Яндекс Маркет». «Теперь учитывается в десятки раз больше обезличенных действий пользователей — это эквивалентно данным за два года пользования сервисом. Так у алгоритмов появляется более полный контекст, и пользователь получает действительно нужные рекомендации, — продолжают в компании. — Во время тестирования покупатели стали добавлять в корзину на 3% больше релевантных товаров, чем раньше. А покупок в новых для людей категориях стало больше на 5%».
Для работы рекомендательных систем на базе генеративных моделей нужна хорошая инфраструктура: много вычислительных ресурсов и данных; более того, до недавнего времени в рекомендациях использовались маленькие модели — несопоставимые по вычислительной сложности с LLM, рассказывает руководитель команды исследований для рекомендательных технологий в «Яндексе» Кирилл Хрыльченко. «Сейчас же благодаря новой архитектуре нам удалось внедрить более тяжелые модели — с большим количеством параметров — и перенести часть генеративной модели в расчет в режиме реального времени. Это одновременно наукоемкая и требующая заметных аппаратных ресурсов задача, которая дала нам заметный рост качества персонализации», — поясняет Хрыльченко.
«Высокий порог входа»
Аналитики считают запуск новых рекомендательных систем в продуктах «Яндекса» «очень важным шагом» для развития российского ИИ. «Создание и запуск подобных систем по плечу лишь ограниченному кругу бигтех-игроков, обладающих внушительными массивами пользовательских данных и вычислительными ресурсами для обучения сложнейших языковых моделей в реальном времени», — констатирует сооснователь университета Zerocoder Кирилл Пшинник.
Масштабирование генеративных моделей в рекомендательных системах — действительно сложная задача, признает руководитель научной группы «Адаптивные агенты» Института AIRI Владислав Куренков. «У нее высокий порог входа, поскольку, чтобы масштабировать модель и при этом сохранить или улучшить ее эффективность, нужны огромные объемы данных, вычислительных ресурсов и экспертиза, — говорит эксперт. — Кроме того, при увеличении размера модели легко получить ухудшение в стабильности и стоимости, и сохранить качество при этом тоже непросто. Нужны глубокие архитектурные решения. Готовых продуктовых разработок на уровне индустрии пока нет, этим занимаются научные и R&D-группы».
Использование генеративных моделей в рекомендательных системах давно обсуждается как перспективное направление, но примеров их реального продакшен-внедрения пока немного, согласен CEO red_mad_robot AI Илья Филиппов. «Яндекс» стал одной из первых компаний в мире, кто довел такую технологию до пользовательского сервиса, размышляет он. Особенность подхода — способность учитывать длинные поведенческие цепочки (историю действий за полгода и более) и строить рекомендации на основе неочевидных взаимосвязей. Это один из векторов развития гиперперсонализации, к которому сегодня стремятся крупнейшие технологические игроки, говорит Филиппов. Сам факт внедрения такой модели руководителя направления AI red_mad_robot Валерия Ковальского «впечатляет». 126 млн параметров для рекомендательной системы — это, по его словам, серьезная нагрузка на инфраструктуру: «Если речь идет о персонализированной выдаче для миллионов пользователей, то «Яндекс» действительно решил крайне сложную инженерную задачу. Это уже не просто эксперименты, а продакшен-уровень, где масштаб и производительность критичны».
Использование генеративных LLM моделей в рекомендательных системах — идея не новая, хотя и очень перспективная, рассуждает CTO направления genAI в Just AI Антон Сипачев. «Что однозначно является инновационным — это размер модели и глубина контекста, который эта модель может поддерживать в области рекомендаций, — говорит он. — Разумеется, увеличение количества параметров модели и длины событий в памяти позволит достичь новых высот в качестве рекомендаций».
Успех проекта зависит не только от объема «сырья» для обучения, но и от архитектуры и оптимизации моделей, способных анализировать миллионы запросов одновременно, обращает внимание Кирилл Пшинник. «Яндекс», по его мнению, уже демонстрирует высокие результаты в работе с «Алисой», поиском и «Яндекс Музыкой», где предиктивная аналитика и анализ поведенческих факторов позволяют заранее угадывать потребности пользователей: «Однако ключевой вопрос остается открытым: насколько новая рекомендательная система повысит удовлетворенность аудитории? Было бы интересно увидеть, насколько люди довольны рекомендациями: опросы, отзывы или индекс лояльности (NPS) помогли бы понять это лучше. Пока мы можем ориентироваться только на количественные параметры обращений, длину истории, часто повторяющиеся текстовые паттерны в запросах. Если «Яндекс» грамотно соединит мировой опыт с реалиями российского рынка, у нас появится серьезный конкурент мировым лидерам», — полагает эксперт.
Источник: www.forbes.ru
