ChatGPT-4 бесплатно и без ограничений

Командовать парадом буду я: «Яндекс» готовит к запуску оркестратор для нейросетей

    Командовать парадом буду я: «Яндекс» готовит к запуску оркестратор для нейросетей

    «Яндекс» разрабатывает оркестратора ИИ-моделей — систему умного распределения задач между различными LLM, чтобы максимальное качество работы ИИ достигалось по минимальной стоимости, узнал Forbes. Для российской компании это инженерная необходимость, чтобы выигрывать в России конкуренцию прежде всего у продуктов Google, указывают в «Яндексе». Зарубежный опыт есть: многие мировые разработчики с многомиллиардными оценками — Perplexity, Cursor, Manus — уже делают такие мультимодельные системы с роутингом. Маршрутизация между моделями может помочь выстроить продукт, работающий быстро и остающийся конкурентоспособным, считают эксперты

    «Уйти от парадигмы одной модели к нескольким»

    «Яндекс» разрабатывает единую систему, объединяющую оркестратор из собственных и открытых моделей, которая будет функционировать «под капотом» «Алисы AI», рассказал Forbes в ходе интервью руководитель направления «Алисы» и умных устройств «Яндекса» Валерий Стромов. По его словам, внутри «Яндекса» умный роутинг (маршрутизация) уже заработал — есть первая версия, которая по задаче понимает, какая модель лучше с ней справится. В сентябре должен состояться запуск оркестратора для всех пользователей.

    «Наша стратегическая задача сейчас — уйти от парадигмы одной модели к нескольким, часть из которых будут опенсорсными, создать систему умного распределения задач, чтобы максимальное качество достигалось по минимальной стоимости, и создать обвязку, harness («харнесс» — программная обвязка вокруг языковой модели, которая превращает ее из «генератора текстов» в полноценного агента, способного решать прикладные задачи), которая даст модели «руки» в физическом мире — чтобы «Алиса» могла использовать разные сервисы, создавать память о пользователе или бизнесе, запускать код и т.д. Мы хотим стать пионерами этого подхода в России», — говорит Валерий Стромов.

    Если моделей становится слишком много, системе роутинга становится трудно, качество начинает падать, продолжает топ-менеджер. «В первой версии мы будем жить с тремя-пятью моделями-экспертами. Среди всего потока задач львиная доля — думаю, это будет всегда в районе 80-90%, — будет работать на нашей модели, а узкоспециализированные вещи будут отправляться в опенсорсные модели в нашей обвязке. Это фактически позволит нам переигрывать таких игроков, как Google, у которых пока одна модель, и им нужно делать так, чтобы она была умна везде — а это заметно больше ресурсов», — рассчитывает Стромов.

      Telegram-канал Forbes.RussiaКанал о бизнесе, финансах, экономике и стиле жизниПодписаться

    «Инженерная необходимость»

    Таким образом, для «Яндекса» система роутинга — это инженерная необходимость, а не просто гонка за трендом, подчеркивают в компании. Инференс (этап, когда уже обученная модель обрабатывает входные данные и выдает результат) — «очень дорогой процесс, требующий невероятных капиталоемких инвестиций», поясняет Валерий Стромов: «Хочется дать пользователю и бизнесу максимум пользы за минимум ресурсов».

    «Яндекс» вложил в развитие «Алисы AI» 55 млрд рублей в 2025 году — это суммарные расходы капитального и операционного характера. В этом году уровень инвестиций останется прежним, без роста в разы, говорит Стромов. Однако на фоне мировых гигантов даже эти цифры, столь внушительные для российской действительности, смотрятся как капля в море. 

     

    В мире сейчас острый дефицит вычислительных мощностей, а для стран, которые не в лагере Запада, эта нехватка ощущается еще сильнее, говорит сооснователь ИИ-интегратора «Металаб» Сергей Батулин. К примеру, оперативная память стандарта DDR4 может подорожать еще на 50% в III квартале 2026 года, в то же время цены на DDR5 уже взлетели на 483% за год. Такие данные приводит Morgan Stanley, связывая рост стоимости памяти с дефицитом производственных мощностей.

    В России, по данным MWS Cloud, с конца 2025 года память DDR4 подорожала примерно на 25%: так, Samsung 3200 МГц ECC Reg 2Rx4 RDIMM 64 ГБ вырос в цене с 90 000 до 110 000 рублей, DDR5 за тот же период подорожала на 100%: например, Samsung 4800 МГц ECC Reg 2Rx8 RDIMM 32 ГБ выросла в цене с 80 000 до 160 000 рублей.

    «Отсюда и логика многих компаний: в первую очередь они думают не о том, как нарастить «интеллект» модели, а о том, что можно эффективно раскатать при имеющихся ресурсах, — продолжает Батулин. — Это реальность рынка. И я думаю, что «Яндексу» еще придется учиться выживать в этих условиях».

     

    Маршрут построен

    Концептуальной новизны в роутинге нет, указывают эксперты. Идея роутинга внутри самих моделей еще с 2024 года стала мейнстримом, рассуждает технологический предприниматель, эксперт в индустрии ИИ, машинного обучения и конфиденциальных вычислений Роман Постников. Многие современные модели, по его словам, внутри используют MoE-архитектуру (Mixture of Experts — архитектура нейросети, где вместо одного «универсального» блока вычислений используется набор специализированных подсетей — «экспертов», — а отдельный механизм-маршрутизатор решает, каких экспертов задействовать для каждого конкретного фрагмента данных), где на каждый токен активируется лишь часть экспертов и активных параметров заметно меньше общего числа. «Роутинг между отдельными моделями — по сути, то же самое, только на уровне всего ИИ-сервиса, а не внутри самой модели», — говорит он.

    Подход, который использует «Яндекс», директор по продуктам компании — разработчика ИИ-решений Just AI Глеб Обломский считает «совершенно правильным и логичным». Реальные возможности и потребительские качества ИИ-систем сегодня зачастую упираются не в количество миллиардов параметров модели, а в то, насколько доступен инференс, размышляет он: маршрутизация между моделями позволяет обойти это ограничение и выстроить продукт, который работает быстро и остается конкурентоспособным. В Just AI также уже разрабатывают решения на этом принципе, утверждает эксперт: «Такой роутинг реализован на уровне наших ИИ-ассистентов (Jay Copilot, Jay Flow), а также на уровне фильтра безопасности Jay Guard».

    «Такой подход применяется не только в масштабах аудитории «Яндекса» и поискового трафика его сервисов, но и в ИИ-инфраструктуре компаний. Один из самых востребованных бизнесом сценариев — роутинг запросов: безопасные с точки зрения персональных данных и коммерческой тайны запросы уходят на обработку в облачные модели, а запросы с чувствительными данными обрабатываются на LLM, развернутых в контуре компании, — говорит Обломский. — Кроме сохранности данных, это заметно улучшает экономику использования ИИ: внутренний инференс компании остается для обработки действительно важных задач, а не тратится на все подряд».

    «Яндекс» создает принципиально иную ценность для клиента, полагает Сергей Батулин. «Это, по сути, архитектурный проект, программа, в которой можно моделировать различные сценарии для пользователя и для бизнеса, — считает он. — «Яндекс» хочет создать единый интерфейс взаимодействия со всеми этими моделями, при этом сохраняя самую ценную информацию о пользователе. Тогда получается, что самый точный ответ будет достигаться именно благодаря этой информации – то есть данные о пользователе становятся самым ценным активом».

    «Колоссальный рост нагрузки»

    При этом куда интереснее экономика разработки, полагает Постников. Чем лучше «Яндекс» сделает харнесс и роутинг, тем, по его мнению, меньше экономического смысла для самостоятельного обучения frontier-моделей (то есть самых передовых и наиболее мощных на текущий момент). «Хороший харнесс превращает модели во взаимозаменяемый ресурс. Сегодня лучше модель «Яндекса» — система использует ее. Завтра Qwen, DeepSeek или новая открытая модель «Сбера» окажется лучше и дешевле — рациональный роутер должен переключиться на нее. При нынешней скорости развития открытых моделей будет все труднее оправдывать дорогое end-to-end обучение собственной frontier-модели», — считает он.

     

    Вдобавок то, к чему «Яндекс» стремится, означает колоссальный рост нагрузки на «железо» и инфраструктуру, замечает Сергей Батулин: «Хранить в моделях контекст по каждому пользователю — это, мягко говоря, серьезная задача, тем более что этот контекст будет постоянно пополняться. А еще нужно определять, какая часть этого контекста ценна, а какая нет, а это огромный объем вычислений и хранения данных».

    Свои модели «Яндекс», вероятно, оставит для массового трафика и простых запросов, рассуждает Роман Постников. «Но в пределе рациональная стратегия — «Алиса» поверх лучших доступных моделей с открытыми весами. И в этом виден стратегический выбор: чем убедительнее будут результаты развития подхода с роутингом, тем меньше шансов, что «Яндекс» продолжить инвестировать в end-to-end обучение LLM», — заключает он.

    Источник: www.forbes.ru

    Like this post? Please share to your friends:
    Dalle 3
    Добавить комментарий

    ;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: