Недавний успех DeepSeek никого не оставил равнодушным. Оно и не удивительно, ведь согласно официальным заявлениям разработчика, стоимость генерации ответов у модели DeepSeek R1 в 25 раз дешевле относительно OpenAI-o1. Это привело к тому, что инвесторы в сфере IT задумались о целесообразности вливаемых в ИИ-индустрию миллиардов долларов, а энтузиасты и ученые взялись повторять успех китайской нейросети.
Согласно новому докладу, исследователи из Стэнфорда и Вашингтонского университета обучили ИИ-модель s1 логическому мышлению. Это обошлось им всего в 50 долларов. Чат-бот s1 уже доступен на GitHub и демонстрирует результаты, сравнимые с передовыми моделями от OpenAI o1 и DeepSeek — в тестах на математику и программирование.
s1 создали с помощью дистилляции — процесса, при котором модель обучается на ответах другой ИИ-системы. В данном случае использовалась экспериментальная модель Google Gemini 2.0 Flash Thinking. Этот подход ранее применялся для создания аналогичных моделей, но с гораздо большими затратами. Исследователи также использовали готовую модель от китайской лаборатории Qwen (Alibaba) и обучили ее на наборе из 1000 вопросов с ответами и «мысленными процессами» от Gemini 2.0. Обучение заняло менее 30 минут на 16 видеоускорителях Nvidia H100, аренда которых оценивается в 20 долларов.
s1 показала высокую производительность, особенно после добавления команды «подождать», что позволило модели дольше «размышлять» и улучшить точность ответов. Однако дистилляция, хотя и дешевая, не позволяет создавать модели, значительно превосходящие существующие.
Стоит отметить, что крупные компании, такие как OpenAI, критикуют подобные методы, обвиняя в неправомерном использовании данных. Тем временем Google ограничивает использование своих экспериментальных моделей, запрещая их использование для создания конкурирующих сервисов.
Несмотря на успех s1, масштабные инвестиции в ИИ остаются необходимыми для создания принципиально новых нейросетей. Дистилляция же позволяет небольшим командам воспроизводить существующие технологии с минимальными затратами.
Напоминаем, что поисковая система ChatGPT, ранее доступная только платным подписчикам, теперь открыта для всех желающих. Она больше не требует аутентификации.
Источник: hi-tech.mail.ru
