Американский стартап PrismML выпустил языковую модель Bonsai 27B — она весит всего 3,9 ГБ и впервые помещается в память iPhone 17 Pro. Никакого облака, никакой передачи данных на сторонние серверы — вся обработка происходит прямо на устройстве.
В основе Bonsai 27B лежит открытая модель Alibaba Qwen3.6 27B, которая в полном варианте занимает около 54 ГБ. Команда PrismML — стартап основан исследователями из Caltech и финансируется в том числе Google и Khosla Ventures — применила агрессивное квантование: вместо стандартных 16 бит на каждый вес нейросети используется от 1 до 2 бит. В итоге получилось два варианта сборки: терарная версия на 5,9 ГБ для ноутбуков и 1-битная версия на 3,9 ГБ для смартфонов.
По заявлению производителя, ноутбучный вариант сохраняет 95% производительности оригинала по 15 бенчмаркам, а телефонный — 90%. При этом точность в математических и программных задачах практически не пострадала. Веса модели распространяются по лицензии Apache 2.0 и запускаются через Apple MLX на iPhone, iPad и Mac, а также через CUDA на видеокартах NVIDIA.
Согласно белой книге PrismML, версия на 3,9 ГБ генерирует около 11 токенов в секунду на iPhone 17 Pro Max — вполне рабочий темп для диалога. Одного полного заряда аккумулятора хватает примерно на 67 000 токенов. Правда, уже через пять минут непрерывной нагрузки чип начинает троттлить, что ограничивает длительные сессии.
Важная оговорка: все цифры бенчмарков предоставлены самим производителем. Собственная сравнительная таблица компании честно указывает на слабые места — распознавание изображений и работа с инструментами, то есть именно то, что необходимо AI-агентам. Кроме того, реальный объём загрузки ноутбучной версии составляет от 7,2 до 8,5 ГБ в зависимости от среды выполнения — заметно больше заявленных цифр. Готового приложения для рядовых пользователей пока нет: модель ориентирована на разработчиков и энтузиастов. Попробовать Bonsai 27B прямо в браузере можно через демо на Hugging Face.
По словам CEO PrismML Бабака Хасиби, сказанным в интервью CNBC, Apple и ряд других компаний уже тестируют модель по параметрам скорости, энергопотребления и качества ответов. Переговоры пока находятся на самой ранней стадии. Для конечных пользователей принципиально важен общий вектор: чем больше AI-задач выполняется локально на устройстве, тем меньше личных данных уходит в облако.
Запуск Bonsai 27B — это наглядное доказательство того, что большие языковые модели скоро перестанут требовать дата-центров даже для работы на смартфоне. Если Apple действительно интегрирует подобную технологию, следующие поколения iPhone получат значительно более мощный локальный AI.
Источник: PrismML, CNBC via Notebookcheck
