Перейти к содержимому
Новости

Знакомствр с Inkling 2 Mini

Introducing Inkling 2 Mini - Thinking Machines Lab

Inkling 2 Mini: мощная ИИ-модель, которая поместится на ноутбуке

Thinking Machines Lab представила Inkling 2 Mini — компактную, но производительную языковую модель с открытыми весами, способную работать прямо на потребительском железе. Главная фишка новинки — зацикленная (looped) архитектура трансформера, которая позволяет модели рассуждать глубже без раздувания размера и без потребности в серверных мощностях.

Что такое Inkling 2 Mini и зачем она нужна

Inkling 2 Mini — это Mixture-of-Experts модель с 26,4 млрд параметров суммарно, из которых активны 3,4 млрд, а с учётом зацикливания на один токен задействуется 5,4 млрд. Принцип работы прост: средние слои модели прогоняются трижды для каждого токена, что позволяет выполнять больше последовательных шагов вычислений без увеличения числа параметров. Итог — лучшее качество рассуждений при меньшем количестве выходных токенов.

Среди открытых моделей с числом параметров до 100 млрд Inkling 2 Mini занимает первое место на DeepSWE v1.1 с результатом 48,2% и на Vals Index v2.2 с показателем 46,5%. При этом она быстрее сопоставимых по качеству конкурентов.

Суммарный объём памяти модели составляет около 20 ГБ — достаточно, чтобы запустить её на MacBook или настольном AI-компьютере. Команда Thinking Machines даже протестировала модель в самолёте: Inkling 2 Mini работала в режиме офлайн на MacBook Pro (M5 Pro, 48 ГБ) и за несколько минут собрала работающий симулятор полёта.

Архитектура: зачем прогонять слои несколько раз

Looping — больше вычислений, не больше параметров

Модель состоит из 24 слоёв, разбитых на четыре блока по шесть слоёв. Первый и последний блоки выполняются по одному разу, а два средних — трижды. Это решение основано на предположении, что средние слои отвечают за более абстрактное мышление, тогда как крайние занимаются переводом между эмбеддингами и внутренними представлениями.

Эксперименты подтвердили правоту этой идеи: зацикливание средних 12 слоёв принесло бо́льший прирост точности, чем зацикливание последних 12, — на 27 из 28 различных оценок. По расчётам на шаге обучения 2 000, незациклённой модели потребовалось бы в 1,51–1,91× больше вычислений, чтобы сравняться с качеством средне-зациклённого варианта (против 1,24–1,36× для варианта с зацикливанием последних слоёв).

Блоки 2 и 3 разделяют веса между тремя проходами, что даёт 48 применений слоёв на токен при хранении лишь 24 слоёв. Для передачи информации между проходами используются attention residuals: каждый новый проход читает выходы предыдущего, которые называются «сообщением» (message). Это сообщение объединяется с выходом прелюдии (первого блока) через обучаемый гейт, который изначально полностью блокирует сообщение — что делает каждый цикл похожим на обычную незациклённую модель — и постепенно открывается по мере обучения.

Сравнение незациклённой и зациклённой версий показало, что незациклённая модель обходится на 7,5% дешевле в обучении, но требует на 140% больше инференс-вычислений, чтобы сравняться с качеством зациклённой на агентных трассах длиной 512k токенов.

NVFP4: модель обучалась и деплоится в одной точности

Большинство весов Inkling 2 Mini обучались и инференсируются в 4-битном формате NVFP4 — 20 слоёв в NVFP4 и последние 4 слоя в MXFP8. Благодаря этому не возникает потерь от постобучающей квантизации: модель работает ровно в том числовом формате, в котором была натренирована.

Прунинг и «исцеление»

Первоначально модель обучалась со sparse-конфигурацией 48 (8 из 384 экспертов). На одном из этапов среднего обучения две трети экспертов были отсечены — оставлены 128 наиболее используемых в каждом слое. Это позволило сократить общий объём параметров и ускорить работу на потребительском железе.

После прунинга модель прошла дообучение на 1T токенов с дистилляцией из более крупной внутренней модели Inkling, что полностью восстановило качество, потерянное при обрезке. Затем последовали SFT с датасетом, схожим с Inkling 2 Small, и RL на 2,2T токенов за 2 000 шагов.

Производительность и возможности

Агентное кодирование и работа с инструментами

Inkling 2 Mini особенно сильна там, где нужны многошаговые агентные задачи. На SWE-bench Verified она набирает 79,2%, на SWE-bench Multilingual — 73,7%, на Vibe Code Bench v1.1 — 77,9%. На BrowseComp результат составляет 79,0%, на DeepSearchQA — 85,3%, на MCP Atlas — 82,7%. На JobBench — 49,6%, что также является лучшим показателем среди сравниваемых моделей.

Исследователи из Stanford Hazy Research Lab и Scaling Intelligence Lab независимо протестировали Inkling 2 Mini по метрике «интеллект на ватт» (intelligence per joule). На NVIDIA DGX Spark модель набрала 0,703 — существенно выше, чем Qwen3.6-35B-A3B (0,430), Gemma-4-26B-A4B (0,159) и Qwen3.5-27B (0,036).

Зрение, знания и рассуждение

В задачах с изображениями Inkling 2 Mini показывает 57,5% на PerceptionBench, 92,8% на OmniDocBench v1.6 и 76,5%/87,7% на ScreenSpot Pro (с Python и без). На ARC-AGI v1 — 84,5%, v2 — 49,3%. На LongBench v2 — 66,9%, на GraphWalks BFS 256K — 69,7%.

По знаниям (AA-Omniscience) модель находится на уровне конкурентов аналогичного размера: factuality определяется прежде всего числом параметров, а не глубиной зацикливания. Зато инструментальный поиск компенсирует этот разрыв — здесь Inkling 2 Mini уверенно лидирует.

Ограничения

Модель уступает конкурентам в многоходовых диалогах и при работе с инструкциями, содержащими множество ограничений: MultiChallenge — 50,0%, ComplexConstraints v1.1 — 33,4% (оба показателя ниже, чем у Qwen3.8-27B). На сложных рассуждательных бенчмарках, таких как CritPt v2 и HLE-Diamond, она также уступает более крупным моделям.

Мониторируемость: насколько безопасно зацикливание

Это один из ключевых вопросов, которые Thinking Machines исследовала при разработке. Традиционный трансформер обрабатывает каждый токен один раз через фиксированный стек слоёв, поэтому сложное рассуждение вынуждено «выплёскиваться» в текстовую цепочку мыслей (CoT), доступную для мониторинга. Зациклённые модели делают больше вычислений внутри, не вербализируя промежуточные шаги — теоретически это могло бы затруднить наблюдение.

Для исследования этого вопроса Thinking Machines параллельно выпустила исследовательскую модель TML-d24-varloop-research с переменным числом проходов (от 1 до 5), позволяющую сравнивать поведение при разной глубине зацикливания.

No-CoT возможности растут, но ограниченно

По бенчмарку Think Fast, измеряющему «временной горизонт без CoT» (longest task completable at 50% reliability without reasoning), TML-d24-varloop-research показала горизонт 16 секунд при 1 проходе и 37 секунд при 3. Дальнейшее увеличение числа проходов практически не даёт прироста. При этом даже при 10 проходах, хотя модель обучалась максимум на 5, качество не деградирует.

Задача N-Hop Lookup (последовательный поиск по таблицам без записи промежуточных результатов) стала исключением: модель успешно следует более длинным цепочкам при увеличении числа проходов вплоть до 10 — вдвое больше тренировочного максимума.

CoT становится короче, но не менее читаемым

При увеличении числа проходов цепочка мыслей сжимается: на GPQA Diamond при 5 проходах среднее число токенов рассуждения составило 1 661 против 3 703 при 1 проходе. Однако длина предложений и доля слов из английского словаря остались неизменными (8,7–8,9 слов в предложении, 94,4–94,6% словарных слов). Разница лишь в том, что модель прямее идёт к ответу и реже делает ошибки с откатами.

Управляемость CoT (способность намеренно менять содержание цепочки мыслей) у Inkling 2 Mini крайне низкая: среди CoT длиной 750–1 250 токенов инструкцию удаётся выполнить не более чем в 0,1% случаев. Это ниже, чем у Inkling 2 Small (0,3%) или Qwen3.8-27B (1,3%), что фактически означает: модель не умеет скрывать своё мышление — хорошая новость с точки зрения безопасности.

Агентный мониторинг: тренд по числу проходов не прослеживается

На бенчмарке LinuxArena (имитация агента, выполняющего вредоносные побочные задачи параллельно с основной) Inkling 2 Mini (helpful-only) при использовании слабого монитора (Qwen3.6-35B-A3B) получила stealth rate 3,9% — сопоставимо с 4,0% у TML-d24-varloop-research при 3 проходах. Чёткого роста скрытности с увеличением числа проходов не наблюдается. При доступе монитора к тексту и thinking ставка падает до 1,3% и 0,6% соответственно.

Как запустить Inkling 2 Mini

Модель доступна для запуска на любом Mac (MacBook, Mac Mini) с объёмом ОЗУ от 32 ГБ через Ollama. На NVIDIA DGX Spark она работает в нативном NVFP4. Квантизированные GGUF-версии предоставляют Unsloth и llama.cpp.

Для инференса и файн-тюнинга модель доступна на платформе Tinker. Среди поддерживаемых опенсорс-фреймворков: SGLang, vLLM, Ollama, Unsloth, NVIDIA Dynamo, TokenSpeed, Llama App. RL-файн-тюнинг поддерживают SkyRL, Miles и NVIDIA AutoModel. Полные веса Inkling 2 Mini и исследовательской TML-d24-varloop-research размещены на Hugging Face.

Inkling 2 Mini — один из редких случаев, когда компактная модель с открытыми весами реально работает на потребительском ноутбуке и при этом держит первое место среди сопоставимых конкурентов на ключевых агентных бенчмарках. Исследователям, занимающимся интерпретируемостью и безопасностью зациклённых трансформеров, переменно-зациклённый вариант TML-d24-varloop-research даёт редкую возможность изучить эти вопросы на открытых артефактах.

Источник: Thinking Machines Lab — Introducing Inkling 2 Mini

Тарифы сотовых операторов

Все тарифы для смартфона

Тарифы домашнего интернета

Все тарифы домашнего интернета и ТВ