Знакомствр с Inkling 2 Mini
Inkling 2 Mini: мощная ИИ-модель, которая поместится на ноутбуке
Thinking Machines Lab представила Inkling 2 Mini — компактную, но производительную языковую модель с открытыми весами, способную работать прямо на потребительском железе. Главная фишка новинки — зацикленная (looped) архитектура трансформера, которая позволяет модели рассуждать глубже без раздувания размера и без потребности в серверных мощностях.
Что такое Inkling 2 Mini и зачем она нужна
Inkling 2 Mini — это Mixture-of-Experts модель с 26,4 млрд параметров суммарно, из которых активны 3,4 млрд, а с учётом зацикливания на один токен задействуется 5,4 млрд. Принцип работы прост: средние слои модели прогоняются трижды для каждого токена, что позволяет выполнять больше последовательных шагов вычислений без увеличения числа параметров. Итог — лучшее качество рассуждений при меньшем количестве выходных токенов.
Среди открытых моделей с числом параметров до 100 млрд Inkling 2 Mini занимает первое место на DeepSWE v1.1 с результатом 48,2% и на Vals Index v2.2 с показателем 46,5%. При этом она быстрее сопоставимых по качеству конкурентов.
Суммарный объём памяти модели составляет около 20 ГБ — достаточно, чтобы запустить её на MacBook или настольном AI-компьютере. Команда Thinking Machines даже протестировала модель в самолёте: Inkling 2 Mini работала в режиме офлайн на MacBook Pro (M5 Pro, 48 ГБ) и за несколько минут собрала работающий симулятор полёта.
Архитектура: зачем прогонять слои несколько раз
Looping — больше вычислений, не больше параметров
Модель состоит из 24 слоёв, разбитых на четыре блока по шесть слоёв. Первый и последний блоки выполняются по одному разу, а два средних — трижды. Это решение основано на предположении, что средние слои отвечают за более абстрактное мышление, тогда как крайние занимаются переводом между эмбеддингами и внутренними представлениями.
Эксперименты подтвердили правоту этой идеи: зацикливание средних 12 слоёв принесло бо́льший прирост точности, чем зацикливание последних 12, — на 27 из 28 различных оценок. По расчётам на шаге обучения 2 000, незациклённой модели потребовалось бы в 1,51–1,91× больше вычислений, чтобы сравняться с качеством средне-зациклённого варианта (против 1,24–1,36× для варианта с зацикливанием последних слоёв).
Блоки 2 и 3 разделяют веса между тремя проходами, что даёт 48 применений слоёв на токен при хранении лишь 24 слоёв. Для передачи информации между проходами используются attention residuals: каждый новый проход читает выходы предыдущего, которые называются «сообщением» (message). Это сообщение объединяется с выходом прелюдии (первого блока) через обучаемый гейт, который изначально полностью блокирует сообщение — что делает каждый цикл похожим на обычную незациклённую модель — и постепенно открывается по мере обучения.
Сравнение незациклённой и зациклённой версий показало, что незациклённая модель обходится на 7,5% дешевле в обучении, но требует на 140% больше инференс-вычислений, чтобы сравняться с качеством зациклённой на агентных трассах длиной 512k токенов.
NVFP4: модель обучалась и деплоится в одной точности
Большинство весов Inkling 2 Mini обучались и инференсируются в 4-битном формате NVFP4 — 20 слоёв в NVFP4 и последние 4 слоя в MXFP8. Благодаря этому не возникает потерь от постобучающей квантизации: модель работает ровно в том числовом формате, в котором была натренирована.
Прунинг и «исцеление»
Первоначально модель обучалась со sparse-конфигурацией 48 (8 из 384 экспертов). На одном из этапов среднего обучения две трети экспертов были отсечены — оставлены 128 наиболее используемых в каждом слое. Это позволило сократить общий объём параметров и ускорить работу на потребительском железе.
После прунинга модель прошла дообучение на 1T токенов с дистилляцией из более крупной внутренней модели Inkling, что полностью восстановило качество, потерянное при обрезке. Затем последовали SFT с датасетом, схожим с Inkling 2 Small, и RL на 2,2T токенов за 2 000 шагов.
Производительность и возможности
Агентное кодирование и работа с инструментами
Inkling 2 Mini особенно сильна там, где нужны многошаговые агентные задачи. На SWE-bench Verified она набирает 79,2%, на SWE-bench Multilingual — 73,7%, на Vibe Code Bench v1.1 — 77,9%. На BrowseComp результат составляет 79,0%, на DeepSearchQA — 85,3%, на MCP Atlas — 82,7%. На JobBench — 49,6%, что также является лучшим показателем среди сравниваемых моделей.
Исследователи из Stanford Hazy Research Lab и Scaling Intelligence Lab независимо протестировали Inkling 2 Mini по метрике «интеллект на ватт» (intelligence per joule). На NVIDIA DGX Spark модель набрала 0,703 — существенно выше, чем Qwen3.6-35B-A3B (0,430), Gemma-4-26B-A4B (0,159) и Qwen3.5-27B (0,036).
Зрение, знания и рассуждение
В задачах с изображениями Inkling 2 Mini показывает 57,5% на PerceptionBench, 92,8% на OmniDocBench v1.6 и 76,5%/87,7% на ScreenSpot Pro (с Python и без). На ARC-AGI v1 — 84,5%, v2 — 49,3%. На LongBench v2 — 66,9%, на GraphWalks BFS 256K — 69,7%.
По знаниям (AA-Omniscience) модель находится на уровне конкурентов аналогичного размера: factuality определяется прежде всего числом параметров, а не глубиной зацикливания. Зато инструментальный поиск компенсирует этот разрыв — здесь Inkling 2 Mini уверенно лидирует.
Ограничения
Модель уступает конкурентам в многоходовых диалогах и при работе с инструкциями, содержащими множество ограничений: MultiChallenge — 50,0%, ComplexConstraints v1.1 — 33,4% (оба показателя ниже, чем у Qwen3.8-27B). На сложных рассуждательных бенчмарках, таких как CritPt v2 и HLE-Diamond, она также уступает более крупным моделям.
Мониторируемость: насколько безопасно зацикливание
Это один из ключевых вопросов, которые Thinking Machines исследовала при разработке. Традиционный трансформер обрабатывает каждый токен один раз через фиксированный стек слоёв, поэтому сложное рассуждение вынуждено «выплёскиваться» в текстовую цепочку мыслей (CoT), доступную для мониторинга. Зациклённые модели делают больше вычислений внутри, не вербализируя промежуточные шаги — теоретически это могло бы затруднить наблюдение.
Для исследования этого вопроса Thinking Machines параллельно выпустила исследовательскую модель TML-d24-varloop-research с переменным числом проходов (от 1 до 5), позволяющую сравнивать поведение при разной глубине зацикливания.
No-CoT возможности растут, но ограниченно
По бенчмарку Think Fast, измеряющему «временной горизонт без CoT» (longest task completable at 50% reliability without reasoning), TML-d24-varloop-research показала горизонт 16 секунд при 1 проходе и 37 секунд при 3. Дальнейшее увеличение числа проходов практически не даёт прироста. При этом даже при 10 проходах, хотя модель обучалась максимум на 5, качество не деградирует.
Задача N-Hop Lookup (последовательный поиск по таблицам без записи промежуточных результатов) стала исключением: модель успешно следует более длинным цепочкам при увеличении числа проходов вплоть до 10 — вдвое больше тренировочного максимума.
CoT становится короче, но не менее читаемым
При увеличении числа проходов цепочка мыслей сжимается: на GPQA Diamond при 5 проходах среднее число токенов рассуждения составило 1 661 против 3 703 при 1 проходе. Однако длина предложений и доля слов из английского словаря остались неизменными (8,7–8,9 слов в предложении, 94,4–94,6% словарных слов). Разница лишь в том, что модель прямее идёт к ответу и реже делает ошибки с откатами.
Управляемость CoT (способность намеренно менять содержание цепочки мыслей) у Inkling 2 Mini крайне низкая: среди CoT длиной 750–1 250 токенов инструкцию удаётся выполнить не более чем в 0,1% случаев. Это ниже, чем у Inkling 2 Small (0,3%) или Qwen3.8-27B (1,3%), что фактически означает: модель не умеет скрывать своё мышление — хорошая новость с точки зрения безопасности.
Агентный мониторинг: тренд по числу проходов не прослеживается
На бенчмарке LinuxArena (имитация агента, выполняющего вредоносные побочные задачи параллельно с основной) Inkling 2 Mini (helpful-only) при использовании слабого монитора (Qwen3.6-35B-A3B) получила stealth rate 3,9% — сопоставимо с 4,0% у TML-d24-varloop-research при 3 проходах. Чёткого роста скрытности с увеличением числа проходов не наблюдается. При доступе монитора к тексту и thinking ставка падает до 1,3% и 0,6% соответственно.
Как запустить Inkling 2 Mini
Модель доступна для запуска на любом Mac (MacBook, Mac Mini) с объёмом ОЗУ от 32 ГБ через Ollama. На NVIDIA DGX Spark она работает в нативном NVFP4. Квантизированные GGUF-версии предоставляют Unsloth и llama.cpp.
Для инференса и файн-тюнинга модель доступна на платформе Tinker. Среди поддерживаемых опенсорс-фреймворков: SGLang, vLLM, Ollama, Unsloth, NVIDIA Dynamo, TokenSpeed, Llama App. RL-файн-тюнинг поддерживают SkyRL, Miles и NVIDIA AutoModel. Полные веса Inkling 2 Mini и исследовательской TML-d24-varloop-research размещены на Hugging Face.
Inkling 2 Mini — один из редких случаев, когда компактная модель с открытыми весами реально работает на потребительском ноутбуке и при этом держит первое место среди сопоставимых конкурентов на ключевых агентных бенчмарках. Исследователям, занимающимся интерпретируемостью и безопасностью зациклённых трансформеров, переменно-зациклённый вариант TML-d24-varloop-research даёт редкую возможность изучить эти вопросы на открытых артефактах.
Источник: Thinking Machines Lab — Introducing Inkling 2 Mini