Модель размером с ноутбук догнала большую — и её отдают бесплатно
Thinking Machines выпустила Inkling 2 Mini: 26 млрд параметров, около 20 ГБ памяти, открытые веса и запуск на ноутбуке. По тестам она не хуже модели в семь раз крупнее и в шесть раз дешевле в работе.
20 ноября лаборатория Thinking Machines, которую основала бывшая технический директор OpenAI Мира Мурати, выпустила модель Inkling 2 Mini. Её можно скачать целиком: веса открыты, лицензия Apache 2.0 разрешает коммерческое использование. Главное — размер: около 20 ГБ, то есть модель помещается на ноутбук и работает без интернета.
Что внутри
Всего 26,4 млрд параметров — это грубая мера «размера» нейросети, — но активных из них только 3,4 млрд. Хитрость в архитектуре: из 24 слоёв средние 12 прогоняются трижды на каждый токен (токен — примерно часть слова). Модель как бы несколько раз перечитывает собственные мысли, прежде чем выдать ответ, и за счёт этого обходится меньшим размером. Контекст — до 1 млн токенов, то есть можно загрузить целую документацию.
Что показали тесты
В сводном индексе Artificial Analysis модель набрала 20,1 балла — столько же, сколько Qwen3.8-27B, хотя активных параметров у неё примерно в пять раз меньше. На задачах по программированию DeepSWE она даёт 48,2% против 42,2% у Qwen, на SWE-bench Pro — 77,9% против 73,8%. Среди открытых моделей до 100 млрд параметров она лучшая по этим двум тестам и по индексу Vals (46,5%).
Сколько это стоит
По цене самой Thinking Machines одна задача в индексе обходится в $0,59 и 9 минут против $3,53 и 38 минут у Qwen3.8-27B — примерно в шесть раз дешевле и в четыре раза быстрее. При работе на своём ноутбуке платить за токены не нужно вовсе: расходы — это только электричество.
Почему это важно
До сих пор выбор был между сильной моделью в чужом облаке и слабой локальной. Здесь появляется третий вариант: приличная модель на собственном железе, куда не уходят ни документы, ни переписка. Для небольших компаний и тех, кто работает с чувствительными данными, это меняет расклад — не нужно платить за каждый запрос и не нужно объяснять, почему рабочие файлы оказались на чужом сервере. Запускается такая модель через Ollama на Mac с 32 ГБ памяти или через GGUF в llama.cpp, дообучить её можно на платформе Tinker.