Подписки на Claude и GPT дорожают, лимиты режут в самый неподходящий момент, а код уходит на чужие серверы. Автор материала на Хабре проверил, можно ли закрыть эту проблему полностью локально — на игровом ноутбуке Maibenben X18A с Ryzen 9-8945HX и RTX 5070.
Почему именно этот ноутбук и что в нём важно для ИИ
Ключевая характеристика для локального инференса (запуска модели без интернета) — суммарный объём памяти. У X18A это 24 ГБ оперативной памяти плюс 8 ГБ видеопамяти, итого 32 ГБ доступного адресного пространства. Этого хватает, чтобы загружать крупные модели в режиме CPU+GPU без обрезки.
Автор называет три практических аргумента в пользу локального варианта: разовая стоимость железа вместо ежемесячной подписки, работа офлайн — в поезде, на даче, за рубежом, — и полная изоляция данных. Рабочий код, ключи в конфигах и данные заказчиков не покидают машину. Для проектов под NDA это не удобство, а требование.
Какие модели тестировались и почему выбрали Strata
Для запуска рассматривались Ollama, vLLM и Strata. Выбор пал на Strata: она умеет распределять нагрузку между RAM и VRAM автоматически и выставляет наружу OpenAI- и Anthropic-совместимый API на http://127.0.0.1:8080. Это значит, что к ней без переделок подключаются OpenCode, Codex CLI и Claude Code.
Тестировались две модели:
| Модель | Параметры | Формат | Размер на диске | RAM + VRAM |
|---|---|---|---|---|
| Qwen3-Coder-30B-A3B | 30 млрд | Q4_K_M | ~19 ГБ | частично в RAM |
| Qwen3.8-Flash-Next Coder | 125 млрд | IQ1_M | 58,4 ГБ | ~24,4 ГБ |
Вторую — 125-миллиардную в сжатии IQ1_M — и запускает Strata по умолчанию для этого железа. Если RAM не хватает на все экспертные блоки, Strata включает low-RAM режим и дочитывает их с SSD. Поэтому быстрый накопитель здесь не лишний.
Установка для RTX 5070 — файл Strata-0.2.2-windows-cuda13.exe, требует драйвер версии 580 и выше, ставится без прав администратора. Модель находится в разделе More versions → GSQ-RCO models.
Для терминала — три команды:
irm https://github.com/Niko1221/Strata/releases/latest/download/install.ps1 | iex
strata launch --family coder --model iq1_m --context 32k --yes --no-tui
strata connect opencode --writeДля Claude Code достаточно переменной окружения ANTHROPIC_BASE_URL=http://127.0.0.1:8080.
Три итерации до рабочей змейки
Первый тест — игра «Змейка» в одном HTML-файле. Задача намеренно простая: проверить цепочку «агент → локальная модель → файлы», а не мощность модели как таковую.
Первый проход занял несколько минут. Модель отчиталась об успехе, но игра завершалась мгновенно: стартовое направление было выставлено как {0, 0}, голова врезалась в саму себя на первом такте.
После описания симптома модель сделала четыре точечные правки. Змейка поехала, но врезалась в стену раньше, чем игрок успевал нажать клавишу, а кнопка «Заново» исчезла.
Рабочий вариант — со счётом, рекордом и корректной кнопкой перезапуска — получился на третьей итерации. Автор отмечает: чем подробнее техзадание с самого начала, тем меньше правок потребуется.
Blender через MCP: геометрия с первого вызова, но модель меньше
Следующий тест сложнее. Через аддон MCP for Blender и сервер uvx blender-mcp автор выстроил цепочку: Qwen3 8B → blender-mcp → Blender. Задание — удалить стандартный куб, поставить цилиндр (радиус 1 м, высота 2 м), сверху сферу 0,6 м, назначить материалы «красный металл» и «золото».
Геометрию модель построила с первого вызова. Здесь использовалась уже не 125-миллиардная, а 8-миллиардная модель в формате Q4_K_M (около 5 ГБ). Автор называет Q4_K_M разумным минимумом для MCP-сценариев на небольших моделях.
Где это работает, а где нет
Локальный вайбкодинг на таком железе — реальный вариант для разработчика, которому важна приватность или автономность. 32 ГБ суммарной памяти закрывают большинство практических сценариев: агентное кодирование, MCP-интеграции, работу с контекстом до 32k токенов.
Облачные модели пока умнее: автор прямо пишет, что Claude, GPT и Gemini превосходят любую модель, которую можно запустить дома. Три итерации для простой змейки — это показательно. Для продакшн-задач с нечётким ТЗ разрыв будет ощутимее.
Ещё одно ограничение источника: тест проводился на одной конфигурации железа, с одним набором задач. Данных о скорости генерации в токенах в секунду, сравнения с облачными агентами по качеству вывода или результатов на более сложных проектах в материале нет.