Исследователи опубликовали работу о том, что большие языковые модели умеют «читать» сырые веса нейросетей — без запуска кода, без инструментов, только по числам с плавающей точкой. Главным героем бумаги стал GPT-6 Astra, но разработчик Саймон Уиллисон проверил то же самое на Qwen 3.8 27B, запущенном локально. Результат оказался неожиданным.
Что за эксперимент и откуда он взялся
3 ноября 2026 года Рикия Такехи, Джейден Тео, Алекс Чжан и Омар Хаттаб опубликовали работу «Sparks of Weight-Space Programming». Авторы сами называют её «блог-постом», но по форме это полноценная исследовательская статья.
Главный тезис: фронтирные модели, в частности GPT-6 Astra, способны анализировать и модифицировать сырые веса машинного обучения — буквально текстовое описание модели в виде набора чисел. Авторы вводят термин Weight-Space Programming для обозначения этого класса задач.
Из абстракта: Astra смогла определить, для чего обучена сеть, просто глядя на её веса. А ещё — без какой-либо обратной связи от среды — написала с нуля небольшие игровые сети, которые обыгрывают сети, обученные методом PPO за 100 миллионов шагов. Отдельный пример: Astra нашла проблему в весах Qwen3.5-0.8B, вызывавшую петли рассуждений, и исправила 0,016% весов — это подняло результат на MATH-500 с 7,9% до 48,1%.
Уиллисон сосредоточился на более чистом вопросе: что модель может сделать с весами без инструментов вообще?
Как устроен тест и что именно проверялось
Авторы обучили четыре нейросети играть в упрощённые 10×10-версии классических игр: Breakout, Pong, Pac-Man и Freeway (аркада для Atari 2600, вышедшая в 1981 году). Затем веса каждой сети в виде чисел с плавающей точкой передавались модели вместе с одним вопросом: в какую из четырёх игр обучена играть эта сеть? Никакого кода, никаких вычислений, один ответ.
Промпты лежат в открытом репозитории RikiyaT/lm_understand-logs. Уиллисон воспользовался своим инструментом LLM с флагом -f, который позволяет передать URL текстового файла напрямую как промпт. Для запуска через OpenRouter команда выглядит так:
llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/breakout/prompt.txt \
-m openrouter/moonshotai/kimi-k3.1-proKimi K3.1 Pro через OpenRouter правильно определил Breakout за 9 минут 41 секунду, потратив 19 493 токена на рассуждения.
Что показал Qwen 3.8 27B на ноутбуке
Qwen 3.8 27B — любимая локальная модель Уиллисона. Весит 17 ГБ, запускается через LM Studio. Контекстное окно по умолчанию (8192 токена) не справилось с задачей и выдало ошибку, поэтому его пришлось увеличить вручную. Также потребовалось поднять таймаут через переменную окружения:
LMSTUDIO_TIMEOUT=900 \
llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/pacman/prompt.txt \
-m lmstudio/qwen/qwen3.8-27bРезультаты по трём играм:
| Игра | Время | Токены рассуждений | Уверенность модели |
|---|---|---|---|
| Pac-Man | 46 мин 12 сек | 43 506 | 72% |
| Pong | 1 ч 4 мин 54 сек | не указано | 75% |
| Breakout | 52 мин 25 сек | не указано | не указано |
Все три ответа оказались правильными. Для Pac-Man модель описала агента, который перемещается по лабиринту 8×8, собирает цели и избегает движущихся объектов. Для Pong — агента с правой стороны, управляющего вертикальной ракеткой. Для Breakout — ракетку внизу, отбивающую мяч.
Где здесь реальная ценность, а где открытые вопросы
Сам факт работает: локальная модель весом 17 ГБ, без доступа в интернет и без запуска кода, извлекает смысловую информацию из массива чисел. Это не тривиально — похоже, модели действительно умеют частично «читать» структуру весов, а не просто угадывают.
Но у эксперимента есть очевидные ограничения, которые источник не закрывает. Во-первых, тест проводился на очень маленьких сетях для четырёх конкретных игр — насколько это масштабируется на реальные модели, неизвестно. Во-вторых, Уиллисон проверил три из четырёх игр, а не все четыре. В-третьих, время работы — от 46 минут до часа с лишним — делает метод практически неприменимым в текущем виде для чего-то реального.
Критика Хоннибала и Гёдеке касается другой части работы — редактирования весов с кодом — и к эксперименту без инструментов напрямую не относится. Но она напоминает, что авторы смешали два разных утверждения в одну статью, и это стоит держать в голове при чтении выводов.
Для разработчика, который работает с локальными моделями, это скорее интересный ориентир, чем готовый инструмент: Qwen 3.8 27B способен на нетривиальные задачи интерпретации, но за ценой в час машинного времени на ноутбуке.