Разработчик TheSashaDev вручную перебрал 17 формулировок системной вставки для GLM-5.3 Prime на ризонинге Max, прогнал 342 грязных промпта в парных тестах и нашёл фразу из шести слов, которая поднимает точность на 7.3 процентных пункта и срезает reasoning-токены почти вдвое. Ниже — конкретные формулировки, цифры и подводные камни, чтобы вы могли повторить это у себя.
Зачем вообще трогать системный промпт на Max
У GLM-5.3 Prime в режиме Max есть характерная проблема: модель хеджирует. Вместо одного ответа она выдаёт два-три варианта с оговорками и перекладывает выбор на пользователя. На простой «Привет» может думать минуту, а на миграцию проекта между стеками — 15 секунд. Reasoning-токены тратятся не на глубину, а на перестраховку.
Задача — заставить модель выбирать наиболее вероятное прочтение запроса и отвечать по нему, не раздувая ответ оговорками. Без файнтюна, без дополнительных API-параметров — одной строкой в system prompt.
Почему «думай глубже» не работает
Первая интуиция — добавить инструкции вроде «продумай каждый кейс», «adaptive depth», «lookahead с перебором альтернатив». Автор попробовал десяток таких вставок. Результаты:
| Тип вставки | Точность (pp) | Reasoning-токены |
|---|---|---|
| «Думай глубже» (лучшая из серии) | +1.3 (в шуме ±4) | без изменений |
| «Думай как можно дольше» | −2.7 | +37% |
| «Продумай все кейсы, потом коротко» | −5.5, p=0.000000 | рост |
Вывод жёсткий: на Max модель уже думает достаточно. Лишние шаги размышлений без внешней обратной связи чаще меняют правильный ответ на неправильный — это совпадает с выводами свежих исследований по overthinking в reasoning-моделях.
Какие формулировки реально работают
Автор прогнал 17+ формулировок по 342 промптам (поровну EN и RU, с опечатками, сленгом, «пжпж» и «хз»), по три сэмпла на каждую, с парным sign-тестом. Вот ключевые результаты:
| Вставка | Точность | Средняя длина ответа | Reasoning-токены |
|---|---|---|---|
| Без вставки (baseline) | 0.8754 | 39.9 слов | 1000 |
| `Answer in as few words as possible, exactly.` | 0.9485 (+7.31pp) | 8.2 слов | 535 (−47%) |
| `Отвечай коротко и точно.` | 0.9143 (+4.39pp) | — | −53% |
| `Answer briefly` | 0.9133 | 23.9 слов | — |
| `Answer concisely` | 0.8908 | — | — |
| `Отвечай коротко` | 0.9094 | — | — |
| `Кратко` | 0.8840 | — | — |
Победитель для английских промптов — Answer in as few words as possible, exactly. с sign-тестом p=0.000000 (139 побед против 14 поражений). Для русских промптов лучше работает Отвечай коротко и точно.
Добавлять вставку нужно в системный промпт:
Answer in as few words as possible, exactly.Для русскоязычных задач:
Отвечай коротко и точно.Что происходит внутри: модель перестаёт хеджировать
Механика не в том, что ответ просто стал короче. Краткий формат физически не вмещает все оговорки, и модель вынуждена в reasoning-фазе выбрать одно наиболее вероятное прочтение запроса — вместо того чтобы перекладывать выбор на пользователя.
Пример из логов. Пользователь пишет: «у меня завтра собес с тима-лидом на питоне, ваще не готов, спасай». Без вставки GLM выдаёт: «Короткий ответ: B, и C как материал к нему» — два варианта с оговоркой. Со вставкой: «B». Одно решение, названное прямо.
Домен «угадал намерение из неоднозначного сообщения» на русском вырос с 0.873 до 1.000. Следование грязным инструкциям (ru/if) — с 0.698 до 0.911. При этом ни один вектор не просел: math поднялся с 0.867 до 0.887, logic — с 0.979 до 1.000. Код не сломался: 24 из 24 pytest-задач пройдены, reasoning-токены на коде упали с 6141 до 3030 — вдвое меньше за тот же идеальный результат.
Токен-хантинг: детали, которые решают
Несколько закономерностей из ручного перебора:
- «briefly» бьёт «concisely» — 0.9133 против 0.8908. Модель чаще игнорирует «concisely».
- Глагол-императив сильнее наречия — «Отвечай коротко» (0.9094) против «Кратко» (0.8840).
- Добавка «точно/exactly» усиливает эффект — «коротко и точно» 0.9288, «as few words as possible, exactly» 0.9454.
- Языковые триггеры не взаимозаменяемы — на EN-промптах английская фраза даёт +3.5pp, русская только +1.6pp. На RU-промптах обе тащат (+9–11pp), но русская вставка на английских промптах жжёт лишние токены: модель в reasoning переводит инструкцию самой себе.
- Эффект стабилен на разных температурах — +5.9pp на temperature 0.7, +6.8pp на вендорском дефолте.
Где это ломается
Оптимум — между «as few words as possible» и «одним словом». Формулировка не задаёт жёсткий лимит, а задаёт направление: будь конкретен, не хеджируй.
Ещё один подводный камень: русская вставка на чисто английских промптах тратит лишние токены на внутренний перевод. Если ваш продукт мультиязычный, имеет смысл подставлять вставку динамически в зависимости от языка запроса.
Что попробовать дальше
Автор тестировал на бенчмарке из 342 промптов — это достаточно для sign-теста, но ваш продакшен может отличаться. Стоит прогнать вставку на своих реальных логах и проверить, не просели ли специфичные для вашего домена задачи. Формулировку можно адаптировать: ключевые компоненты — императив, указание на краткость и слово «exactly»/«точно» как якорь точности.
Для агентских сценариев, где модель должна выбирать инструмент или следующий шаг, эффект «перестала хеджировать» может быть даже важнее, чем рост точности на бенчмарке.
FAQ
Работает ли вставка с другими моделями, кроме GLM-5.3 Prime?
Автор тестировал только на GLM-5.3 Prime в режиме Max. Механика «краткость убирает хеджирование» вероятно переносима, но конкретные формулировки и величина эффекта будут другими — нужен свой бенчмарк.
Не потеряет ли модель качество на длинных задачах вроде генерации кода?
По результатам автора — нет. 24 из 24 pytest-задач пройдены со вставкой, reasoning-токены на коде упали с 6141 до 3030 при том же идеальном результате. Но если ваша задача требует развёрнутого текстового ответа (статья, документация), вставка может быть контрпродуктивной.
Можно ли комбинировать вставку с другими системными инструкциями?
Да, вставка добавляется в system prompt к остальным инструкциям. Главное — не добавлять противоречащих указаний вроде «отвечай подробно» или «рассмотри все варианты», которые нейтрализуют эффект краткости.
Почему нельзя просто написать «Ответь одним словом»?
Слишком жёсткое ограничение ломает задачи, где ответ физически не помещается в одно слово. Точность падает на 4.9pp, домен следования инструкциям рушится до 0.63. Формулировка «as few words as possible» задаёт направление, а не жёсткий лимит.
Какой бенчмарк использовался для тестирования?
342 грязных промпта, имитирующих реальных пользователей (с опечатками, сленгом, смешением языков), поровну EN и RU. LLM-грейдер, парные sign-тесты, три сэмпла на формулировку — суммарно около 50 тысяч запросов к провайдеру.
