llm-echo 0.5: плагин-заглушка для LLM научился считать токены инструментов и reasoning

Simon Willison выпустил llm-echo 0.5 — обновление отладочного плагина для своего фреймворка LLM. Плагин не вызывает никакую реальную языковую модель: он просто возвращает обратно всё, что ему передали. В новой версии он научился корректно симулировать подсчёт токенов с учётом вызовов инструментов, системных промптов и токенов рассуждения (reasoning tokens).

Что такое llm-echo и зачем он нужен

llm-echo — это плагин-заглушка (mock) для фреймворка LLM, который Willison разрабатывает как универсальный CLI-инструмент для работы с языковыми моделями. Вместо того чтобы отправлять запрос в OpenAI, Anthropic или любой другой провайдер, плагин регистрирует псевдомодель с именем echo, которая просто отражает входящий промпт обратно.

Это полезно при разработке и тестировании: можно проверить, как фреймворк формирует запрос, какие метаданные передаёт, как обрабатывает системный промпт — без единого реального API-вызова и без затрат на токены.

Что изменилось в версии 0.5

Главное изменение — симулируемый подсчёт токенов теперь учитывает больше компонентов запроса. Раньше счётчик был упрощённым; теперь он принимает во внимание:

• вызовы инструментов (tool calls),
• системные промпты (system prompts),
• токены рассуждения (reasoning tokens).

Это важно, потому что Willison готовит новый большой релиз самого фреймворка LLM и тестирует pull request'ы. Для корректного тестирования нужно, чтобы отладочная «модель» вела себя так же, как настоящая — в том числе в части отчётности по токенам.

Как это выглядит на практике

Запустить плагин можно без установки, через uvx:

uvx --with llm-echo llm -m echo 'hi there' -o thinking 1 --usage

Вывод будет примерно таким:

First I consider the prompt, then I decide what to say.
{
  "prompt": "hi there",
  "system": "",
  "attachments": [],
  "stream": true,
  "previous": []
}
Token usage: 2 input, 24 output

Плагин возвращает структуру запроса в виде JSON и добавляет строку с подсчётом токенов. Флаг --usage включает отображение статистики; флаг -o thinking 1 активирует режим симуляции reasoning-токенов.

Кому это нужно на практике

Плагин полезен в первую очередь разработчикам, которые пишут расширения или интеграции поверх фреймворка LLM от Willison. Если вы строите пайплайн, который использует системные промпты, вызовы инструментов или многошаговые цепочки с reasoning — llm-echo позволяет проверить логику без реальных API-запросов.

Также это удобно для написания тестов: заглушка детерминирована, не требует ключей доступа и работает офлайн. Для CI/CD-пайплайнов, где нужно проверить поведение обёртки над LLM, это практически идеальный инструмент.

Чего в релизе нет

Источник не содержит информации о совместимости с конкретными версиями Python или фреймворка LLM, о планах дальнейшего развития плагина и о том, войдёт ли llm-echo в стандартную поставку фреймворка. Willison упоминает, что готовит новый релиз LLM, но деталей о нём в этом анонсе нет.

Релиз минорный и узкоспециализированный — он решает конкретную задачу внутри одной экосистемы. Если вы не используете фреймворк LLM от Willison, llm-echo вас не касается.

Источники

• Simon Willison: llm-echo 0.5