Инструмент для доступа к Claude не показывал ход рассуждений модели — баг нашли и починили

При тестировании свежей Claude Fable (и Mythos) 5.1 разработчик Саймон Уиллисон обнаружил: открытый инструмент llm-anthropic, через который он обращается к API Claude, некорректно записывал reasoning traces — текстовые следы того, как модель рассуждает перед ответом. Баг он исправил сам, прежде чем продолжить тесты.

Что случилось

Уиллисон гоняет свой традиционный бенчмарк — просит модель нарисовать SVG-пеликана на велосипеде — на разных уровнях "усилия рассуждения" (reasoning effort). У Fable 5.1 таких уровней пять: low, medium, high, xhigh, max, и отключить рассуждения совсем нельзя.

Готовясь к тестам, он заметил, что llm-anthropic не сохранял reasoning-трейсы правильно. То есть даже если модель действительно рассуждала перед генерацией ответа, инструмент не показывал эти рассуждения в логах. Уиллисон исправил проблему в коде llm-anthropic и только после этого запустил серию промптов.

После фикса выяснилась любопытная деталь: на уровнях low и medium Fable 5.1 в его тестах вообще не выдавала текст рассуждений — похоже, модель пропускала reasoning на этих настройках для конкретного промпта. А вот на high, xhigh и max трейсы записывались корректно и были довольно подробными: на max объём вывода доходил до 65 927 токенов, а сама генерация занимала почти 14 минут.

Кого касается

Проблема затрагивает не сам сервис Claude, а конкретный сторонний инструмент — llm-anthropic, плагин для CLI-утилиты llm, которым пользуются разработчики и исследователи для работы с API Anthropic через командную строку. Если вы используете этот плагин для анализа того, как модель рассуждает — например, чтобы понять логику ответа или отладить промпт — до фикса эти данные могли не сохраняться или сохраняться неполно.

Обычных пользователей веб-интерфейса или приложения Claude это не касается: там reasoning traces показываются через собственный UI Anthropic, а не через сторонний инструмент Уиллисона.

Отдельно стоит короткая заметка про артефакт при работе с готовым результатом: когда Уиллисон анимировал SVG-пеликана и экспортировал анимацию в видео, колёса на записи вращались не в ту сторону. Это, по его словам, скорее всего связано с конвертацией SVG в MP4, а не с самой моделью — в оригинальном SVG направление вращения было правильным.

Что делать прямо сейчас

Если вы используете llm-anthropic и вам важны корректные reasoning traces, стоит обновить плагин до актуальной версии — фикс уже внесён автором. Официальной записи в changelog или отдельного репорта об issue в источнике нет, только упоминание автора о том, что он "исправил проблему" перед тестами.

Если вы столкнулись с артефактом вращения колёс при конвертации SVG-анимации в видео — проверяйте направление вращения в исходном SVG-файле, а не полагайтесь на MP4-экспорт: похоже, дело именно в конвертации.

Чего мы не знаем

Неизвестно, с какой версии llm-anthropic появился баг с записью reasoning traces, как долго он существовал и затронул ли он других пользователей плагина до фикса Уиллисона. Также нет данных, был ли баг связан именно с новой моделью Fable 5.1 или проявлялся и на более ранних версиях Claude. Официального комментария от Anthropic по этому поводу источник не приводит — речь идёт исключительно о стороннем open-source инструменте одного разработчика.

Пока это скорее локальная техническая деталь тестирования, чем сбой самого сервиса Claude: модель работала штатно, проблема была в записи логов на стороне клиента.

Источники

• Simon Willison: Claude Fable 5.1 made me a really nice animated pelican