Пользователь запустил кодинг-агент на своей видеокарте RTX 4070 Ti SUPER с использованием модели Cyber-Tiel-Coder-35B-A3B-MTP, которая генерирует 125 токенов в секунду. Это достижение возможно благодаря технологиям MTP и MoE, а также оптимизированному шаблону Sharp Template.
Что вышло
Пользователь использовал модель Cyber-Tiel-Coder-35B-A3B-MTP, которая является модификацией Tiel-Coder-35B-A3B-GGUF-MTP. Основные особенности модели:
- MTP (Multi-Token Prediction): позволяет LLM предсказывать сразу несколько следующих токенов вместо одного, что даёт прирост скорости инференса на 20%.
- MoE (Mixture of Experts): позволяет получить качество большой модели, выполняя для каждого токена вычисления только с частью её параметров. Прирост скорости генерации токенов составляет +200-450%.
- Sharp Template: оптимизированный Chat Template (Jinja) с системным промптом, который заставляет LLM тратить меньше токенов на рассуждения и ответы, не теряя при этом необходимой информации. Он сокращает инференс на 59%, что в итоге ускоряет работу кодинг-агента в 2 раза.
Цифры и лимиты
- Скорость генерации: 125 токенов в секунду.
- Контекстное окно: 65535 токенов.
- Максимальное количество токенов для генерации: 32768 токенов.
Кому это нужно на практике
Эта модель подойдёт разработчикам, которые хотят использовать кодинг-агент на своей локальной видеокарте. Особенно полезно это для тех, у кого нет доступа к мощным облачным ресурсам или для тех, кто хочет защитить конфиденциальность своего кода.
Ограничения и чего в источнике нет
- Контекстное окно: 65535 токенов может быть недостаточно для сложных задач. Пользователь использует несколько подходов для решения этой проблемы, таких как разбиение задачи на подзадачи и использование SKILL subtask4llm-pi.
- Качество кода: Модель использует подход Роберта Мартина, который требует от модели писать код в жестких рамках, чтобы снизить количество ошибок.
- Поддержка других моделей: В источнике нет информации о поддержке других моделей, таких как Codex или Claude.