# Cyber-Tiel-Coder-35B-A3B-MTP: 125 токенов в секунду на RTX 4070 Ti SUPER
Каноническая страница: https://plainews.ru/posts/cyber-tiel-coder-35b-a3b-mtp-125-tokens-per-second
Опубликовано: 2026-10-27T11:01:04.647Z

Как запустить кодинг-агент на локальной видеокарте с 125 токенами в секунду. Модель Cyber-Tiel-Coder-35B-A3B-MTP и её оптимизации.
Пользователь запустил кодинг-агент на своей видеокарте RTX 4070 Ti SUPER с использованием модели Cyber-Tiel-Coder-35B-A3B-MTP, которая генерирует 125 токенов в секунду. Это достижение возможно благодаря технологиям MTP и MoE, а также оптимизированному шаблону Sharp Template.

## Что вышло

Пользователь использовал модель Cyber-Tiel-Coder-35B-A3B-MTP, которая является модификацией Tiel-Coder-35B-A3B-GGUF-MTP. Основные особенности модели:

- **MTP (Multi-Token Prediction)**: позволяет LLM предсказывать сразу несколько следующих токенов вместо одного, что даёт прирост скорости инференса на 20%.
- **MoE (Mixture of Experts)**: позволяет получить качество большой модели, выполняя для каждого токена вычисления только с частью её параметров. Прирост скорости генерации токенов составляет +200-450%.
- **Sharp Template**: оптимизированный Chat Template (Jinja) с системным промптом, который заставляет LLM тратить меньше токенов на рассуждения и ответы, не теряя при этом необходимой информации. Он сокращает инференс на 59%, что в итоге ускоряет работу кодинг-агента в 2 раза.

## Цифры и лимиты

- **Скорость генерации**: 125 токенов в секунду.
- **Контекстное окно**: 65535 токенов.
- **Максимальное количество токенов для генерации**: 32768 токенов.

## Кому это нужно на практике

Эта модель подойдёт разработчикам, которые хотят использовать кодинг-агент на своей локальной видеокарте. Особенно полезно это для тех, у кого нет доступа к мощным облачным ресурсам или для тех, кто хочет защитить конфиденциальность своего кода.

## Ограничения и чего в источнике нет

- **Контекстное окно**: 65535 токенов может быть недостаточно для сложных задач. Пользователь использует несколько подходов для решения этой проблемы, таких как разбиение задачи на подзадачи и использование SKILL subtask4llm-pi.
- **Качество кода**: Модель использует подход Роберта Мартина, который требует от модели писать код в жестких рамках, чтобы снизить количество ошибок.
- **Поддержка других моделей**: В источнике нет информации о поддержке других моделей, таких как Codex или Claude.

## Источники

- Habr AI: 125 токенов в секунду на RTX 4070 Ti SUPER: как я заставил локальную LLM работать полноценным кодинг-агентом