Tiel-Coder 35B выдаёт 125 токенов/с на RTX 4070 Ti SUPER: конфиг агента

⚡ Главное за 5 секунд

• Tiel-Coder-35B-A3B-MTP в кванте Q2_K_XL выдаёт 125 токенов в секунду на RTX 4070 Ti SUPER с 16 ГБ памяти.
• Ускорение собрано из трёх частей: MoE (+200–450%), MTP (+20%) и Sharp Template (инференс короче на 59%).
• Контекст — 65 535 токенов, поэтому задачи дробятся через plan.md и лёгкий агент Pi вместо Codex или Claude Code.

🔍 Что случилось

Автор под ником igumnov выложил на Хабре разбор того, как превратить RTX 4070 Ti SUPER с 16 ГБ GDDR6X в хост для полноценного кодинг-агента. Карта стоит около 900$, а по опросам GaugeDB 16-гиговые модели занимают 27,21% рынка настольных GPU. Ориентир по скорости задан сразу: плотная модель вроде Qwen 3.8 27B даёт на этом железе 10–20 токенов в секунду, а агенту для комфортной работы нужно 100–150. Полный текст кейса с параметрами запуска — на Хабре.

Механика держится на трёх слоях. Архитектура MoE у Tiel-Coder-35B-A3B считает на каждый токен только часть параметров, отсюда +200–450% к генерации. MTP (Multi-Token Prediction) предсказывает несколько токенов вперёд — ещё +20%. Sharp Template, урезанный Jinja-шаблон чата с системным промптом, заставляет модель меньше рассуждать «в столбик»: инференс короче на 59%, работа агента быстрее примерно вдвое. Автор держит два файла — Tiel-Coder-35B-A3B-MTP-UD-Q2_K_XL.gguf и расцензуренную (abliterated) версию Cyber-Tiel-Coder-35B-A3B-MTP-UD-Q2_K_XL.gguf, которая, по его словам, не отказывается писать эксплойты.

Агент — Pi: ему нужно около 1,5 тыс. токенов системного промпта против 10–14 тыс. у Codex и Claude Code. В ~/.pi/agent/models.json прописан провайдер lmstudio с baseUrl: http://ВАШ_ЛОКАЛЬНЫЙ_IP:1234/v1, contextWindow: 65536 и maxTokens: 32768. Рабочий цикл такой: /new, затем plan.md с планом правок, снова /new и реализация по плану. Крупные задачи режет SKILL subtask4llm-pi — не больше 10 подзадач, каждая в отдельном экземпляре агента.

🧠 Наш разбор

Новизны в отдельных компонентах нет: MoE и MTP известны, кванты GGUF тоже. Наша оценка — ценность здесь в сборке и в том, что кто-то наконец назвал цифры для самого массового класса карт. 16 ГБ — это компромиссная ниша, где раньше приходилось выбирать между умом модели и скоростью ответа.

Что это меняет на практике: локальный агент перестаёт быть игрушкой для владельцев 24–48 ГБ. Но узкое место сместилось — 65 535 токенов на агентную работу по коду мало, и весь воркфлоу автора с plan.md и подзадачами это обход ограничения, а не решение. Мы считаем, что в ближайший год споры будут не про токены в секунду, а про то, как удержать контекст.

Выигрывают владельцы 16-гиговых карт и команды, которым нельзя отдавать код в облако. Проигрывают, по нашей оценке, облачные агенты на мелких рутинных правках — там локальный контур уже сравним. Отдельно про abliterated-версию: это не фича, а риск, и ставить её в рабочий репозиторий я бы не стал.

⚠️ Чего мы не знаем

Главного в статье нет — качества кода. Ни pass@1, ни SWE-bench, ни сравнения с той же Qwen в Q4. Скорость замерил один человек на одной карте, методика (число прогонов, длина промпта) в выжимке не раскрыта. Q2_K_XL — очень грубый квант, и чем он оплачен, автор не показывает. Цифра про 27,21% — опрос GaugeDB, а не данные продаж, верить ей как рынку не стоит.