# Форк llama.cpp, свой квант и редкое железо: почему такие отчёты не воспроизводятся

> 2026-11-07 · AI Release · @ai_release1

> #AI #llama.cpp #LocalLLaMA

### ⚡ Суть спора Открывающий пост — пародия на жанр, который в r/LocalLLaMA узнают все: «форк llama.cpp + конкретный квант + ультра-специфичная конфигурация железа = невероятные и невоспроизводимые pp и tg» (prompt processing и token generation). Шутка задела за живое: под ней сразу вырос практический запрос — как запустить QFN на смешанной связке из RTX 5090 и 7900 XTX. Обсуждают, чего не хватает таким публикациям, чтобы им можно было верить и повторять. ### 🗣 Что говорят участники Участник под ником suprjami подхватывает сарказм и перечисляет рецепт «того самого» поста: «Only if it's vibe coded and completely impenetrable to read, with the post wall of text written by LLM too». То есть нечитаемый код, стена текста и никакой возможности повторить результат. sheetis узнаёт в этом себя: он «currently running a fork of a fork of Strata» с оптимизациями под две AMD 7900 XTX, хотя у него четыре устройства, и полдня отправлял «роботов» разбираться с локальной сборкой. Итог — «runs numbers that nobody would believe», и признание: «If I posted my numbers, I'd be that guy 😢». Sea_C переводит разговор в практику: ему нужен способ гонять QFN одновременно на 5090 и 7900 XTX через Vulkan или ROCm, и он прямо пишет, что «struggling to find that obscure llama.cpp fork/config». Про 27B у него уже получается: «Works amazingly for 27B». sheetis отвечает, что с такой связкой «I'd almost certainly have to be Vulkan or bust», а значит llama.cpp, который для QFN не самый быстрый путь. Он называет это «a long uphill battle» и добавляет, что «just» 5090 на Strata может удивить по производительности — с оговоркой, что многое зависит от квантов. Apprehensive_Stop314 бьёт в самое слабое место формата одной фразой: «Specific quant that you never mention, that is». Это и есть главная претензия к отчётам, где железо и цифры есть, а кванта нет. ### ⚖️ Где сходятся, где расходятся Общий знаменатель: отчёт «мой форк выдал X tok/s» без деталей бесполезен, и это признают все участники ветки — кто с иронией, кто с досадой. Фактически все четверо обсуждают одно свойство таких постов: невоспроизводимость. Расходятся в реакции. suprjami и sheetis выбирают самоиронию и осторожность — не публиковать цифры, чтобы не стать «тем самым» автором. Sea_C хочет обратного: конкретный конфиг и рабочий рецепт для смешанной связки. Единого мнения о том, как должен выглядеть хороший отчёт, в ветке нет: совет про 5090 на Strata — гипотеза sheetis, а не проверенный результат. ### 🧪 Что проверить самому - Зафиксировать точку сборки: хеш коммита форка и форка-родителя. Без этого любые pp/tg — единичные наблюдения. - Записать квант полностью — тип, кто собрал, размер файла — и параметры запуска: `-ngl`, `--tensor-split`, размер батча, контекст. - Прогнать замер дважды: холодный старт и после прогрева, отдельно pp и tg, на одном и том же промпте фиксированной длины. - Сравнить с апстримом llama.cpp на той же модели и кванте — разница покажет вклад самого форка. - Для связки NVIDIA + AMD проверить Vulkan-бэкенд на обеих картах и отдельно режим «только 5090», как предлагает sheetis. ### 🔗 Источники r/LocalLLaMA — [llama.cpp fork]: QFN + [specific quant] + [ultra specific hardware config] = [incredible and irreproducible pp and tg] **Дисклеймер:** это пересказ обсуждения, а не проверенные редакцией факты. Мнения принадлежат участникам, цифры — тем, кто их привёл.

[Источник](https://www.reddit.com/r/LocalLLaMA/comments/1xn7rfh/llamacpp_fork_qfn_specific_quant_ultra_specific/)