Форк llama.cpp, свой квант и редкое железо: почему такие отчёты не воспроизводятся

⚡ Суть спора

Открывающий пост — пародия на жанр, который в r/LocalLLaMA узнают все: «форк llama.cpp + конкретный квант + ультра-специфичная конфигурация железа = невероятные и невоспроизводимые pp и tg» (prompt processing и token generation). Шутка задела за живое: под ней сразу вырос практический запрос — как запустить QFN на смешанной связке из RTX 5090 и 7900 XTX. Обсуждают, чего не хватает таким публикациям, чтобы им можно было верить и повторять.

🗣 Что говорят участники

Участник под ником suprjami подхватывает сарказм и перечисляет рецепт «того самого» поста: «Only if it's vibe coded and completely impenetrable to read, with the post wall of text written by LLM too». То есть нечитаемый код, стена текста и никакой возможности повторить результат.

sheetis узнаёт в этом себя: он «currently running a fork of a fork of Strata» с оптимизациями под две AMD 7900 XTX, хотя у него четыре устройства, и полдня отправлял «роботов» разбираться с локальной сборкой. Итог — «runs numbers that nobody would believe», и признание: «If I posted my numbers, I'd be that guy 😢».

Sea_C переводит разговор в практику: ему нужен способ гонять QFN одновременно на 5090 и 7900 XTX через Vulkan или ROCm, и он прямо пишет, что «struggling to find that obscure llama.cpp fork/config». Про 27B у него уже получается: «Works amazingly for 27B».

sheetis отвечает, что с такой связкой «I'd almost certainly have to be Vulkan or bust», а значит llama.cpp, который для QFN не самый быстрый путь. Он называет это «a long uphill battle» и добавляет, что «just» 5090 на Strata может удивить по производительности — с оговоркой, что многое зависит от квантов.

Apprehensive_Stop314 бьёт в самое слабое место формата одной фразой: «Specific quant that you never mention, that is». Это и есть главная претензия к отчётам, где железо и цифры есть, а кванта нет.

⚖️ Где сходятся, где расходятся

Общий знаменатель: отчёт «мой форк выдал X tok/s» без деталей бесполезен, и это признают все участники ветки — кто с иронией, кто с досадой. Фактически все четверо обсуждают одно свойство таких постов: невоспроизводимость.

Расходятся в реакции. suprjami и sheetis выбирают самоиронию и осторожность — не публиковать цифры, чтобы не стать «тем самым» автором. Sea_C хочет обратного: конкретный конфиг и рабочий рецепт для смешанной связки. Единого мнения о том, как должен выглядеть хороший отчёт, в ветке нет: совет про 5090 на Strata — гипотеза sheetis, а не проверенный результат.

🧪 Что проверить самому

• Зафиксировать точку сборки: хеш коммита форка и форка-родителя. Без этого любые pp/tg — единичные наблюдения.
• Записать квант полностью — тип, кто собрал, размер файла — и параметры запуска: -ngl, --tensor-split, размер батча, контекст.
• Прогнать замер дважды: холодный старт и после прогрева, отдельно pp и tg, на одном и том же промпте фиксированной длины.
• Сравнить с апстримом llama.cpp на той же модели и кванте — разница покажет вклад самого форка.
• Для связки NVIDIA + AMD проверить Vulkan-бэкенд на обеих картах и отдельно режим «только 5090», как предлагает sheetis.

🔗 Источники

r/LocalLLaMA — [llama.cpp fork]: QFN + [specific quant] + [ultra specific hardware config] = [incredible and irreproducible pp and tg]

Дисклеймер: это пересказ обсуждения, а не проверенные редакцией факты. Мнения принадлежат участникам, цифры — тем, кто их привёл.