Российские исследователи сжали LLM алгоритмом HARP: 2 бита и ускорение в 2,1 раза

⚡ Главное за 5 секунд - Российские исследователи представили алгоритм HARP для сжатия больших языковых моделей. - В испытаниях 2-битная версия модели работала в 2,1 раза быстрее несжатой. - При сильном сжатии сохраняется значительная часть возможностей исходной модели. ### 🔍 Что обнаружено Российские исследователи разработали алгоритм HARP, предназначенный для сильного сжатия больших языковых моделей. Метод позволяет переводить LLM в 2-битный формат — то есть резко снижать разрядность весов. По результатам испытаний 2-битная версия модели запускалась в 2,1 раза быстрее несжатой, при этом, как сообщается, сохраняла значительную часть своих возможностей. Механика HARP в источнике раскрыта лишь на уровне заявленного результата: это алгоритм сжатия весов, а не отдельная модель. Конкретные архитектурные детали, наборы бенчмарков и список протестированных моделей в поводе не приводятся — известно только итоговое соотношение «2 бита против полной точности» и замер ускорения в 2,1 раза. ### 💡 Почему это важно Квантование в 2 бита — один из самых агрессивных режимов сжатия: именно на таких разрядностях модели обычно теряют связность ответов, поэтому заявленное сохранение возможностей и есть главная ин