AGI как когнитивная ОС: что если искать программы, а не веса

⚡ Главное за 5 секунд - Исследователи предлагают искать в весах нейросети не отдельные параметры, а выученные программы — когнитивные алгоритмы. - Статья с гипотезой опубликована на Habr, автор Minebot. - Пока это гипотеза: универсального «декомпилятора нейросети» нет, а найденные структуры требуют дальнейшей интерпретации. ### 🔍 Что обнаружено В статье Minebot, опубликованной на Habr 25 сентября, проводится аналогия между LLM и бинарником без исходников: модель блестяще пишет код, переводит и шутит, но документации и кода нет — только сотни гигабайт весов. Авторы рассматривают поведение как функцию с памятью: (вход, состояние) → (действие, новое состояние). Математически нейросеть и программа — это две записи одного вычисления: в одном случае структура размазана по весам, в другом — записана явно. Ключевые примеры: клеточный автомат Rule 110 — 8 бит правил и цикл дают тьюринг-полную систему (M. Cook, 2004). В работе Nanda и др. (2023) однослойный трансформер обучали сложению по модулю 113 — после фазы запоминания он начал обобщать через алгоритм с синусами и косинусами. При этом сотни тысяч параметров модели описываются парой формул. Авторы также напоминают ограничения теоремы об универсальной аппроксимации: конечная feed-forward сеть не заменит программу с бесконечной памятью, но при ограничении входа и времени поведение можно воспроизвести. ### 💡 Почему это важно Если гипотеза верна, то сильный ИИ стоит не только обучать, но и искать — как программу с читаемым кодом, явной памятью и понятными модулями. Сегодня понимание современных моделей устроено как экспериментальная наука: наблюдение, гипотеза, вмешательство, измерение эффекта. Это медленнее и менее надёжно, чем реверс-инжиниринг. Извлечение программ могло бы перевести отладку и улучшение ИИ с гадания по результатам на явные алгоритмы — от дистилляции и pruning до program synthesis и circuit analysis, которые уже используются для сжатия и интерпретации. ### 🧩 Контекст В основе статьи лежит наблюдение: LLM — это «скомпилированный интеллект», а его исходный код мы читать не умеем. Нейросеть и программа — не противоположности, а два способа представить вычисление. Сложность при этом определяется не только числом параметров, но и рекуррентностью и памятью: параметры ≠ сложность. Маленькая программа, применённая многократно, может порождать сколь угодно сложное поведение. Теоретический предел сжатия задаёт колмогоровская сложность функции: если закономерность структурна, сеть может быть на порядки больше минимального описания. Вопрос о том, используют ли огромные сети миллиарды параметров лишь как пространство поиска, а найденная закономерность на самом деле компактна, остаётся открытым. Авторы перечисляют существующие инструменты сжатия и механистической интерпретируемости, но признают: универсального декомпилятора нейросетей пока нет.

🔗 Читать на habr.com