В ветке Hugging Face Forum (20 ответов, 2555 просмотров, 15 лайков) автор темы Suhebmultani спросил, как проектировать память агента, который работает долго — чат-бота или ассистента. Разговор быстро свёлся к одному вопросу: кто в системе отвечает за память — модель или код вокруг неё. Практики отвечают «код», но как только речь доходит до конкретики — база, сериализация, критерии забывания — ветка упирается в архитектурные схемы.
Pimpcat-AU задаёт тон рубленой формулой: «Do not make the prompt the memory system». Полную историю, файлы, результаты инструментов, предпочтения пользователя, принятые решения и состояние задачи он предлагает держать в базе снаружи модели, а в контекст выдавать только релевантные факты под текущий шаг. Во втором сообщении формулирует жёстче: «The model is not the memory system. The runtime is». Решение о том, что станет долговременной памятью, по его мнению, всегда принимает приложение; LLM может лишь предложить кандидатов на запоминание, но не писать постоянное состояние без правил вокруг.
marksml (Michael) — главный скептик ветки. С архитектурой он соглашается, но переводит разговор в инженерию: «Which part of the agent decides what to keep and what to through away aka forget/ignore?» Кто решает — логика приложения или «мозг»-LLM? Какая конкретно база, как устроена сериализация, по каким критериям чистить? Прямого ответа на это в переданных комментариях нет: ни названия СУБД, ни формата хранения, ни замеров там не прозвучало. В итоге Michael просит пример приложения или туториал — правила такого типа ему понятнее в виде работающего кода.
rml0214 отвечает на этот запрос своим открытым проектом Context Compiler: там «the runtime owns authoritative state, and the model only receives a controlled working view each turn». Вне модели живёт небольшое явное состояние — «premise + policies», хост подставляет его в промпт перед каждым вызовом, а обновления идут детерминированно. По сути это та же схема Pimpcat-AU, только с явно названным минимальным набором состояния.
paulolden1 описывает свой опыт в Gradio-пространстве: стандартный датасет для базовых данных плюс parquet-файл, где лежат рефлексии по этим данным и по чатам с пользователем — включая рефлексии о рефлексиях. Обновляется всё в простое: «This improves continuously during idle time». Схему выборки из этого файла он не приводит.
Lance-Smith собирает память из артефактов: поданный промпт сохраняется как физический файл, ответ — тоже, с меткой времени и привязкой к разговору, чтобы их можно было сшивать между собой. Второй слой — «Notes» и вложенные роадмапы проектов. lulavc коротко благодарит за материал: читает ветку и строит память своей модели на VPS.
Общий знаменатель виден отчётливо: модель не хранилище, контекст — это выборка, а не весь лог, состояние живёт в коде и на диске, а модель получает рабочее представление на шаг. К этому независимо пришли Pimpcat-AU, rml0214, paulolden1 и Lance-Smith — разными словами и на разном масштабе, от parquet-файла до многослойной системы артефактов.
Настоящая точка конфликта — ответ на вопрос marksml. Одно дело сказать «приложение решает», другое — описать правила: что считать кандидатом в память, когда забывать, как разрешать противоречия между старыми и новыми фактами. Ветка останавливается на уровне принципов: конкретный продукт, формат хранения и метрики качества памяти в ней не названы. Консенсуса по реализации нет — есть согласие по архитектуре.
Hugging Face Forum — How do you design memory systems for long-running AI agents?
Дисклеймер: это пересказ обсуждения, а не проверенные редакцией факты. Мнения принадлежат участникам, цифры — тем, кто их привёл.
Источник: discuss.huggingface.co · пост в Telegram