Память агента

В этом блоке разберём, что остаётся у агента после конца прогона: что стоит хранить, когда это записывать и читать и почему самое трудное — убирать устаревшее.

3 октября покупатель Northwind с номером C-2291 пишет: «Доставляйте, пожалуйста, в пункт выдачи PUDO-17, по будням меня не бывает дома». 2 ноября он сообщает, что переехал и теперь хочет курьера до двери. 5 ноября он заказывает замену. Какую доставку должен оформить агент?

Картотека у телефона

Ваш коллега забывает разговор, как только вы кладёте трубку. Поэтому у телефона стоит картотека, по карточке на покупателя. Перед звонком вы достаёте карточку и зачитываете её. После разговора обновляете.

Из этой картины следуют три вещи, и в настоящих системах они работают так же:

• Карточек у коллеги нет. Он знает только то, что вы зачитали.
• Вы выбираете, что написать на карточке и чью карточку достать.
• Карточка со старыми сведениями хуже, чем никакой: её зачитают с той же уверенностью.

В агенте окно — это краткосрочная память: в ней лежит текущий прогон, и исчезает она вместе с ним. Картотека — это долгосрочная память: хранилище вне модели и код, который кладёт нужное в окно.

Памятью называют три разные вещи, и только одна из них — та самая:

Что пишут на карточке

Распространённое деление пришло из когнитивной науки, через статью о CoALA и документацию LangGraph:

Семантическая память обычно устроена как профиль или набор фактов. Эпизодическую часто используют как примеры того, как решался похожий случай. В CoALA процедурная память — это веса модели и код агента. Документация LangGraph добавляет сюда промпт и сопоставляет случай агента с системным промптом: веса и код агенты меняют редко, а промпты чаще.

Кое-что на карточку писать не надо: всё, чем владеет основная система учёта. Статусом заказа владеет база заказов. Если агент ответит по заметке месячной давности «отправлено», ошибка будет выглядеть как правильный ответ.

Когда записывать

Обычно есть два момента. В документации LangGraph их называют hot path и background.

В hot path, то есть прямо в ходе ответа, агент решает сохранить факт вызовом инструмента ещё до ответа. Факт доступен уже на следующем шаге. Цена — лишняя задержка и модель, которой приходится делать две работы сразу.

В фоне отдельный процесс читает законченный разговор и достаёт из него факты. Ответ не задерживается, а логика памяти живёт отдельно. Зато нового факта нет, пока этот процесс не отработал, и надо решить, когда его запускать.

В Northwind используют оба способа: смену доставки сохраняют сразу, потому что она может понадобиться на следующем шаге, а всё остальное извлекают ночью.

Когда читать

Загружать всегда. Короткий профиль попадает в промпт в начале каждого прогона. Это надёжно, но оплачивается при каждом вызове: карточка на 800 токенов в прогоне из 12 вызовов добавляет 9 600 токенов, если ничего не кэшируется.

Доставать по требованию. Модель вызывает инструмент поиска или чтения, когда считает, что память поможет. Пока это не нужно, платить приходится только за описание инструмента, но модель может и не посмотреть.

Memory tool от Anthropic — один из вариантов второго способа, причём API сам добавляет указание сначала просмотреть папку памяти. Инструмент работает с файлами в /memories и выполняется на стороне клиента: Claude просит об операции, а ваше приложение её выполняет. Поэтому хранение, лимиты и безопасность остаются за вами.

Границы задаёт ваш код. Память каждого покупателя лежит под его ключом: это namespace в LangGraph или отдельная папка пользователя за путём /memories у Anthropic. Ключ ваш код берёт из проверенной сессии. Если брать его из аргументов модели, одно неверное значение зачитает карточку одного покупателя другому.

Забывать труднее всего

Сохранить — это одна строка кода. Вернёмся к вопросу о доставке из начала блока. В хранилище, которое только добавляет факты, у C-2291 окажется два ответа, и поиск вернёт тот, что покажется ближе.

Что делать, зависит от того, как факт устаревает:

Закрывать лучше, чем перезаписывать, если нужно отвечать на вопрос «что было верно тогда?». В статье о Zep это встроено в граф памяти: у фактов есть даты действия, а опровергнутые факты помечаются недействительными вместо удаления.

Вывод

• Окно заканчивается вместе с прогоном. Долгосрочная память — это хранилище и код, который решает, что попадёт в окно.
• Решите, какого вида факт, когда он записывается, когда читается и под чьим ключом лежит.
• Хранить легко. Заранее продумайте, как факты закрываются, истекают и удаляются, и не держите в памяти то, чем владеет система учёта.

Глубже