Open-source персистентная память для LLM
Задача, которая казалась тривиальной: научить LLM помнить, с кем она разговаривает. Пользователь пишет «я вегетарианец», а через три сообщения модель предлагает стейк-хаус. Знакомо? Стандартные решения — обрезка истории, суммаризация, внешние векторные базы — всё это костыли. Я пошёл другим путём и сделал NGT Memory...
Задача, которая казалась тривиальной: научить LLM помнить, с кем она разговаривает. Пользователь пишет «я вегетарианец», а через три сообщения модель предлагает стейк-хаус. Знакомо? Стандартные решения — обрезка истории, суммаризация, внешние векторные базы — всё это костыли. Я пошёл другим путём и сделал NGT Memory — модуль персистентной памяти с открытым исходным кодом. В статье подробно расскажу про архитектуру, эксперименты и все найденные решения. Если строили чат-ботов или AI-агентов — будет интересно
Краткая сводка
Автор представляет NGT Memory — открытый модуль персистентной памяти для LLM, который позволяет моделям сохранять информацию о пользователе без использования традиционных подходов, таких как обрезка истории, суммаризация или внешние векторные базы. В статье раскрыты архитектура, проведённые эксперименты и найденные решения.
Связанные теги
Компании и люди
Линия сюжета
Продолжить следить за темой
Переходите к связанным материалам, страницам сущностей и активным линиям сюжета.
Топ-13 бесплатных нейросетей для генерации презентаций в 2026 году
Март не так часто балует нас громкими новинками, как хотелось бы, но индустрия не стоит на месте. В прошлой статье я рассказывал о ИИ-инструментах/агентах/сервисах для программи...
Как установить DeepSeek на сервере: практическое руководство
Рано или поздно наступает момент, когда понимаете: без LLM, работающей только на вас, дальше жить нельзя. Публичные модели, даже в платных подписках, — это всегда риск. Сомнения...
Влияние очистки от персональных данных на работу LLM-агентов
Когда персональные данные пользователей попадают в LLM-агента, возникает выбор: либо передавать их как есть, либо предварительно анонимизировать. Второй вариант очевидно безопас...
Почему нам пришлось превратить нормативные документы в граф, а не просто загрузить их в векторную базу
Когда говорят про RAG, обычно имеют в виду довольно прямую схему: взять документы, нарезать их на фрагменты, посчитать эмбеддинги, сложить всё в векторную базу и поверх этого по...
Рекламный слот
Article monetization slot
Reserved for contextual monetization inside article pages.
Похожие статьи
Еще материалы, которые пересекаются по тегам, источнику или категории.
Топ-13 бесплатных нейросетей для генерации презентаций в 2026 году
Март не так часто балует нас громкими новинками, как хотелось бы, но индустрия не стоит на месте. В прошлой статье я рассказывал о ИИ-инструментах/агентах/сервисах для программи...
Как установить DeepSeek на сервере: практическое руководство
Рано или поздно наступает момент, когда понимаете: без LLM, работающей только на вас, дальше жить нельзя. Публичные модели, даже в платных подписках, — это всегда риск. Сомнения...
Влияние очистки от персональных данных на работу LLM-агентов
Когда персональные данные пользователей попадают в LLM-агента, возникает выбор: либо передавать их как есть, либо предварительно анонимизировать. Второй вариант очевидно безопас...
Почему нам пришлось превратить нормативные документы в граф, а не просто загрузить их в векторную базу
Когда говорят про RAG, обычно имеют в виду довольно прямую схему: взять документы, нарезать их на фрагменты, посчитать эмбеддинги, сложить всё в векторную базу и поверх этого по...
Еще материалы от Habr
Свежие публикации и продолжение темы от той же редакции.
Строим перспективу по изображению
Преобразование Хафа, оператор Собеля и немного линейной алгебры: как я добавил в приложение автоматическое построение перспективы по изображению.
Сложно о простом. Все, что бы вы хотели знать о SFP модулях. Часть 4. Альтернатива SFP (DAC AOC) и пассивные компоненты
Приветствую, коллеги! Это опять @ProstoKirReal. В прошлых статьях я с вами обсуждал работу и историю развития SFP-модулей, а также оптические кабели:В данной статье я бы хотел о...
BRIN, GIN, B‑Tree: полный гайд по индексам PostgreSQL для highload
Индексы есть, а запросы всё равно тормозят? Или наоборот — индексов слишком много, и они только увеличивают нагрузку на запись?Многие разработчики и администраторы баз данных по...
Обзор конструкции и работы портативного ультразвукового прибора для прослушивания сердцебиения (Fetal Doppler)
Листая на досуге интернет-сервис для размещения объявлений («Авито», не для рекламы) обнаружил, что продаётся много бывших в употреблении устройств с названием типа: «Ультразвук...