PageIndex: замена векторному поиску в RAG?
Попытки заменить чем-то векторный поиск в RAG продолжаются. Про GraphRAG я уже высказывался, новый претендент на замену - Pageindex.Идея простая. Сегментируем документ на страницы, при помощи LLM и хитрого кода строим для него таблицу содержания, TOC с деревом узлов и саммари для каждого узла. Далее отправляем эту с...
Попытки заменить чем-то векторный поиск в RAG продолжаются. Про GraphRAG я уже высказывался, новый претендент на замену - Pageindex.Идея простая. Сегментируем документ на страницы, при помощи LLM и хитрого кода строим для него таблицу содержания, TOC с деревом узлов и саммари для каждого узла. Далее отправляем эту структуру в промпт поискового запроса и просим LLM найти релевантные узлы. За каждым найденным узлом закреплены страницы документа. Эти страницы достаём и используем в качестве контекста в финальном запросе.Нет чанков, не нужны эмбеддинги и векторные хранилища. Выглядит заманчиво. Попытаюсь добавить к этой идее немного критики и заодно расскажу как эту штуку запустить локально.
Связанные теги
Компании и люди
Линия сюжета
Graphrag
Последние материалы и связанный контекст по теме Graphrag.
Habr
Последние материалы и связанный контекст по теме Habr.
Habr
Последние материалы и связанные ссылки по теме Habr.
LLM-агентов
Последние материалы и связанный контекст по теме LLM-агентов.
LLM-агентов
Последние материалы и связанные ссылки по теме LLM-агентов.
Продолжить следить за темой
Переходите к связанным материалам, страницам сущностей и активным линиям сюжета.
Kawai-Focus 2.5: сборка и упаковка Tauri-приложения (Windows + Arch Linux, AUR)
Сегодня я займусь совершенно неизведанной и, как мне кажется, мало изученной многими линуксоидами темой — сборкой Tauri-приложения под Windows. Почему мало изученной? Потому что...
Тимлид в эпоху ИИ: кто он и почему одного крутого кода недостаточно
Рано или поздно каждый сеньор просыпается с мыслью: хочу быть тимлидом. Ну или нет. Но если вас эта мысль все-таки посетила... А оно вам надо?
1500 откликов за 30 дней — эксперимент. День 1
Всем привет, я копирайтер и редактор, который пытается выжить на современном рынке. Решил провести эксперимент: буду рассылать отклики не как советуют HR-ы, а веерно и массово и...
[Перевод] Не всё трафику одинаково: QoS в OpenStack Neutron
Привет, Хабр! Мы уже разбирали OVN в связке с OpenStack и трассировку пакетов. А сегодня предлагаем почитать перевод документации про Quality of Service (QoS) в Neutron: что это...
IT бизнес по-русски
Много говорят о добровольно-принудительном переходе на государственные мессенджеры, дабы пользователи были под контролем российских, а не западных спецслужб. Тут, в общем-то, вс...
Стейкхолдер-менеджмент — это аналитический навык. Мне просто никто об этом не сказал
Привет, Хабр! На связи Владимир Сыропятов, Senior Analyst в Garage Eight. Я несколько лет занимаюсь антифродом, и за это время научился строить модели, писать SQL в три часа ноч...
Рекламный слот
Встроенный блок в статье
Зарезервированный партнерский слот для релевантных инструментов, сервисов и аккуратных редакционных интеграций.
Похожие статьи
Еще материалы, которые пересекаются по тегам, источнику или категории.
Kawai-Focus 2.5: сборка и упаковка Tauri-приложения (Windows + Arch Linux, AUR)
Сегодня я займусь совершенно неизведанной и, как мне кажется, мало изученной многими линуксоидами темой — сборкой Tauri-приложения под Windows. Почему мало изученной? Потому что...
Тимлид в эпоху ИИ: кто он и почему одного крутого кода недостаточно
Рано или поздно каждый сеньор просыпается с мыслью: хочу быть тимлидом. Ну или нет. Но если вас эта мысль все-таки посетила... А оно вам надо?
1500 откликов за 30 дней — эксперимент. День 1
Всем привет, я копирайтер и редактор, который пытается выжить на современном рынке. Решил провести эксперимент: буду рассылать отклики не как советуют HR-ы, а веерно и массово и...
[Перевод] Не всё трафику одинаково: QoS в OpenStack Neutron
Привет, Хабр! Мы уже разбирали OVN в связке с OpenStack и трассировку пакетов. А сегодня предлагаем почитать перевод документации про Quality of Service (QoS) в Neutron: что это...
Еще материалы от Habr
Свежие публикации и продолжение темы от той же редакции.
Kawai-Focus 2.5: сборка и упаковка Tauri-приложения (Windows + Arch Linux, AUR)
Сегодня я займусь совершенно неизведанной и, как мне кажется, мало изученной многими линуксоидами темой — сборкой Tauri-приложения под Windows. Почему мало изученной? Потому что...
Тимлид в эпоху ИИ: кто он и почему одного крутого кода недостаточно
Рано или поздно каждый сеньор просыпается с мыслью: хочу быть тимлидом. Ну или нет. Но если вас эта мысль все-таки посетила... А оно вам надо?
1500 откликов за 30 дней — эксперимент. День 1
Всем привет, я копирайтер и редактор, который пытается выжить на современном рынке. Решил провести эксперимент: буду рассылать отклики не как советуют HR-ы, а веерно и массово и...
[Перевод] Не всё трафику одинаково: QoS в OpenStack Neutron
Привет, Хабр! Мы уже разбирали OVN в связке с OpenStack и трассировку пакетов. А сегодня предлагаем почитать перевод документации про Quality of Service (QoS) в Neutron: что это...