Один timestamp, один round-robin, один плавающий список tools: 7 анти-паттернов, которые убивают префикс кэша LLM
Кэширование включено, а cached_tokens всё равно не растут? Часто проблема не в модели и не в провайдере. Hit rate обычно режут совсем другие вещи: timestamp в начале запроса, плавающий порядок tools, разные реплики, RAG с нестабильным порядком чанков и слишком короткая жизнь KV-кэша. В статье разбираю 7 типовых анти...
Кэширование включено, а cached_tokens всё равно не растут? Часто проблема не в модели и не в провайдере. Hit rate обычно режут совсем другие вещи: timestamp в начале запроса, плавающий порядок tools, разные реплики, RAG с нестабильным порядком чанков и слишком короткая жизнь KV-кэша. В статье разбираю 7 типовых анти-паттернов, которые убивают prefix_cache_hit в проде.
Краткая сводка
В статье описаны семь типовых анти‑паттернов, снижающих эффективность префикс‑кэша LLM в продакшене, включая начало запросов с timestamp, изменяющийся порядок tools, различия в репликах, нестабильный порядок чанков в RAG и слишком короткий срок жизни KV‑кэша.
Связанные теги
Компании и люди
Линия сюжета
Cached
Последние материалы и связанный контекст по теме Cached.
Habr
Последние материалы и связанный контекст по теме Habr.
Habr
Последние материалы и связанные ссылки по теме Habr.
Hit
Последние материалы и связанные ссылки по теме Hit.
Hit
Последние материалы и связанный контекст по теме Hit.
Hit Rate
Последние материалы и связанные ссылки по теме Hit Rate.
KV-кеша
Последние материалы и связанный контекст по теме KV-кеша.
LLM-агентов
Последние материалы и связанный контекст по теме LLM-агентов.
LLM-агентов
Последние материалы и связанные ссылки по теме LLM-агентов.
RAG
Последние материалы и связанный контекст по теме RAG.
Продолжить следить за темой
Переходите к связанным материалам, страницам сущностей и активным линиям сюжета.
ИТ-гигиена 2026 для среднего бизнеса: почему «и так работает» — самая дорогая стратегия
Средний и малый бизнес тратит на ИТ-инфраструктуру по остаточному принципу — пока что-то не упадёт. Необслуживаемая сеть, устаревшее железо или резервная копия «на тот же сервер...
5 ступеней, по которым ваши клиенты идут к вам (или проходят мимо)
Есть одна лестница. По ней поднимаются все ваши клиенты. Только не все доходят.В маркетинге это называют лестницей Ханта. Пять ступеней готовности. И если вы знаете, на какой ст...
Какие документы должны быть на сайте?
Привет, я — Александра, юрист для digital-агентств и фрилансеров! Специально для всех владельцев сайтов я подготовила подробную статью о том, какие юридические документы должны ...
Страшно, когда не видно: аудит сетевых устройств
Представьте, что вы не знаете, какие устройства подключены к вашей сети, как они настроены и что там происходит. Страшно? Ещё бы! Многие компании как раз так и живут — не уделяю...
Продолжительность жизни людей на территории современной Белоруссии, между 1000 — 1300 годами
Между 1000 - 1300 годами по Полоцку бегала туда сюда "историческая реальность" тех лет - крестоносцы, славянские князья, литовцы. Регион много чего испытал. Ну это и интересно, ...
Как запустить Alumni-сообщество в компании: опыт Тензора
Можно ли остаться друзьями с бывшими? Об этом задумалась не только я, но и мой работодатель…Привет! Меня зовут Юля, в Тензоре занимаюсь развитием HR-бренда. Наша команда работае...
Рекламный слот
Встроенный блок в статье
Зарезервированный партнерский слот для релевантных инструментов, сервисов и аккуратных редакционных интеграций.
Похожие статьи
Еще материалы, которые пересекаются по тегам, источнику или категории.
ИТ-гигиена 2026 для среднего бизнеса: почему «и так работает» — самая дорогая стратегия
Средний и малый бизнес тратит на ИТ-инфраструктуру по остаточному принципу — пока что-то не упадёт. Необслуживаемая сеть, устаревшее железо или резервная копия «на тот же сервер...
5 ступеней, по которым ваши клиенты идут к вам (или проходят мимо)
Есть одна лестница. По ней поднимаются все ваши клиенты. Только не все доходят.В маркетинге это называют лестницей Ханта. Пять ступеней готовности. И если вы знаете, на какой ст...
Какие документы должны быть на сайте?
Привет, я — Александра, юрист для digital-агентств и фрилансеров! Специально для всех владельцев сайтов я подготовила подробную статью о том, какие юридические документы должны ...
Страшно, когда не видно: аудит сетевых устройств
Представьте, что вы не знаете, какие устройства подключены к вашей сети, как они настроены и что там происходит. Страшно? Ещё бы! Многие компании как раз так и живут — не уделяю...
Еще материалы от Habr
Свежие публикации и продолжение темы от той же редакции.
ИТ-гигиена 2026 для среднего бизнеса: почему «и так работает» — самая дорогая стратегия
Средний и малый бизнес тратит на ИТ-инфраструктуру по остаточному принципу — пока что-то не упадёт. Необслуживаемая сеть, устаревшее железо или резервная копия «на тот же сервер...
5 ступеней, по которым ваши клиенты идут к вам (или проходят мимо)
Есть одна лестница. По ней поднимаются все ваши клиенты. Только не все доходят.В маркетинге это называют лестницей Ханта. Пять ступеней готовности. И если вы знаете, на какой ст...
Tesla показала почти человеческие руки Optimus перед запуском серийного производства Gen 3
Tesla переводит проект гуманоидного робота Optimus из лабораторных прототипов в фазу подготовки к серийному выпуску. Компания открыла более 140 вакансий в отделе робототехники, ...
Какие документы должны быть на сайте?
Привет, я — Александра, юрист для digital-агентств и фрилансеров! Специально для всех владельцев сайтов я подготовила подробную статью о том, какие юридические документы должны ...
Дополнительное покрытие этой темы
Похожие публикации и близкие по смыслу материалы по этой же теме.
Один timestamp, один round-robin, один плавающий список tools: 7 анти-паттернов, которые убивают префикс кэша LLM
Кэширование включено, а cached_tokens всё равно не растут? Часто проблема не в модели и не в провайдере. Hit rate обычно режут совсем другие вещи: timestamp в начале запроса, пл...