← Все кластеры
Один timestamp, один round-robin, один плавающий список tools: 7 анти-паттернов, которые убивают префикс кэша LLM
cooling
Тип событияother
Темаcomputational efficiency
Организация
Страна
Статей1
Уник. источников1
Важность / Момент0.69 / 0
Период30.03.2026 08:00 — 30.03.2026 08:00
Создан06.04.2026 06:35:14
Статьи в кластере 1
Заголовок Источник Дата публикации Score
S Один timestamp, один round-robin, один плавающий список tools: 7 анти-паттернов, которые убивают префикс кэша LLM habr_ai 30.03.2026 08:00 1
Embedding sim.1
Entity overlap1
Title sim.1
Time proximity1
NLP типother
NLP организация
NLP темаcomputational efficiency
NLP страна

Открыть оригинал

Кэширование включено, а cached_tokens всё равно не растут? Часто проблема не в модели и не в провайдере. Hit rate обычно режут совсем другие вещи: timestamp в начале запроса, плавающий порядок tools, разные реплики, RAG с нестабильным порядком чанков и слишком короткая жизнь KV-кэша. В статье разбираю 7 типовых анти-паттернов, которые убивают prefix_cache_hit в проде. Читать далее