Тег
HotKV в приложениях на языковых моделях: вызовы моделей, учёт токенов, повторное использование ответов и компромиссы качества при семантическом кешировании.
4 статьи в разделе LLM
Память ИИ-агента - это больше, чем длинное контекстное окно. Четыре вида памяти, нужные агенту, как хранить каждый и что в неё не класть, с командами HotKV.
Сервер MCP даёт Claude Code или Cursor память в HotKV через 28 фиксированных инструментов. Установите, подключите и ограничьте режимом только чтения и пространствами имён.
Кеширование промптов удешевляет повторяющийся префикс, семантическое кеширование убирает вызов модели. Как работает каждое, что мы измерили и когда что выбрать.
Four Claude models, 3,000 support requests each: HotKV caching cut model calls, tokens and API cost by about 70%. Results and answer-quality trade-offs.
Следуйте за любопытством