Štítek
HotKV v aplikacích s jazykovými modely: volání modelů, účtování tokenů, opětovné využití odpovědí a kompromisy v kvalitě u sémantického cachování.
4 články v LLM
Paměť AI agentů je víc než dlouhé kontextové okno. Čtyři druhy, které agent potřebuje, jak každý uložit a co do nich nepatří, s příkazy HotKV.
Server MCP dává Claude Code nebo Cursoru paměť v HotKV pomocí 28 pevných nástrojů. Nainstalujte ho, připojte a omezte pomocí režimu jen pro čtení a jmenných prostorů.
Cachování promptů zlevní opakovaný prefix. Sémantické cachování odstraní volání modelu. Jak každé funguje, co jsme změřili a které kdy použít.
Four Claude models, 3,000 support requests each: HotKV caching cut model calls, tokens and API cost by about 70%. Results and answer-quality trade-offs.
Následujte svou zvědavost