Cache de prompts vs. cache semântico: o que cada um economiza
O cache de prompts barateia um prefixo repetido. O cache semântico elimina a chamada ao modelo. Como cada um funciona, o que medimos e quando usar qual.
Tag
Cache semântico
Engenharia.Medida e explicada.
Cache de respostas exato e semântico com o HotKV, incluindo limiares de similaridade, taxas de acerto de cache e como avaliamos a qualidade das respostas.
2 artigos em Cache semântico
Artigos
Ideias. Experimentos. Novidades.
O HotKV reduziu o uso de tokens do Claude em 70% no nosso benchmark Banking77
Quatro modelos Claude, 3.000 requisições de suporte cada: o HotKV reduziu chamadas, tokens e custo da API em cerca de 70%. Resultados e a troca com a qualidade das respostas.
Siga a sua curiosidade