Feito para a stack de IA
A maioria das equipes acopla ao seu aplicativo de LLM um banco de dados vetorial, um cache, um mecanismo de busca e um monte de código de integração. O HotKV incorpora essas primitivas em um único motor em memória, para que recuperação, memória e controle de custos rodem ao lado dos seus dados.
Escolha uma pergunta. Veja onde ela é respondida e quanto da stack ela nunca precisa tocar.
- 00Perguntapassa
- LLMBUDGETOrçamento de LLMpassa
- PCACHECache de promptsrespondida
- SCACHECache semântico
- RAGPipeline de RAG
- 05LLM
Respondida pelo cache de prompts. O modelo nunca é chamado.
Os tempos são as medianas medidas no benchmark de economia de tokens abaixo. O tempo do cache semântico não foi medido, então nenhum é exibido.
Nove motores de IA, um servidor
Cada um é uma família de comandos ao lado dos seus dados. Abra qualquer um para vê-lo em um caso de uso real.
Por que executar IA no HotKV
O mesmo núcleo multithread que liderou o Redis e o Valkey em todos os comandos que medimos em benchmark também executa a sua recuperação, a sua memória e os seus guardrails.
Um motor, não cinco serviços
Busca vetorial, cache semântico, RAG, memória de agentes e um feature store vivem no mesmo processo. Sem banco de dados vetorial, cache e cluster de busca separados para implantar, proteger e manter sincronizados.
Acertos de cache em menos de um milissegundo
Toda primitiva de IA roda no mesmo núcleo multithread que liderou o Redis e o Valkey nos 12 comandos dos nossos benchmarks. No nosso teste com LLM, os acertos de cache exato voltaram em cerca de 0,05 ms, contra 1,4 a 2,9 s de uma chamada ao modelo.
Controle de custos na camada de dados
O cache semântico e o de prompts reduzem as chamadas ao LLM, a deduplicação de embeddings reduz as chamadas de embedding e os orçamentos por chave limitam o gasto antes que ele aconteça. A economia é medida, não estimada.
Multilocatário por design
Os namespaces mantêm separados os vetores, a memória e os orçamentos de cada locatário, e o plano Scale acrescenta um registro de locatários e um log de auditoria para infraestrutura de IA compartilhada entre equipes e clientes.
Pague por menos tokens
Enviamos as mesmas 3.000 perguntas de suporte ao cliente duas vezes a quatro modelos Claude atuais: uma vez direto ao modelo, outra com o HotKV na frente.
Tokens processados por modelo
O que isso significa em escala
- Anthropic claude-fable-5-1: US$ 303.100 por mês sem o HotKV, US$ 91.800 com ele, cerca de US$ 211.300 economizados todo mês.
- Anthropic claude-opus-5-5: US$ 146.000 por mês sem o HotKV, US$ 45.000 com ele, cerca de US$ 101.000 economizados todo mês.
- Anthropic claude-sonnet-5-5: US$ 55.100 por mês sem o HotKV, US$ 16.600 com ele, cerca de US$ 38.500 economizados todo mês.
- Anthropic claude-haiku-5-5: US$ 2.700 por mês sem o HotKV, US$ 800 com ele, cerca de US$ 1.900 economizados todo mês.
Com 1 milhão de requisições por dia, extrapolado a partir do custo medido por requisição e supondo o mesmo padrão de tráfego. Os quatro modelos Claude rodaram com respostas curtas, e o Fable 5.1 e o Opus 5.5 com o menor esforço de raciocínio, então respostas mais longas ou com muito raciocínio fariam cada chamada evitada valer mais.
Todos os númerosTokens, custo, qualidade das respostas e o equilíbrio do limiar de similaridadeMostrarOcultar
Executamos Claude Fable 5.1, Opus 5.5, Sonnet 5.5 e Haiku 5.5 sobre as mesmas 3.000 requisições cada um, com e sem o HotKV. O cache de prompts do próprio provedor estava ativado em todas as execuções, e os tokens e custos são extraídos do campo de uso (usage) de cada resposta, incluindo os tokens de thinking.
| Modelo | Tokens economizados | Custo sem | Custo com | Menor em | Chamadas ao modelo | Resposta mediana |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | US$ 30,31 | US$ 9,18 | 70% | 3.000 a 896 | 2,7 s a 127 ms |
| Claude Opus 5.5 | 70% | US$ 14,60 | US$ 4,50 | 69% | 3.000 a 898 | 2,9 s a 126 ms |
| Claude Sonnet 5.5 | 70% | US$ 5,51 | US$ 1,66 | 70% | 3.000 a 897 | 1,8 s a 128 ms |
| Claude Haiku 5.5 | 70% | US$ 0,27 | US$ 0,08 | 70% | 3.000 a 897 | 1,4 s a 125 ms |
Quão boas são as respostas em cache?
Para cada pergunta reformulada atendida pelo cache, outro modelo comparou a resposta em cache com a resposta nova que o mesmo modelo deu a essa pergunta exata, em ordem aleatória. Nenhum modelo avaliou a própria saída. Quem julga é um modelo de linguagem, não uma revisão humana, e o rigor dele varia entre os modelos, então compare resposta em cache e resposta nova apenas dentro de um mesmo modelo.
| Modelo | Perguntas reformuladas avaliadas | Resposta em cache adequada | Resposta nova adequada |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3% | 90,2% |
| Claude Opus 5.5 | 935 | 93,3% | 99,0% |
| Claude Sonnet 5.5 | 936 | 77,9% | 86,1% |
| Claude Haiku 5.5 | 936 | 67,9% | 78,6% |
O limiar de similaridade equilibra economia e qualidade das respostas
Cada linha é uma execução separada do Claude Sonnet 5.5 sobre as mesmas 3.000 requisições (custo sem o HotKV: US$ 5,51).
| Limiar | Custo | Menor em | Resposta em cache adequada | Resposta nova adequada |
|---|---|---|---|---|
| 0,81 | US$ 1,66 | 70% | 77,9% | 86,1% |
| 0,85 | US$ 1,88 | 66% | 80,3% | 85,6% |
| 0,88 | US$ 1,99 | 64% | 89,5% | 83,8% |
| 0,90 | US$ 2,13 | 61% | 87,9% | 86,5% |
| 0,95 | US$ 2,22 | 60% | 92,0% | 90,0% |
O que estes números mostram e o que não mostram
- No limiar de 0,81 usado nos resultados acima, uma resposta em cache se adequa à pergunta exata de 6 a 11 pontos percentuais menos vezes do que uma resposta nova. As perguntas reformuladas são cerca de 31% das requisições, então, considerando todas as respostas, isso dá aproximadamente 2 a 3 pontos. Nas execuções com diferentes limiares, as respostas em cache a partir de 0,88 não foram piores que as novas, e ainda economizaram de 61% a 64% do custo.
- O número de “mesma intenção” acima não significa “mesma resposta correta”. Em um teste com 119 pares de perguntas deliberadamente próximas, em que um único detalhe, como depositar versus sacar, muda a resposta correta, 62% das perguntas alteradas receberiam a resposta em cache com o limiar de 0,81, 25% com 0,90 e 10% com 0,95. Esses pares são construídos para serem difíceis e mostram o pior caso, não a frequência com que isso ocorre no tráfego real. Se respostas erradas são caras no seu caso de uso, aumente o limiar.
- Um conjunto de dados público de perguntas bancárias curtas, um modelo de embedding e um avaliador automatizado. O efeito do limiar foi medido em um modelo. Os outros três foram executados apenas com 0,81. A sua taxa de repetição e as suas perguntas darão números diferentes.
3.000 perguntas de suporte ao cliente extraídas da divisão de teste do Banking77 com uma seed fixa (a popularidade das intenções segue uma distribuição de Zipf, s=1,0; as perguntas são amostradas de forma uniforme dentro de cada intenção, com repetições). Cada pergunta foi enviada ao modelo com a mesma política de suporte como prompt de sistema. Baseline: toda requisição chama o modelo, com o cache de prompts do próprio provedor ativado. HotKV: consulta de correspondência exata (GET em uma chave SHA-256 da pergunta normalizada), depois uma consulta semântica (SCACHE.GET com um embedding da pergunta), e o modelo só é chamado em caso de falha de cache (miss). As contagens de tokens vêm do bloco usage de cada resposta da API; os custos usam preços de tabela e incluem as chamadas de embedding. O limiar de similaridade foi escolhido na divisão de treino separada do Banking77 como o menor valor que dá pelo menos 98% de precisão de mesma intenção nos acertos semânticos.
Modelo de embedding: OpenAI text-embedding-3-small. Limiar de correspondência semântica: 0,81. Conjunto de dados: Banking77 (divisão de teste) de PolyAI, licenciado sob CC BY 4.0. 3.000 requisições em 77 intenções.
Medido em 11 de outubro de 2026. A economia depende de com que frequência o seu tráfego se repete. Uma carga de trabalho sem perguntas repetidas ou semelhantes não economiza nada.
Entregue funcionalidades de IA, não infraestrutura
O conjunto de comandos de IA acompanha toda instância Performance e Scale no HotKV Cloud. Solicite acesso antecipado para começar a criar recuperação, memória e controles de custo.