Reduza o gasto com tokens de LLM e responda a requisições repetidas de IA a partir do cache em menos de um milissegundo enquanto executa um armazenamento multithread e compatível com Redis.
O HotKV fica na frente das suas chamadas de LLM como um único motor compatível com Redis. Ele reconhece prompts que já respondeu, de forma exata ou aproximada, e entrega à sua aplicação a resposta em cache em vez de uma nova chamada de API.
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str: # Já perguntado antes, palavra por palavra: sem chamada ao modelo cached = client.pcache_get("support", prompt) if cached is not None: return cached.decode() answer = call_llm(prompt) client.pcache_set("support", prompt, answer, ttl=3600) return answerResultado ilustrativo (dados de exemplo)
Cenário: ask("How do I reset my password?") duas vezes
As duas chamadas retornam: "Use the password-reset link on the sign-in page."
Primeira chamada: falha de cache → call_llm → resposta armazenada
Segunda chamada: resposta em cache → sem chamada ao modeloEnviamos as mesmas 3.000 perguntas de suporte ao cliente duas vezes a quatro modelos Claude atuais: uma vez direto ao modelo, outra com o HotKV na frente.
Com 1 milhão de requisições por dia, extrapolado a partir do custo medido por requisição e supondo o mesmo padrão de tráfego. Os quatro modelos Claude rodaram com respostas curtas, e o Fable 5.1 e o Opus 5.5 com o menor esforço de raciocínio, então respostas mais longas ou com muito raciocínio fariam cada chamada evitada valer mais.
Executamos Claude Fable 5.1, Opus 5.5, Sonnet 5.5 e Haiku 5.5 sobre as mesmas 3.000 requisições cada um, com e sem o HotKV. O cache de prompts do próprio provedor estava ativado em todas as execuções, e os tokens e custos são extraídos do campo de uso (usage) de cada resposta, incluindo os tokens de thinking.
| Modelo | Tokens economizados | Custo sem | Custo com | Menor em | Chamadas ao modelo | Resposta mediana |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | US$ 30,31 | US$ 9,18 | 70% | 3.000 a 896 | 2,7 s a 127 ms |
| Claude Opus 5.5 | 70% | US$ 14,60 | US$ 4,50 | 69% | 3.000 a 898 | 2,9 s a 126 ms |
| Claude Sonnet 5.5 | 70% | US$ 5,51 | US$ 1,66 | 70% | 3.000 a 897 | 1,8 s a 128 ms |
| Claude Haiku 5.5 | 70% | US$ 0,27 | US$ 0,08 | 70% | 3.000 a 897 | 1,4 s a 125 ms |
Para cada pergunta reformulada atendida pelo cache, outro modelo comparou a resposta em cache com a resposta nova que o mesmo modelo deu a essa pergunta exata, em ordem aleatória. Nenhum modelo avaliou a própria saída. Quem julga é um modelo de linguagem, não uma revisão humana, e o rigor dele varia entre os modelos, então compare resposta em cache e resposta nova apenas dentro de um mesmo modelo.
| Modelo | Perguntas reformuladas avaliadas | Resposta em cache adequada | Resposta nova adequada |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3% | 90,2% |
| Claude Opus 5.5 | 935 | 93,3% | 99,0% |
| Claude Sonnet 5.5 | 936 | 77,9% | 86,1% |
| Claude Haiku 5.5 | 936 | 67,9% | 78,6% |
Cada linha é uma execução separada do Claude Sonnet 5.5 sobre as mesmas 3.000 requisições (custo sem o HotKV: US$ 5,51).
| Limiar | Custo | Menor em | Resposta em cache adequada | Resposta nova adequada |
|---|---|---|---|---|
| 0,81 | US$ 1,66 | 70% | 77,9% | 86,1% |
| 0,85 | US$ 1,88 | 66% | 80,3% | 85,6% |
| 0,88 | US$ 1,99 | 64% | 89,5% | 83,8% |
| 0,90 | US$ 2,13 | 61% | 87,9% | 86,5% |
| 0,95 | US$ 2,22 | 60% | 92,0% | 90,0% |
3.000 perguntas de suporte ao cliente extraídas da divisão de teste do Banking77 com uma seed fixa (a popularidade das intenções segue uma distribuição de Zipf, s=1,0; as perguntas são amostradas de forma uniforme dentro de cada intenção, com repetições). Cada pergunta foi enviada ao modelo com a mesma política de suporte como prompt de sistema. Baseline: toda requisição chama o modelo, com o cache de prompts do próprio provedor ativado. HotKV: consulta de correspondência exata (GET em uma chave SHA-256 da pergunta normalizada), depois uma consulta semântica (SCACHE.GET com um embedding da pergunta), e o modelo só é chamado em caso de falha de cache (miss). As contagens de tokens vêm do bloco usage de cada resposta da API; os custos usam preços de tabela e incluem as chamadas de embedding. O limiar de similaridade foi escolhido na divisão de treino separada do Banking77 como o menor valor que dá pelo menos 98% de precisão de mesma intenção nos acertos semânticos.
Modelo de embedding: OpenAI text-embedding-3-small. Limiar de correspondência semântica: 0,81. Conjunto de dados: Banking77 (divisão de teste) de PolyAI, licenciado sob CC BY 4.0. 3.000 requisições em 77 intenções.
Medido em 11 de outubro de 2026. A economia depende de com que frequência o seu tráfego se repete. Uma carga de trabalho sem perguntas repetidas ou semelhantes não economiza nada.
Carregamos os mesmos embeddings da OpenAI no HotKV e no Redis 8 e executamos as mesmas 1.000 consultas em cada um, com 1 a 100 conexões de cliente simultâneas, em uma única máquina. Ambos mantinham vetores de precisão total, com as mesmas configurações de índice.
Ambos os motores armazenaram vetores float32 de precisão total. Depois de carregar 999.000 vetores, o processo do HotKV ocupava 6,77 GB e o do Redis, 7,01 GB.
Não medido: o modo padrão do Redis com quantização de 8 bits, o Redis Query Engine, outros conjuntos de dados e outro hardware. O build do HotKV é um build de desenvolvimento que não foi lançado. O Redis foi carregado fixado em quatro vCPUs e consultado em um índice recarregado (veja o artigo).
| ef | Recall do HotKV | Recall do Redis | Consultas/s do HotKV | Consultas/s do Redis | Razão |
|---|---|---|---|---|---|
| 40 | 0,940 | 0,923 | 63.897 | 8.061 | 7,9x |
| 80 | 0,970 | 0,962 | 37.508 | 6.825 | 5,5x |
| 150 | 0,987 | 0,980 | 21.912 | 5.241 | 4,2x |
| 300 | 0,993 | 0,990 | 12.393 | 3.454 | 3,6x |
| 500 | 0,997 | 0,994 | 7.688 | 2.483 | 3,1x |
Build c8dafd37 do HotKV e Redis 8.10.2, similaridade de cosseno, HNSW com M=16 e ef_construction=200 em ambos, float32 em ambos (Redis NOQUANT). O recall é o recall@10 em relação a resultados exatos de força bruta. Mediana de 3 execuções em Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs. Os servidores compartilharam 128 vCPUs e os geradores de carga rodaram em outras 32, usando o mesmo código de cliente para ambos.
Conjunto de dados: embeddings dbpedia-entities-openai-1M (OpenAI text-embedding-ada-002, 1.536 dimensões) de Kumar Shivendu and Nirant Kasliwal, licenciado sob MIT, mais 1.000 consultas reservadas. Método completo, scripts e resultados brutos. Medido em 14 de outubro de 2026.
O HotKV é um software comercial. Nós o operamos para você, ou você mesmo o executa em uma infraestrutura que controla.
Uma instância do HotKV totalmente gerenciada, hospedada e operada por nós no Google Cloud em 42 regiões. Abertura em levas. Solicite acesso antecipado.
Execute o HotKV em seus próprios servidores ou na sua própria conta de nuvem, com um arquivo de licença e controle total sobre a residência dos dados e o acesso à rede.
Doze bibliotecas cliente oficiais. O HotKV também fala RESP2 e RESP3, então seus clientes e ferramentas Redis existentes se conectam sem alterações além do hostname.
pip install hotkv-clientnpm install @hotkv/clientgo get github.com/hotkv-ltd/hotkv-go-clientcargo add hotkv-clientcom.hotkv:hotkv-clientdotnet add package HotKV.Clientgem install hotkvcomposer require hotkv/client{:hotkv, "~> 1.0"}do GitHub (hotkv-perl-client)libhotkv (CMake, release do GitHub)hotkv-cpp (CMake, release do GitHub)Os SDKs de Python e Node.js trazem integrações de uma linha para os frameworks com que as equipes já trabalham. Ferramentas open source separadas cobrem LangGraph, MCP e APIs compatíveis com OpenAI.
pip install "hotkv-client[langchain]"from hotkv.integrations.langchain import HotKVSemanticCache set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))
Inclui também o HotKVCache para cache de correspondência exata, além de HotKVVectorStore e HotKVChatMessageHistory.
pip install "hotkv-client[llamaindex]"from hotkv.integrations.llama_index import HotKVVectorStore
Inclui também HotKVKVStore e HotKVChatStore.
pip install "hotkv-client[litellm]"from hotkv.integrations.litellm import HotKVSemanticCache
O cache Redis integrado do LiteLLM já funciona com o HotKV sem alterações. Use esta integração quando também quiser cache semântico.
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });Distribuído no pacote npm @hotkv/client.
import { HotKVCache } from "@hotkv/client/langchain";Distribuído no pacote npm @hotkv/client.
pip install langgraph-checkpoint-hotkvfrom langgraph.checkpoint.hotkv import HotKVSaver from langgraph.store.hotkv import HotKVStore
Um checkpointer para o estado do grafo e um armazenamento de memória de longo prazo com busca semântica. Não exige licença do HotKV.
Ler a documentaçãopip install hotkv-mcpclaude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379
Permite que Claude, Cursor e outros assistentes usem chaves, memória de agentes, prompts e busca em documentos. O modo somente leitura e os namespaces mantêm os agentes dentro dos limites.
Ler a documentaçãogo install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latestclient = OpenAI(base_url="http://localhost:8080/v1")
Um proxy plug-and-play que armazena em cache chamadas das APIs compatíveis com OpenAI e da Anthropic, inclusive com streaming. Troque uma URL, sem código.
Ler a documentaçãoDescubra o que torna o HotKV rápido, onde ele se encaixa e como começar.
Multithread desde o primeiro dia. Um throughput que cresce com a quantidade de núcleos, e não contra ela.
Saiba maisCache semântico, RAG, memória de agentes e controle de custos de LLM integrados ao motor.
Saiba maisCache, sessões, filas, rankings. As mesmas cargas de trabalho do Redis, com maior throughput.
Saiba maisMarcação de chaves, TTLs em nanossegundos, busca vetorial e métricas integradas, parte do motor principal.
Saiba maisUm motor multithread em que cada núcleo lê, interpreta e executa comandos em paralelo.
Saiba maisPlanos Starter, Performance e Scale no HotKV Cloud, com tráfego incluso e sem fidelidade anual.
Saiba mais