HotKV™ Enterprise

Dibangun untuk stack AI

Kebanyakan tim menempelkan vector database, cache, mesin pencari, dan setumpuk kode perekat ke aplikasi LLM mereka. HotKV membangun semua primitif itu ke dalam satu mesin in-memory, sehingga pengambilan data, memori, dan kontrol biaya berjalan tepat di samping data Anda.

Ikuti satu pertanyaan

Pilih sebuah pertanyaan. Lihat di mana ia dijawab, dan seberapa banyak bagian stack yang tidak perlu disentuhnya.

?
Bagaimana cara mengatur ulang kata sandi saya?
  1. 00
    Pertanyaan
    diteruskan
  2. LLMBUDGET
    Anggaran LLM
    diteruskan
  3. PCACHE
    Prompt Cache
    terjawab
  4. SCACHE
    Semantic Cache
  5. RAG
    Pipeline RAG
  6. 05
    LLM

Dijawab dari prompt cache. Model tidak pernah dipanggil.

0,05 ms
median waktu menjawab

Waktu adalah median terukur dari benchmark penghematan token di bawah. Waktu semantic cache tidak diukur, jadi tidak ditampilkan.

Di dalam mesin

Sembilan mesin AI, satu server

Masing-masing adalah rangkaian perintah di samping data Anda. Buka salah satunya untuk melihatnya dalam kasus penggunaan nyata.

SCACHE.*

Semantic Cache

Simpan respons LLM berdasarkan makna, bukan teks yang persis sama. Kueri dicocokkan dengan cosine similarity pada indeks vektor HNSW, sehingga prompt yang setara secara semantik mengenai cache dan memangkas biaya sekaligus latensi. Ambang batas dan TTL per namespace, plus statistik hit rate dan latensi.

Lihat dalam kasus penggunaan
PCACHE.*

Prompt Cache

Cache inferensi dengan pencocokan persis tanpa beban embedding: pencarian O(1), eviksi TTL dan LRU, metrik Prometheus per namespace, dan pelacakan biaya yang dihemat secara bawaan untuk prompt yang Anda layani berulang kali.

Lihat dalam kasus penggunaan
RAG.*

Pipeline RAG

Pengambilan data yang terpasang di lapisan data: pemecahan dokumen menjadi chunk dengan metadata, dan pencarian hibrida yang memadukan skor vektor dan BM25, semuanya di atas vector store native. Tidak perlu menjalankan atau menyinkronkan layanan pencarian terpisah.

Lihat dalam kasus penggunaan
AMEM.*

Memori Agen

Sistem memori yang dirancang khusus untuk agen otonom dengan empat jenis memori: percakapan (sliding window), semantik (pemanggilan berbasis vektor), kerja (scratchpad), dan episodik (log peristiwa bercap waktu), plus pencarian lintas namespace.

Lihat dalam kasus penggunaan
VSIM.*

Vector Search

Pencarian kemiripan vektor HNSW native dengan persistensi di disk. Mesin yang sama menggerakkan semantic cache, RAG, dan memori agen, jadi hanya ada satu sistem yang perlu dioperasikan, bukan tiga.

Lihat dalam kasus penggunaan
EMBED.DEDUP.*

Deduplikasi Embedding

Deduplikasi embedding berdasarkan hash konten. Teks masukan yang identik memakai ulang vektor yang tersimpan, tanpa membayar lagi panggilan API embedding, dengan refcounting agar vektor hanya dibebaskan ketika tidak ada lagi yang merujuknya.

Lihat dalam kasus penggunaan
LLMBUDGET.*

Anggaran LLM

Anggaran token dan biaya per kunci yang diterapkan secara atomik dengan mekanisme kurangi-atau-tolak. Batasi pengeluaran per pengguna, tenant, atau sesi untuk jangka waktu pilihan Anda, tepat di tempat data berada, sebelum agen yang lepas kendali menghabiskan kredit Anda.

Lihat dalam kasus penggunaan
LLMSTATS.*

Statistik LLM

Penghitung token, biaya, dan latensi per bucket yang memahami prompt caching di sisi penyedia, dengan tabel harga model di server, sehingga Anda tahu berapa dan di mana beban kerja AI Anda mengeluarkan biaya.

Lihat dalam kasus penggunaan
FEATURE.*

Feature Store

Feature store ML real-time dengan grup fitur yang sadar skema, pencarian batch lintas entitas, dan waktu pembaruan pada setiap fitur, untuk menyajikan fitur model terbaru dengan kecepatan in-memory.

Lihat dalam kasus penggunaan

Mengapa menjalankan AI di HotKV

Inti multi-thread yang sama, yang unggul atas Redis dan Valkey pada setiap perintah yang kami uji, juga menjalankan pengambilan data, memori, dan pagar pengaman Anda.

01

Satu mesin, bukan lima layanan

Vector search, semantic cache, RAG, memori agen, dan feature store semuanya berada dalam satu proses. Tidak ada vector DB, cache, dan klaster pencarian terpisah yang harus di-deploy, diamankan, dan dijaga agar tetap sinkron.

02

Cache hit di bawah satu milidetik

Setiap primitif AI berjalan di inti multi-thread yang sama, yang unggul atas Redis dan Valkey pada semua 12 perintah dalam benchmark kami. Dalam pengujian LLM kami, cache hit persis kembali dalam sekitar 0,05 ms, dibandingkan 1,4 hingga 2,9 detik untuk satu panggilan model.

03

Kontrol biaya di lapisan data

Semantic dan prompt caching mengurangi panggilan LLM, deduplikasi embedding mengurangi panggilan embedding, dan anggaran per kunci membatasi pengeluaran sebelum terjadi. Penghematannya terukur, bukan perkiraan.

04

Multi-tenant sejak awal

Namespace memisahkan vektor, memori, dan anggaran setiap tenant, dan paket Scale menambahkan registri tenant serta log audit untuk infrastruktur AI bersama lintas tim dan pelanggan.

Diukur dengan panggilan API Anthropic yang nyata

Bayar untuk lebih sedikit token

Kami mengirim 3.000 pertanyaan dukungan pelanggan yang sama ke empat model Claude terkini sebanyak dua kali: sekali langsung ke model, sekali dengan HotKV di depannya.

70%
token lebih sedikit (masukan plus keluaran) yang diproses model, dengan prompt caching dari penyedia sudah aktif

Token yang diproses per model

Anthropic claude-fable-5-1
70% token lebih sedikit70% biaya lebih rendah
Tanpa HotKV7,25M token · $30,31
Dengan HotKV2,16M token · $9,18
Anthropic claude-opus-5-5
70% token lebih sedikit69% biaya lebih rendah
Tanpa HotKV7,34M token · $14,60
Dengan HotKV2,20M token · $4,50
Anthropic claude-sonnet-5-5
70% token lebih sedikit70% biaya lebih rendah
Tanpa HotKV7,16M token · $5,51
Dengan HotKV2,14M token · $1,66
Anthropic claude-haiku-5-5
70% token lebih sedikit70% biaya lebih rendah
Tanpa HotKV7,08M token · $0,27
Dengan HotKV2,11M token · $0,08
81%
permintaan dijawab dari cache setelah hangat (1.000 terakhir dari 3.000)
11,0x lebih cepat
median waktu respons pada Claude Haiku 5.5, dari 1,4 s turun menjadi 125 ms
0,05 ms
waktu jawab untuk pertanyaan yang diulang (model membutuhkan 1,4 s)

Artinya pada skala besar

  • Anthropic claude-fable-5-1: $303.100 sebulan tanpa HotKV, $91.800 dengan HotKV, sekitar $211.300 dihemat setiap bulan.
  • Anthropic claude-opus-5-5: $146.000 sebulan tanpa HotKV, $45.000 dengan HotKV, sekitar $101.000 dihemat setiap bulan.
  • Anthropic claude-sonnet-5-5: $55.100 sebulan tanpa HotKV, $16.600 dengan HotKV, sekitar $38.500 dihemat setiap bulan.
  • Anthropic claude-haiku-5-5: $2.700 sebulan tanpa HotKV, $800 dengan HotKV, sekitar $1.900 dihemat setiap bulan.

Pada 1 juta permintaan per hari, diekstrapolasi dari biaya terukur per permintaan dan dengan asumsi pola trafik yang sama. Keempat model Claude dijalankan dengan jawaban pendek, dan Fable 5.1 serta Opus 5.5 pada tingkat usaha penalaran terendah, jadi jawaban yang lebih panjang atau banyak penalaran akan membuat setiap panggilan yang dihindari lebih bernilai.

Angka lengkapToken, biaya, kualitas jawaban, dan pertukaran ambang batas kemiripanTampilkan

Kami menjalankan Claude Fable 5.1, Opus 5.5, Sonnet 5.5, dan Haiku 5.5 pada 3.000 permintaan yang sama untuk masing-masing, dengan dan tanpa HotKV. Prompt caching dari penyedia aktif di setiap jalan, dan token serta biaya diambil dari penggunaan pada setiap respons, termasuk token berpikir.

Token, biaya, dan waktu respons per model Claude dengan dan tanpa HotKV
ModelToken dihematBiaya tanpaBiaya denganLebih rendahPanggilan modelMedian respons
Claude Fable 5.170%$30,31$9,1870%3.000 hingga 8962,7 s hingga 127 ms
Claude Opus 5.570%$14,60$4,5069%3.000 hingga 8982,9 s hingga 126 ms
Claude Sonnet 5.570%$5,51$1,6670%3.000 hingga 8971,8 s hingga 128 ms
Claude Haiku 5.570%$0,27$0,0870%3.000 hingga 8971,4 s hingga 125 ms

Seberapa baik jawaban dari cache?

Untuk setiap pertanyaan dengan kata lain yang dilayani dari cache, model lain membandingkan jawaban cache dengan jawaban baru yang diberikan model yang sama untuk pertanyaan persis tersebut, dalam urutan acak. Tidak ada model yang menilai keluarannya sendiri. Ini adalah penilaian model bahasa, bukan tinjauan manusia, dan tingkat ketatnya berbeda antarmodel, jadi bandingkan jawaban cache dengan jawaban baru hanya dalam satu model.

Persentase jawaban cache dan jawaban baru yang dinilai benar oleh juri untuk pertanyaan persis tersebut, per model
ModelPertanyaan dengan kata lain yang dinilaiJawaban cache sesuaiJawaban baru sesuai
Claude Fable 5.192683,3%90,2%
Claude Opus 5.593593,3%99,0%
Claude Sonnet 5.593677,9%86,1%
Claude Haiku 5.593667,9%78,6%

Ambang batas kemiripan menukar penghematan dengan kualitas jawaban

Setiap baris adalah jalan terpisah dari Claude Sonnet 5.5 pada 3.000 permintaan yang sama (biaya tanpa HotKV: $5,51).

Penghematan biaya dan kualitas jawaban pada lima ambang batas kemiripan
Ambang batasBiayaLebih rendahJawaban cache sesuaiJawaban baru sesuai
0,81$1,6670%77,9%86,1%
0,85$1,8866%80,3%85,6%
0,88$1,9964%89,5%83,8%
0,90$2,1361%87,9%86,5%
0,95$2,2260%92,0%90,0%

Apa yang ditunjukkan dan tidak ditunjukkan angka-angka ini

  • Pada ambang batas 0,81 yang dipakai untuk hasil di atas, jawaban cache sesuai dengan pertanyaan persis 6 hingga 11 poin persentase lebih jarang daripada jawaban baru. Pertanyaan dengan kata lain adalah sekitar 31% dari permintaan, jadi di seluruh respons itu kira-kira 2 hingga 3 poin. Pada jalan ambang batas, jawaban cache dari 0,88 ke atas tidak lebih buruk daripada jawaban baru, sambil tetap menghemat 61% hingga 64% biaya.
  • Angka "maksud sama" di atas tidak berarti "jawaban benar yang sama". Dalam pengujian terhadap 119 pasangan pertanyaan yang sengaja dibuat berdekatan, di mana satu detail seperti setor versus tarik mengubah jawaban yang benar, 62% dari pertanyaan yang berubah akan dilayani dengan jawaban cache pada 0,81, 25% pada 0,90 dan 10% pada 0,95. Pasangan ini dibuat agar sulit dan menunjukkan kasus terburuk, bukan seberapa sering hal itu terjadi pada trafik nyata. Jika jawaban yang salah mahal bagi kasus penggunaan Anda, naikkan ambang batas.
  • Satu dataset publik berisi pertanyaan perbankan singkat, satu model embedding, dan juri otomatis. Efek ambang batas diukur pada satu model. Tiga lainnya dijalankan hanya pada 0,81. Tingkat pengulangan dan pertanyaan Anda akan memberi angka yang berbeda.

3.000 pertanyaan dukungan pelanggan diambil dari split uji Banking77 dengan seed tetap (popularitas intent mengikuti distribusi Zipf, s=1,0; pertanyaan disampel secara seragam dalam setiap intent, dengan pengulangan). Setiap pertanyaan dikirim ke model dengan kebijakan dukungan yang sama sebagai system prompt. Baseline: setiap permintaan memanggil model, dengan prompt caching dari penyedia diaktifkan. HotKV: pencarian pencocokan persis (GET pada kunci SHA-256 dari pertanyaan yang dinormalisasi), lalu pencarian semantik (SCACHE.GET dengan embedding pertanyaan), dan model hanya dipanggil saat miss. Jumlah token diambil dari blok usage pada setiap respons API; biaya memakai harga resmi dan mencakup panggilan embedding. Ambang batas kemiripan dipilih pada split latih Banking77 yang terpisah sebagai nilai terendah yang memberikan presisi intent sama setidaknya 98% pada hit semantik.

Model embedding: OpenAI text-embedding-3-small. Ambang batas kecocokan semantik: 0,81. Dataset: Banking77 (split uji) oleh PolyAI, berlisensi CC BY 4.0. 3.000 permintaan dari 77 intent.

Diukur 11 Oktober 2026. Penghematan bergantung pada seberapa sering trafik Anda mengulang dirinya sendiri. Beban kerja tanpa pertanyaan yang berulang atau mirip tidak menghemat apa pun.

Rilis fitur AI, bukan infrastruktur

Kumpulan perintah AI disertakan pada setiap instance Performance dan Scale di HotKV Cloud. Minta akses awal untuk mulai membangun pengambilan data, memori, dan kontrol biaya.

Lihat hargaDapatkan akses awal