Benchmark terbaru

Throughput head-to-head

Name: HotKV
Author: HotKV Ltd

Dalam pengujian HotKV Ltd terhadap HotKV, Redis, Valkey, dan Dragonfly pada satu instance cloud, HotKV mencatat median throughput tertinggi pada 11 dari 12 perintah. Pada PING, Dragonfly terukur 0,6% lebih tinggi, yang masih dalam batas generator beban, jadi kami menghitungnya sebagai seri. Hasil ini berlaku untuk build dan pengaturan yang diuji. Lihat metodologi di bawah.

Cara kami mengukur

1/6

Mesin yang sama
Setiap server berjalan di instance yang sama, satu per satu.
Generator beban terpisah
Mesin klien khusus yang menciptakan beban, tidak pernah mesin server itu sendiri.
Pengaturan yang sama
Setiap server mendapat jumlah thread yang sama dan tanpa penyetelan lain.
Median dari 3 kali jalan
Setiap perintah dijalankan tiga kali. Median yang ditampilkan.
Batas ditandai
Hasil yang ditentukan oleh jaringan atau generator beban diberi tanda.
Metode selengkapnya
Setiap pengaturan, batas, dan catatan tertulis lengkap di bawah hasil.

Azure D160alds_v7AMD EPYC 9V45 (Turin)

CPU:: AMD EPYC 9V45 (Turin)
vCPU:: 160
Arsitektur:: x86_64
RAM:: 314,8 GB
Jaringan:: 78 Gbps keluar, 132+ Gbps masuk
Thread:: 160 per server (Redis 128, maksimumnya)
Diukur:: 9 Oktober 2026

HotKV Redis 8.10.2Valkey 9.1.2Dragonfly 2.0.2

Operasi per detik, median dari 3 kali jalan. Setiap batang diskalakan terhadap server tercepat pada perintah tersebut.

SET

50.5M

3.4M

2.9M

15.0M

GET

36.6M

1.1M

1.6M

13.4M

MGET

4.6M

278K

537K

2.3M

SETNX

55.3M

1.4M

1.9M

14.4M

APPEND

25.1M

1.5M

1.3M

8.9M

INCR

90.8M

2.1M

1.9M

20.6M

LPUSH

31.6M

1.2M

842K

10.6M

RPUSH

43.8M

628K

878K

11.0M

SADD

50.6M

2.1M

894K

12.0M

HSET

29.0M

537K

782K

9.8M

MSET

11.3M

379K

465K

2.9M

PING

125.2M

3.2M

3.5M

126.0M

Hasil tertinggi pada perintah tersebut.
Dibatasi jaringan: jaringan instance menentukan hasil ini, sehingga batas server itu sendiri lebih tinggi.
Dibatasi generator beban: mesin generator beban berjalan di atas 85% CPU, jadi ini adalah batas mereka, bukan batas server.

Azure membatasi trafik keluar: iperf3 mengukur 78 Gbps keluar dan setidaknya 132 Gbps masuk dengan tiga mesin klien. GET dan MGET mengirim nilai keluar. GET HotKV memakai 88% batas keluar, jadi itu adalah batas bawah yang ditentukan instance, bukan batas server, dan MGET-nya, pada 83%, tidak jauh di belakang. Pembacaan Dragonfly memakai paling banyak 44% dari batas tersebut.
Penulisan tiba sebagai trafik masuk, jadi hasil penulisan adalah angka server. Yang terberat, SETNX sekitar 106 Gbps, memakai sekitar 80% batas masuk, jadi anggaplah angka penulisan HotKV sebagai batas bawah yang ringan.
Pada PING, generator beban mencapai 86% CPU dengan HotKV dan 82% dengan Dragonfly. Selisih 0,6% di antara keduanya masih dalam batas tersebut, jadi PING seri.

perintah di mana HotKV memiliki throughput tertinggi

PING dimenangkan oleh Dragonfly

Puncak HotKV, pada PING

† Dibatasi generator beban

HotKV vs Redis, per perintah

Semua 12 perintah

HotKV vs Valkey, per perintah

Semua 12 perintah

HotKV vs Dragonfly, per perintah

Dari 11 perintah yang dipimpin HotKV. PING: 0.99x

Angka persis untuk Azure D160alds_v7

Median operasi per detik untuk setiap perintah pada Azure D160alds_v7, dan hasil HotKV sebagai kelipatan dari hasil setiap server lain
Perintah	HotKV	Redis	Valkey	Dragonfly	HotKV vs Redis	HotKV vs Valkey	HotKV vs Dragonfly
SET	Tertinggi: 50,480,621	3,409,794	2,882,486	15,042,258	14.80x	17.51x	3.36x
GET	Tertinggi: 36,643,656(Dibatasi jaringan)	1,132,934	1,631,573	13,446,228	32.34x	22.46x	2.73x
MGET	Tertinggi: 4,617,382	277,956	536,872	2,348,137	16.61x	8.60x	1.97x
SETNX	Tertinggi: 55,333,360	1,397,967	1,860,919	14,442,422	39.58x	29.73x	3.83x
APPEND	Tertinggi: 25,050,648	1,530,680	1,290,421	8,858,165	16.37x	19.41x	2.83x
INCR	Tertinggi: 90,783,545	2,104,069	1,918,073	20,603,259	43.15x	47.33x	4.41x
LPUSH	Tertinggi: 31,617,779	1,247,914	842,106	10,579,641	25.34x	37.55x	2.99x
RPUSH	Tertinggi: 43,776,706	628,324	878,476	11,014,977	69.67x	49.83x	3.97x
SADD	Tertinggi: 50,626,647	2,053,737	894,438	12,044,417	24.65x	56.60x	4.20x
HSET	Tertinggi: 28,997,514	536,527	781,768	9,797,534	54.05x	37.09x	2.96x
MSET	Tertinggi: 11,275,369	378,641	464,801	2,941,342	29.78x	24.26x	3.83x
PING	125,232,520(Dibatasi generator beban)	3,235,600	3,480,446	Tertinggi: 126,033,542	38.70x	35.98x	0.99x

Metodologi benchmark

Benchmark dilakukan oleh HotKV Ltd. Dalam setiap konfigurasi perangkat keras, produk diuji secara terpisah sebagai instance tunggal pada perangkat keras server yang sama, memakai pengaturan thread yang terdokumentasi, persistensi dinonaktifkan, nilai 256 byte, dan kedalaman pipeline 30. Throughput yang dilaporkan adalah median dari tiga kali jalan, dengan setiap jalan dihitung dengan menjumlahkan throughput memtier yang dilaporkan generator beban. Hasil berlaku untuk versi, konfigurasi, dan beban kerja ini. Penyetelan, beban kerja, atau deployment klaster yang berbeda dapat menghasilkan hasil yang berbeda.

HotKV yang diukur dibangun dari sumber untuk CPU ini. Jumlah thread mengikuti konfigurasi semua-core yang terdokumentasi dan tidak disetel satu per satu untuk setiap produk.

Metodologi dan hasil mentah

Diukur terhadap vector set Redis 8.10.2

Lebih cepat dari vector set Redis 8 dalam pengujian kami

Kami memuat embedding OpenAI yang sama ke HotKV dan Redis 8 dan menjalankan 1.000 kueri yang sama terhadap masing-masing, dengan 1 hingga 100 koneksi klien bersamaan, pada satu mesin. Keduanya menyimpan vektor presisi penuh, dengan pengaturan indeks yang sama.

kueri per detik milik Redis, dari 1 hingga 100 klien, pada recall 95% atau lebih baik untuk 999.000 vektor

Kueri per detik pada recall yang sama

recall 90% atau lebih baik7,9x lebih banyak kueri per detik

Redis8.061 kueri/detik

Redis

8.061 kueri/detik

HotKV63.897 kueri/detik

HotKV

63.897 kueri/detik

recall 95% atau lebih baik5,5x lebih banyak kueri per detik

Redis6.825 kueri/detik

Redis

6.825 kueri/detik

HotKV37.508 kueri/detik

HotKV

37.508 kueri/detik

recall 99% atau lebih baik5,0x lebih banyak kueri per detik

Redis2.483 kueri/detik

Redis

2.483 kueri/detik

HotKV12.393 kueri/detik

HotKV

12.393 kueri/detik

5,0x

lebih cepat memuat 999.000 vektor: 188 detik dibandingkan 935 detik untuk Redis, dengan 32 koneksi masing-masing

1,3 ms

median waktu kueri dengan 50 klien pada recall 95% (Redis: 7,2 ms)

5 dari 5

kedalaman pencarian di mana recall@10 HotKV lebih tinggi daripada Redis

Kedua mesin menyimpan vektor float32 presisi penuh. Setelah memuat 999.000 vektor, proses HotKV memegang 6,77 GB dan Redis 7,01 GB.

Tidak diukur: mode terkuantisasi 8-bit default Redis, Redis Query Engine, dataset lain, dan perangkat keras lain. Build HotKV adalah build pengembangan yang belum dirilis. Redis dimuat dengan dipasangkan pada empat vCPU dan dicari pada indeks yang dimuat ulang (lihat artikel).

Angka lengkap: 999.000 vektor, 50 klien

Recall dan throughput HotKV dan Redis pada setiap kedalaman pencarian yang diuji, untuk ukuran indeks dan jumlah klien yang dipilih
ef	Recall HotKV	Recall Redis	Kueri/detik HotKV	Kueri/detik Redis	Rasio
40	0,940	0,923	63.897	8.061	7,9x
80	0,970	0,962	37.508	6.825	5,5x
150	0,987	0,980	21.912	5.241	4,2x
300	0,993	0,990	12.393	3.454	3,6x
500	0,997	0,994	7.688	2.483	3,1x

Build HotKV c8dafd37 dan Redis 8.10.2, kemiripan cosine, HNSW dengan M=16 dan ef_construction=200 pada keduanya, float32 pada keduanya (Redis NOQUANT). Recall adalah recall@10 terhadap hasil brute-force yang tepat. Median dari 3 kali jalan pada Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs. Server berbagi 128 vCPU dan generator beban berjalan pada 32 lainnya, memakai kode klien yang sama untuk keduanya.

Dataset: embedding dbpedia-entities-openai-1M (OpenAI text-embedding-ada-002, 1.536 dimensi) oleh Kumar Shivendu and Nirant Kasliwal, berlisensi MIT, plus 1.000 kueri yang ditahan. Metode lengkap, skrip, dan hasil mentah. Diukur 14 Oktober 2026.

Siap menjalankan HotKV?

Dapatkan akses awal dan jelajahi HotKV untuk beban kerja Anda.

Dapatkan akses awal