Alap adatkezelésAnalitika

Számlálás nagy léptékben valószínűségi szerkezetekkel

Egyedi látogatók, „láttuk már ezt?”, top elemek és gyakoriságok milliárdnyi esemény felett, mindegyik kis, rögzített memóriamennyiségben.

valószínűségi szerkezet
4
memória szerkezetenként
Rögzített
hibahatárok
Ismert
Lépés 1 / 5
Egyedi látogatók

Adjon látogatóazonosítókat egy HyperLogLoghoz. A memória kicsi marad, bármennyi érkezik.

Példa munkamenetplaying
# Egyedi látogatók
hotkv> PFADD visitors:2026-10-16 user:42 user:77 user:91
(integer) 1

Animált bemutató valódi HotKV-parancsokkal és példa-válaszokkal. Kattintson bármelyik lépésre, hogy odaugorjon. A parancsok és a válaszok angolul maradnak, pontosan úgy, ahogy begépeli és látja őket a HotKV-ban.

A probléma

A „hány egyedi felhasználó”, „küldtük már ezt az e-mailt” vagy „melyek a top keresések” kérdésekre adott pontos válaszokhoz minden különböző elemmel növekvő memória kell. Milliárdnyi eseménynél ez kérdésenként gigabájtnyi halmazt és számlálót jelent.

Hogyan kezeli a HotKV

A valószínűségi szerkezetek egy kicsi, ismert hibát cserélnek állandó memóriára. A HyperLogLog a különböző elemeket számolja, a Bloom-szűrők a tagságot válaszolják meg, a Top-K a leggyakoribb elemeket követi, a Count-min sketchek pedig megbecsülik, hányszor fordult elő bármely elem. Mind a négy be van építve a HotKV-ba.

Lépésről lépésre

Mi történik, parancsról parancsra

  1. 01

    Egyedi látogatók

    Adjon látogatóazonosítókat egy HyperLogLoghoz. A memória kicsi marad, bármennyi érkezik.

    PFADD visitors:2026-10-16 user:42 user:77 user:91
  2. 02

    Hányan?

    Az egyedi látogatók becslése kis szórással.

    PFCOUNT visitors:2026-10-16
  3. 03

    Soha ne küldje kétszer

    Kampány-e-mail küldése előtt ellenőrizze, hogy ez a cím megkapta-e már.

    BF.EXISTS sent:campaign:fall ada@example.com
  4. 04

    Top keresések

    A Top-K az események beérkezésével a leggyakoribb elemeket tartja.

    TOPK.LIST searches:today WITHCOUNT
  5. 05

    Hányszor egy adott elem

    Egy Count-min sketch megbecsüli bármely elem számát, listán lévő vagy nem.

    CMS.QUERY pageviews /home /pricing /blog
Hol használható

Valós helyzetek

Web- és alkalmazásanalitika

Napi és havi egyedi felhasználók oldalanként vagy funkciónként, a napok között a PFMERGE-gel összevonva.

E-mail és értesítések

A Bloom-szűrők megakadályozzák a duplikált küldéseket az újrapróbálkozások és kampányok között.

Keresés és kereskedelem

A top lekérdezéseket és a legtöbbet megtekintett termékeket élőben követik a merchandisinghoz.

Beépítve

Amit kap

HyperLogLog

Különböző elemek számolása, gyűjtők között összevonható.

PFADDPFCOUNTPFMERGE

Bloom-szűrők

Tagság beállítható hamis pozitív aránnyal.

BF.RESERVEBF.ADDBF.EXISTS

Top-K

A leggyakoribb elemek egy folyamban.

TOPK.ADDTOPK.LIST

Count-min sketch

Gyakoriságbecslések bármely elemre.

CMS.INCRBYCMS.QUERY

Gyakori kérdések

Mennyire pontosak?

A Bloom-szűrőknél a hibaarány, a Count-min sketcheknél a szélesség és a mélység állítható. A HyperLogLognak kicsi, rögzített szórása van.

Kihagyhat egy Bloom-szűrő valamit, amit már látott?

Nem. Hamis pozitívot jelezhet, hamis negatívot soha.

Kell hozzá modul?

Nem. A HotKV részei.

Kapcsolódó felhasználási esetek

Próbálja ki a saját munkaterhelésén

A HotKV a Redis protokollt beszéli, így egy meglévő klienst ráirányíthat, és lefuttathatja ugyanezeket a parancsokat.