Données de baseAnalytique

Comptage à grande échelle

Visiteurs uniques, « l'a-t-on déjà vu ? », éléments les plus fréquents et fréquences sur des milliards d'événements, chacun dans une quantité de mémoire petite et fixe.

structures probabilistes
4
mémoire par structure
Fixe
bornes d'erreur
Connues
Étape 1 sur 5
Visiteurs uniques

Ajoutez les identifiants des visiteurs à un HyperLogLog. La mémoire reste petite, quel que soit leur nombre.

Session d’exempleplaying
# Visiteurs uniques
hotkv> PFADD visitors:2026-10-16 user:42 user:77 user:91
(integer) 1

Une démonstration animée avec de vraies commandes HotKV et des exemples de réponses. Cliquez sur une étape pour y accéder directement. Les commandes et les réponses restent en anglais, exactement comme vous les saisissez et les voyez dans HotKV.

Le problème

Répondre exactement à « combien d'utilisateurs uniques », « avons-nous déjà envoyé cet e-mail » ou « quelles sont les recherches les plus fréquentes » demande une mémoire qui grandit avec chaque élément distinct. À des milliards d'événements, cela représente des gigaoctets d'ensembles et de compteurs par question.

Comment HotKV s'en charge

Les structures probabilistes échangent une petite erreur connue contre une mémoire constante. HyperLogLog compte les éléments distincts, les filtres de Bloom répondent aux questions d'appartenance, Top-K suit les éléments les plus fréquents et les Count-min sketches estiment combien de fois un élément est apparu. Les quatre sont intégrés à HotKV.

Étape par étape

Ce qui se passe, commande par commande

  1. 01

    Visiteurs uniques

    Ajoutez les identifiants des visiteurs à un HyperLogLog. La mémoire reste petite, quel que soit leur nombre.

    PFADD visitors:2026-10-16 user:42 user:77 user:91
  2. 02

    Combien ?

    Une estimation du nombre de visiteurs distincts, avec une faible erreur type.

    PFCOUNT visitors:2026-10-16
  3. 03

    Ne jamais envoyer deux fois

    Avant d'envoyer un e-mail de campagne, vérifiez si cette adresse l'a déjà reçu.

    BF.EXISTS sent:campaign:fall ada@example.com
  4. 04

    Recherches les plus fréquentes

    Top-K conserve les éléments les plus fréquents à mesure que les événements arrivent.

    TOPK.LIST searches:today WITHCOUNT
  5. 05

    La fréquence de n'importe quel élément

    Un Count-min sketch estime le nombre d'occurrences de n'importe quel élément, listé ou non.

    CMS.QUERY pageviews /home /pricing /blog
Où cela s'applique

Scénarios concrets

Analytique web et mobile

Utilisateurs uniques quotidiens et mensuels par page ou par fonctionnalité, fusionnés sur plusieurs jours avec PFMERGE.

E-mails et notifications

Les filtres de Bloom empêchent les envois en double d'une nouvelle tentative ou d'une campagne à l'autre.

Recherche et commerce

Les requêtes les plus fréquentes et les produits les plus vus sont suivis en direct pour le merchandising.

Intégré

Ce que vous obtenez

HyperLogLog

Comptage d'éléments distincts, fusionnable entre intervalles.

PFADDPFCOUNTPFMERGE

Filtres de Bloom

Appartenance avec un taux de faux positifs configurable.

BF.RESERVEBF.ADDBF.EXISTS

Top-K

Les éléments les plus fréquents d'un flux.

TOPK.ADDTOPK.LIST

Count-min sketch

Des estimations de fréquence pour n'importe quel élément.

CMS.INCRBYCMS.QUERY

Questions fréquentes

Quelle est leur précision ?

Les filtres de Bloom vous laissent fixer le taux d'erreur, et les Count-min sketches la largeur et la profondeur. HyperLogLog a une erreur type faible et fixe.

Un filtre de Bloom peut-il manquer un élément déjà vu ?

Non. Il peut signaler un faux positif, jamais un faux négatif.

Ai-je besoin d'un module ?

Non. Ils font partie de HotKV.

Cas d'usage associés

Essayez-le sur votre propre charge de travail

HotKV parle le protocole Redis. Vous pouvez donc y connecter un client existant et exécuter ces mêmes commandes.