IA și LLMRegăsirePlanurile Performance și Scale

Asistenți de cunoștințe RAG

Răspundeți la întrebări peste propriile documente cu fragmentare, filtre pe metadate, căutare hibridă vectorială și după cuvinte-cheie și scoruri de reordonare din cache, într-un singur motor.

strategii de fragmentare
3
căutare vectorială + BM25
Hibrid
baze de date vectoriale suplimentare
0
Pasul 1 din 5
Definiți pipeline-ul

Un fragment pe paragraf. Folosiți dimensiunile modelului dvs. de embedding (3 păstrează exemplul scurt).

Sesiune de exempluplaying
# Definiți pipeline-ul
hotkv> RAG.CREATE faq 3 STRATEGY paragraph
OK

O demonstrație animată cu comenzi HotKV reale și răspunsuri de exemplu. Faceți clic pe orice pas pentru a sări la el. Comenzile și răspunsurile rămân în engleză, exact așa cum le tastați și le vedeți în HotKV.

Problema

Un pipeline de regăsire înseamnă de obicei o bază de date vectorială, un index de cuvinte-cheie, un job de fragmentare, un reranker și cod de legătură între ele. Fiecare piesă este încă un serviciu de rulat, de securizat și de ținut sincronizat cu documentele dvs., iar rerankerul este adesea pasul cel mai lent și mai scump.

Cum o rezolvă HotKV

HotKV pune pipeline-ul în motorul care deja vă servește aplicația. Definiți un pipeline, ingerați documente și căutați în el. Fragmentarea, metadatele documentelor și căutarea hibridă care amestecă similaritatea vectorială cu scorul BM25 rulează toate pe server, iar un cache de reordonare păstrează scorurile cross-encoder, astfel încât o pereche repetată interogare-pasaj nu este niciodată punctată de două ori.

Pas cu pas

Ce se întâmplă, comandă cu comandă

  1. 01

    Definiți pipeline-ul

    Un fragment pe paragraf. Folosiți dimensiunile modelului dvs. de embedding (3 păstrează exemplul scurt).

    RAG.CREATE faq 3 STRATEGY paragraph
  2. 02

    Ingerați documente

    Fiecare document este împărțit în fragmente pe server și stocat cu metadatele lui și cu un vector pe fragment.

    RAG.INGEST faq doc:1 "To reset your password, click Forgot password on the login screen.\n\nBilling questions go to the billing team." META source help-center VECTORS 0.9,0.1,0.0 0.0,0.2,0.9
  3. 03

    Căutare hibridă

    Similaritate vectorială și relevanță după cuvinte-cheie într-o singură interogare, restrânsă la o singură sursă.

    RAG.SEARCH faq "how do I reset my password" K 2 ALPHA 0.5 VECTOR 0.88,0.12,0.01 FILTER source help-center
  4. 04

    Reordonați, dar o singură dată

    Scorurile de la cross-encoder sunt puse în cache pe interogare și fragment, într-un spațiu de nume creat cu RERANK.CREATE, deci o interogare populară nu plătește din nou reordonarea.

    RERANK.GET faq_scores "reset password|doc:1:0"
  5. 05

    Răspundeți și verificați pipeline-ul

    Cele mai bune fragmente merg la model drept context, deci răspunsul vine din centrul de ajutor, nu dintr-o presupunere. RAG.STATS arată ce conține pipeline-ul.

    RAG.STATS faq
Unde se potrivește

Scenarii din lumea reală

Asistenți pentru centre de ajutor

Articolele și tichetele rezolvate sunt ingerate cu produsul și limba ca metadate. Fiecare răspuns se bazează pe documentația produsului potrivit.

Căutare juridică și de politici

Contractele și politicile sunt împărțite pe paragrafe, deci pasajele regăsite sunt clauze complete, iar scorul după cuvinte-cheie prinde termenii exacți, precum numerele de clauze.

Cunoștințe de inginerie

Runbook-urile, documentele de design și postmortem-urile devin căutabile după sens pentru un asistent de gardă.

Integrat

Ce primiți

Fragmentare în motor

Fragmentare cu dimensiune fixă, pe propoziții sau pe paragrafe. Fragmentele cu dimensiune fixă primesc o dimensiune și o suprapunere alese de dvs.

RAG.CREATE

Căutare hibridă

Similaritate vectorială și scor BM25 pe cuvinte-cheie într-o singură interogare, cu ALPHA stabilind echilibrul.

RAG.SEARCH

Filtre pe metadate

Atașați perechi cheie-valoare la ingestie și filtrați după ele la căutare.

RAG.INGESTFILTER

Cache de reordonare

Păstrați scorurile cross-encoder pentru perechi interogare-pasaj, ca repetările să fie gratuite.

RERANK.GETRERANK.SET
Referință:RAG.CREATERAG.INGESTRAG.SEARCHRERANK.GET

Întrebări frecvente

Creează HotKV embeddingurile?

Nu. Generați embeddingurile cu modelul preferat și le transmiteți cu VECTORS la ingestie și cu VECTOR la căutare.

Pot căuta fără vectori?

Da. RAG.SEARCH primește textul interogării pentru scorul pe cuvinte-cheie, iar opțiunea VECTOR adaugă similaritatea vectorială. ALPHA stabilește cum se combină cele două scoruri.

Ce planuri îl includ?

Pipeline-urile RAG și cache-ul de reordonare fac parte din planurile Performance și Scale.

Cazuri de utilizare înrudite

Regăsire

Căutare prin similaritate vectorială

Găsiți cele mai apropiate elemente după sens, filtrate după etichetă, în același motor care conține elementele înseși.

Explorați
Aplicații LLM

Asistent IA pentru suportul clienților

Un bot de suport care răspunde instantaneu la repetări, potrivește parafrazele după sens, ancorează răspunsurile noi în centrul dvs. de ajutor și nu depășește niciodată bugetul.

Explorați
Aplicații LLM

Caching semantic al răspunsurilor

Păstrați în cache răspunsurile LLM după sens, nu după text exact, astfel încât întrebările parafrazate găsesc răspunsul în cache și sar peste apelul către model.

Explorați

Încercați pe propria sarcină de lucru

HotKV vorbește protocolul Redis, așa că puteți îndrepta spre el un client existent și rula aceleași comenzi.

Obțineți acces anticipatUrmătorul: Căutare vectorială