IA și LLMAplicații LLMPlanurile Performance și Scale

Caching semantic al răspunsurilor

Păstrați în cache răspunsurile LLM după sens, nu după text exact, astfel încât întrebările parafrazate găsesc răspunsul în cache și sar peste apelul către model.

căutare înainte de fiecare apel către model
1
metrici de similaritate
3
înlocuirea pragului
Per apel
Pasul 1 din 6
Creați un spațiu de nume

Setați dimensiunea embeddingului și similaritatea care contează ca succes.

Sesiune de exempluplaying
# Creați un spațiu de nume
hotkv> SCACHE.CREATE support_bot 1536 THRESHOLD 0.92
OK

O demonstrație animată cu comenzi HotKV reale și răspunsuri de exemplu. Faceți clic pe orice pas pentru a sări la el. Comenzile și răspunsurile rămân în engleză, exact așa cum le tastați și le vedeți în HotKV.

Problema

Un asistent de suport primește aceeași întrebare formulată în o sută de feluri diferite. Un cache cu potrivire exactă ratează aproape toate variantele, așa că fiecare parafrază plătește un apel complet către model și așteaptă răspunsul întreg.

Cum o rezolvă HotKV

Un cache semantic stochează fiecare răspuns alături de embeddingul întrebării lui și caută întrebările noi după similaritate. Dacă un prompt nou este suficient de apropiat de unul la care ați răspuns deja, răspunsul stocat se întoarce, iar modelul nu mai este apelat. Pragul decide cât de aproape înseamnă suficient de aproape.

Pas cu pas

Ce se întâmplă, comandă cu comandă

  1. 01

    Creați un spațiu de nume

    Setați dimensiunea embeddingului și similaritatea care contează ca succes.

    SCACHE.CREATE support_bot 1536 THRESHOLD 0.92
  2. 02

    O ratare, deci apelați modelul o dată

    Prima dată când este pusă o întrebare, în cache nu există nimic similar, așa că modelul îi răspunde.

    SCACHE.GET support_bot 0.013 -0.21 0.88 ...
  3. 03

    Rețineți răspunsul

    Stocați întrebarea, răspunsul și embeddingul întrebării, pentru o zi.

    SCACHE.SET support_bot "How do I reset my password?" "Open Settings > Security." 0.013 -0.21 0.88 ... TTL 86400
  4. 04

    O parafrază nimerește

    „forgot my login pass” ajunge aproape de întrebarea stocată. Răspunsul și similaritatea lui se întorc, iar modelul este sărit.

    SCACHE.GET support_bot 0.011 -0.19 0.87 ...
  5. 05

    Mai strict pentru o căutare

    O căutare poate cere o potrivire mai apropiată decât valoarea implicită a spațiului de nume, pentru răspunsuri la care o potrivire aproximativă nu ajunge.

    SCACHE.GET support_bot 0.2 0.4 0.1 ... THRESHOLD 0.99
  6. 06

    Măsurați economiile

    Statisticile pe spațiu de nume arată cât de des a răspuns cache-ul în locul modelului.

    SCACHE.STATS support_bot
Unde se potrivește

Scenarii din lumea reală

Suport pentru clienți

Resetările de parolă, copiile de facturi și termenele de livrare sunt întrebate iar și iar. Fiecare variantă de după prima este servită din cache.

Boți interni de cunoștințe

Angajații întreabă despre concedii, cheltuieli și accesul VPN cu cuvintele lor. Un singur răspuns le servește pe toate până expiră.

Unelte pentru dezvoltatori

„How do I paginate?” și „how to page through results” primesc același răspuns documentat, fără un al doilea apel către model.

Integrat

Ce primiți

Potrivire după sens

Întrebările similare împart un singur răspuns din cache, indiferent cum sunt formulate.

SCACHE.GETSCACHE.SET

Controlați strictețea

Setați pragul pe spațiu de nume și înlocuiți-l la o singură căutare.

SCACHE.THRESHOLD

Economii pe care le puteți măsura

Statisticile pe spațiu de nume arată succesele, ratările și intrările.

SCACHE.STATS

Cosinus, L2 sau produs scalar

Alegeți metrica ce se potrivește modelului dvs. de embedding când creați spațiul de nume.

SCACHE.CREATE
Referință:SCACHE.CREATESCACHE.GETSCACHE.SET

Întrebări frecvente

Cât costă un succes în cache?

Un apel de embedding și o căutare în cache. Apelul către model și timpul lui de generare sunt sărite.

Cum evit răspunsurile greșite dintr-o potrivire prea laxă?

Ridicați pragul. Un prag mai mare cere o potrivire mai apropiată, deci mai puține întrebări nimeresc, iar fiecare succes este mai sigur.

Ce planuri îl includ?

Cache-ul semantic face parte din planurile Performance și Scale.

Cazuri de utilizare înrudite

Aplicații LLM

Caching exact de prompturi

Nu plătiți niciodată de două ori același prompt. Un cache LLM cu potrivire exactă, care numără tokenii și dolarii pe care vi i-a economisit.

Explorați
Aplicații LLM

Gateway LLM cu caching

Îndreptați SDK-ul OpenAI sau Anthropic spre un singur URL, iar cererile repetate primesc răspuns de la HotKV în loc să fie plătite din nou. Fără modificări de cod.

Explorați
Aplicații LLM

Asistent IA pentru suportul clienților

Un bot de suport care răspunde instantaneu la repetări, potrivește parafrazele după sens, ancorează răspunsurile noi în centrul dvs. de ajutor și nu depășește niciodată bugetul.

Explorați

Încercați pe propria sarcină de lucru

HotKV vorbește protocolul Redis, așa că puteți îndrepta spre el un client existent și rula aceleași comenzi.

Obțineți acces anticipatUrmătorul: Caching de prompturi