Raportowanie cykliczne
Te same podsumowania są generowane dla każdego widza dashboardu. Jedno wywołanie modelu na raport dziennie zamiast jednego na wyświetlenie.
AI i LLMAplikacje LLMplany Performance i Scale
Dokładny cache promptów
Nigdy nie płać dwa razy za ten sam prompt. Cache LLM z dokładnym dopasowaniem, który liczy zaoszczędzone tokeny i dolary.
- dopasowanie, zero fałszywych trafień
- Exact
- opóźnienie wyszukiwania w STATS
- p50
- oszczędności śledzone dla każdej przestrzeni nazw
- $
Krok 1 z 4
Utwórz przestrzeń nazw
Nadaj jej TTL, aby odpowiedzi się odświeżały, oraz średnią oszczędność z trafienia.
Przykładowa sesjaplaying
# Utwórz przestrzeń nazw
hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
OK
Animowany przegląd z prawdziwymi poleceniami HotKV i przykładowymi odpowiedziami. Kliknij dowolny krok, aby do niego przejść. Polecenia i odpowiedzi pozostają po angielsku, dokładnie tak, jak je wpisujesz i widzisz w HotKV.
Problem
Zadania wsadowe, ponowienia, raporty cykliczne i popularne pytania wysyłają do modelu ten sam prompt raz po raz. Każdy jest rozliczany w pełni, a nikt nie potrafi powiedzieć, ile oszczędziłby cache, bo nic tego nie mierzy.
Jak radzi sobie z tym HotKV
Cache promptów zapisuje odpowiedź dla każdego dokładnego promptu wraz z modelem i liczbą tokenów wywołania, które ją wytworzyło. Każde kolejne trafienie jest liczone, więc HotKV może raportować żądania, tokeny i dolary, których nie wydałeś.
Krok po kroku
Co się dzieje, polecenie po poleceniu
- 01
Utwórz przestrzeń nazw
Nadaj jej TTL, aby odpowiedzi się odświeżały, oraz średnią oszczędność z trafienia.
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012 - 02
Pudło, potem zapis z zużyciem
Pierwsze wywołanie idzie do modelu. Odpowiedź jest zapisywana z modelem i liczbą tokenów, które ją wytworzyły.
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140 - 03
Każde powtórzenie za darmo
Nocne zadanie i każde wyświetlenie dashboardu pytają o to samo. Wszystkie są trafieniami.
PCACHE.GETEX reports "Summarize Q3 sales for EMEA" - 04
Zobacz, ile zaoszczędziłeś
Statystyki obejmują współczynnik trafień, opóźnienie wyszukiwania i zużycie, za które nie zapłaciłeś.
PCACHE.STATS reports
Gdzie się sprawdza
Scenariusze z życia
Tłumaczenia i lokalizacja
Teksty interfejsu i opisy produktów są tłumaczone raz na język i serwowane z cache przy każdym kolejnym żądaniu.
Potoki klasyfikacji
Zgłoszenia, recenzje i e-maile o identycznej treści dostają tę samą etykietę bez kolejnego wywołania modelu.
Wbudowane
Co dostajesz
Dokładne dopasowanie
Trafienie tylko dla identycznego promptu, więc odpowiedź z cache nigdy nie trafia do innego pytania.
PCACHE.GETPCACHE.SETŚwiadomość zużycia
Zapisuj model i liczbę tokenów przy każdej odpowiedzi, aby oszczędności były liczone z rzeczywistego zużycia.
MODELINPUTOUTPUTMetadane i liczniki trafień
PCACHE.GETEX zwraca odpowiedź z jej metadanymi i informacją, jak często była serwowana.
PCACHE.GETEXWspółczynnik trafień i opóźnienie
PCACHE.STATS raportuje trafienia, pudła, wywłaszczenia, pamięć, opóźnienie wyszukiwania i oszczędności.
PCACHE.STATSCzęste pytania
Kiedy użyć cache promptów zamiast semantycznego?
Użyj cache promptów, gdy prompty powtarzają się dokładnie, jak w zadaniach wsadowych i stałych szablonach. Użyj cache semantycznego, gdy ludzie formułują to samo pytanie inaczej. Wiele aplikacji sprawdza oba.
Czy to to samo, co cache promptów dostawcy?
Nie. Cache promptów dostawcy daje zniżkę na powtórzone prefiksy po jego stronie. Trafienie w HotKV w ogóle nie dociera do dostawcy, więc oba efekty się sumują.
Które plany to zawierają?
Cache promptów jest częścią planów Performance i Scale.
Powiązane przypadki użycia
Wypróbuj na własnym obciążeniu
HotKV mówi protokołem Redis, więc możesz skierować na niego istniejącego klienta i uruchomić te same polecenia.