Yapay zeka ve LLMLLM uygulamalarıPerformance ve Scale planları

Birebir Prompt Önbellekleme

Aynı prompt için asla iki kez ödemeyin. Sizi kurtardığı tokenları ve doları sayan birebir eşleşmeli bir LLM önbelleği.

eşleşme, sıfır yanlış isabet: Birebir
STATS'ta arama gecikmesi: p50
ad alanı başına izlenen tasarruf: $

Adım 1 / 4

Bir ad alanı oluşturun

Yanıtların yenilenmesi için bir TTL ve bir isabetin ortalama olarak ne tasarruf ettirdiğini verin.

Örnek oturumplaying

# Bir ad alanı oluşturun

hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012

Gerçek HotKV komutları ve örnek yanıtlarla animasyonlu bir anlatım. Herhangi bir adıma atlamak için üzerine tıklayın. Komutlar ve yanıtlar, HotKV'de yazdığınız ve gördüğünüz haliyle İngilizce kalır.

Sorun

Toplu işler, yeniden denemeler, zamanlanmış raporlar ve popüler sorular aynı prompt'u modele tekrar tekrar gönderir. Her biri tam olarak faturalandırılır ve bir önbelleğin ne kadar tasarruf ettireceğini kimse söyleyemez, çünkü hiçbir şey bunu ölçmez.

HotKV bunu nasıl ele alır

Prompt önbelleği, her birebir prompt için yanıtı, onu üreten çağrının modeli ve token sayılarıyla birlikte saklar. Sonraki her isabet sayılır; böylece HotKV harcamadığınız istekleri, tokenları ve doları bildirebilir.

Adım adım

Ne olur, komut komut

01
Bir ad alanı oluşturun
Yanıtların yenilenmesi için bir TTL ve bir isabetin ortalama olarak ne tasarruf ettirdiğini verin.
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
02
Iskalama, sonra kullanımla birlikte saklayın
İlk çağrı modele gider. Yanıt, onu üreten model ve token sayılarıyla saklanır.
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140
03
Her tekrar bedava
Gece işi ve her pano görünümü aynı şeyi sorar. Hepsi isabettir.
PCACHE.GETEX reports "Summarize Q3 sales for EMEA"
04
Ne tasarruf ettiğinizi görün
İstatistikler isabet oranını, arama gecikmesini ve ödemediğiniz kullanımı içerir.
PCACHE.STATS reports

Nereye uyar

Gerçek dünya senaryoları

Zamanlanmış raporlama

Bir panonun her görüntüleyicisi için aynı özetler üretilir. Görünüm başına bir değil, rapor başına günde bir model çağrısı.

Çeviri ve yerelleştirme

Arayüz dizeleri ve ürün açıklamaları dil başına bir kez çevrilir ve ondan sonra her istekte önbellekten sunulur.

Sınıflandırma işlem hatları

Metni birebir aynı olan talepler, yorumlar ve e-postalar, başka bir model çağrısı olmadan aynı etiketi alır.

Yerleşik

Neler elde edersiniz

Birebir eşleşme

Yalnızca aynı prompt için isabet olur; böylece önbellekteki bir yanıt asla farklı bir soru için sunulmaz.

PCACHE.GETPCACHE.SET

Kullanım farkındalıklı

Tasarruflar gerçek kullanımdan hesaplansın diye her yanıtla birlikte model ve token sayılarını saklayın.

MODELINPUTOUTPUT

Meta veri ve isabet sayıları

PCACHE.GETEX yanıtı meta verisi ve kaç kez sunulduğuyla birlikte döndürür.

PCACHE.GETEX

İsabet oranı ve gecikme

PCACHE.STATS isabetleri, ıskalamaları, tahliyeleri, belleği, arama gecikmesini ve tasarrufları bildirir.

PCACHE.STATS

Başvuru:PCACHE.CREATE PCACHE.SET PCACHE.STATS

Sık sorulan sorular

Anlamsal önbellek yerine prompt önbelleğini ne zaman kullanmalıyım?

Prompt'lar toplu işler ve sabit şablonlar gibi birebir tekrarlandığında prompt önbelleğini kullanın. İnsanlar aynı soruyu farklı sözcüklerle sorduğunda anlamsal önbelleği kullanın. Birçok uygulama ikisini de denetler.

Bu, sağlayıcının prompt önbellekleme özelliğiyle aynı mı?

Hayır. Sağlayıcı prompt önbellekleme, tekrarlanan önekleri kendi tarafında indirimli hale getirir. Bir HotKV isabeti sağlayıcıya hiç ulaşmaz; bu yüzden ikisi birbirine eklenir.

Hangi planlara dahil?

Prompt önbelleği Performance ve Scale planlarının parçasıdır.

İlgili kullanım senaryoları

LLM uygulamaları

Anlamsal Yanıt Önbellekleme

LLM yanıtlarını birebir metne göre değil, anlamına göre önbelleğe alın; böylece başka sözcüklerle sorulan sorular önbelleğe isabet eder ve model çağrısını atlar.

Keşfedin

LLM uygulamaları