Yapay zeka ve LLMLLM operasyonlarıPerformance ve Scale planları

Koruma ve Moderasyon Önbellekleme

Doğrulayıcılarınızı zaten geçmiş yanıtları yeniden oynatın ve tekrarlayan kötüye kullanımcıları, moderasyonu veya modeli yeniden çağırmadan reddedin.

önbellek, iyi ve kötü
2
isabette yeniden doğrulama
0
retler için TTL'ler
Kısa
Adım 1 / 5
Üretin ve doğrulayın

Ad alanları GUARD.CREATE ve NCACHE.CREATE ile bir kez oluşturuldu. Model JSON üretir ve doğrulayıcınız, herhangi bir şey saklanmadan önce onu şemaya karşı denetler.

Örnek oturumplaying
# Üretin ve doğrulayın
hotkv> GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
OK

Gerçek HotKV komutları ve örnek yanıtlarla animasyonlu bir anlatım. Herhangi bir adıma atlamak için üzerine tıklayın. Komutlar ve yanıtlar, HotKV'de yazdığınız ve gördüğünüz haliyle İngilizce kalır.

Sorun

Yapılandırılmış çıktı ve güvenlik denetimleri yavaştır ve paraya mal olur. Bir model çağrısı, bir JSON şema doğrulaması ve belki yanıtı değerlendirecek ikinci bir model vardır. Tekrarlanan istekler hepsi için yeniden öder. Aynı kötüye kullanım prompt'u bir betik tarafından bin kez gönderilirse moderasyona bin kez gider.

HotKV bunu nasıl ele alır

Koruma önbelleği yalnızca şema doğrulamanızı veya koruma denetimlerinizi zaten geçmiş yanıtları saklar; böylece bir isabetin olduğu gibi yeniden oynatılmasının güvenli olduğu bilinir. Negatif önbellek, "moderasyon tarafından reddedildi" gibi retleri kısa bir TTL ile hatırlar; böylece tekrarlanan kötü istekler moderasyon servisine veya modele ulaşmadan geri çevrilir.

Adım adım

Ne olur, komut komut

  1. 01

    Üretin ve doğrulayın

    Ad alanları GUARD.CREATE ve NCACHE.CREATE ile bir kez oluşturuldu. Model JSON üretir ve doğrulayıcınız, herhangi bir şey saklanmadan önce onu şemaya karşı denetler.

    GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
  2. 02

    Yeniden denetlemeden yeniden oynatın

    Aynı istek yine. Saklanan yanıt doğrulamayı zaten geçti, bu yüzden olduğu gibi döndürülür.

    GUARD.GET validated "Summarize ticket 812 as JSON"
  3. 03

    Moderasyon bir prompt'u reddeder

    Zararlı bir prompt reddedilir. Ret beş dakika boyunca hatırlanır.

    NCACHE.SET refused "prompt:9f31c2" "refused_by_moderation" TTL 300
  4. 04

    Betik yine dener

    Bir an sonra aynı prompt önbellekten geri çevrilir. Moderasyon ve model çağrılmaz.

    NCACHE.GET refused "prompt:9f31c2"
  5. 05

    İki önbelleği de ölçün

    Her ad alanı isabetleri, ıskalamaları, tahliyeleri ve belleği bildirir.

    GUARD.STATS validated
Nereye uyar

Gerçek dünya senaryoları

Yapılandırılmış çıkarma

Faturalar ve formlar doğrulanmış JSON'a dönüştürülür. Aynı belgeyi yeniden işlemek, başka bir model çağrısı olmadan doğrulanmış sonucu döndürür.

Tüketici sohbet uygulamaları

Aynı prompt'a saldıran kötüye kullanım betikleri negatif önbellekten reddedilir; moderasyon maliyetleri sabit kalır.

Başarısız olan aramalar

"Kullanıcı bulunamadı" ve diğer olumsuz yanıtlar kısa süreliğine önbelleğe alınır; böylece yeniden denemeler arka uca ulaşmaz.

Yerleşik

Neler elde edersiniz

Koruma önbelleği

Yalnızca denetimlerinizi geçen yanıtlar saklanır; böylece bir isabeti yeniden oynatmak güvenlidir.

GUARD.SETGUARD.GET

Negatif önbellek

Retleri ve bulunamadı sonuçlarını kısa süreliğine hatırlayın.

NCACHE.SETNCACHE.GET

TTL'ler ve sınırlar

Ad alanı başına varsayılan TTL'ler ve girdi sınırları; dolduğunda tahliye.

GUARD.CREATENCACHE.CREATE

İstatistikler

Ad alanı başına isabetler, ıskalamalar, tahliyeler, bellek ve tasarruflar.

GUARD.STATSNCACHE.STATS
Başvuru:GUARD.SETGUARD.GETNCACHE.SETNCACHE.GET

Sık sorulan sorular

HotKV çıktıyı kendisi doğrular mı?

Hayır. Doğrulayıcınız veya korumanız karar verir. HotKV yalnızca geçtikten sonra koruma önbelleğine koyduklarınızı saklar.

Retler ne kadar süre önbelleğe alınmalı?

Genellikle kısa süreliğine, gün değil dakika; böylece bir politika değişikliği veya yanlış pozitif kalıcı olmaz. TTL'yi ad alanı veya girdi başına ayarlayın.

Hangi planlara dahil?

Koruma önbelleği ve negatif önbellek Performance ve Scale planlarının parçasıdır.

İlgili kullanım senaryoları

LLM uygulamaları

Birebir Prompt Önbellekleme

Aynı prompt için asla iki kez ödemeyin. Sizi kurtardığı tokenları ve doları sayan birebir eşleşmeli bir LLM önbelleği.

Keşfedin
LLM operasyonları

LLM Maliyet Yönetişimi

Kullanıcı veya kiracı başına bir token ve harcama bütçesi uygulayın, kova başına gerçek harcamayı görün ve aynı metni yalnızca bir kez embed edin.

Keşfedin
LLM uygulamaları

Yapay Zeka Müşteri Destek Asistanı

Tekrarları anında yanıtlayan, yeniden ifadeleri anlamıyla eşleştiren, yeni yanıtları yardım merkezinize dayandıran ve asla fazla harcamayan bir destek botu.

Keşfedin

Kendi iş yükünüzde deneyin

HotKV, Redis protokolünü konuşur; bu yüzden mevcut bir istemciyi ona yönlendirip aynı komutları çalıştırabilirsiniz.

Erken erişim alınSıradaki: Özellik Deposu