Produktteam som finjusterar tonen
Skribenter justerar assistentens röst varje dag utan att vänta på en teknisk release, och de senaste versionerna sparas.
Versionshantera dina systemprompter i datalagret, rulla ut en ny till alla tjänster på en gång och gå tillbaka med ett kommando när den uppför sig illa.
Den första versionen av supportagentens systemprompt.
En animerad genomgång med riktiga HotKV-kommandon och exempelsvar. Klicka på valfritt steg för att hoppa dit. Kommandon och svar förblir på engelska, precis som du skriver och ser dem i HotKV.
Systemprompter ändras oftare än kod, men de ligger oftast i koden. Varje justering är en driftsättning, olika tjänster glider isär till olika versioner, och när en ny prompt gör assistenten sämre klockan 02 på natten innebär en återställning ännu en release.
Promptregistret behåller varje version av varje mall i HotKV. Tjänsterna läser den aktiva versionen vid körning, en redaktör publicerar en ny version med ett kommando, och valet av aktiv version är en enda atomär växling som varje tjänst ser vid sin nästa läsning.
Den första versionen av supportagentens systemprompt.
PROMPT.PUT support-agent "You are a helpful support agent."Varje tjänst hämtar mallen vid körning i stället för att kompilera in den.
PROMPT.GET support-agentEn ny version med metadata om vem som skrev den. Den blir aktiv för alla tjänster på en gång.
PROMPT.PUT support-agent "You are a concise, friendly support agent." META "{\"author\":\"maria\"}"Svaren blev för korta. Ett kommando gör version 1 aktiv igen. Ingen driftsättning, ingen omstart.
PROMPT.SETACTIVE support-agent 1De senaste versionerna finns kvar i registret, 64 som standard, så att du kan jämföra dem eller gå tillbaka till någon av dem.
PROMPT.VERSIONS support-agentSkribenter justerar assistentens röst varje dag utan att vänta på en teknisk release, och de senaste versionerna sparas.
Chatt, e-postutkast och sammanfattning läser samma mall, så en rättelse landar överallt i samma ögonblick.
När en promptändring ger dåliga svar i produktion går jourhavande tillbaka på några sekunder med ett kommando.
Varje PROMPT.PUT lägger till en version och gör den aktiv. De senaste versionerna sparas, 64 som standard.
PROMPT.PUTPROMPT.VERSIONSTjänsterna läser den aktiva versionen, eller en specifik, med ett enda anrop.
PROMPT.GETPROMPT.LATESTVäxla aktiv version atomärt.
PROMPT.SETACTIVESpara författare, orsak till ändringen eller ett experiment-id med varje version.
METANej. De läser den aktiva versionen vid körning, så nästa läsning returnerar den nya.
Ja. Publicera från CI med PROMPT.PUT, så förblir Git källan för granskning och HotKV serverar den aktiva versionen.
Promptregistret ingår i planerna Performance och Scale.
HotKV talar Redis-protokollet, så du kan peka en befintlig klient mot det och köra samma kommandon.