AI 與 LLM代理Performance 與 Scale 方案

具備記憶的自主代理

為長時間運行的代理提供對話脈絡、回想的知識、任務狀態與稽核軌跡,全都集中在同一處。

種記憶體
4
個儲存,容納全部
1
代理框架
任何
步驟 1 / 6
開啟對話

一個工作階段會保留最近幾輪對話的滾動視窗。

範例工作階段playing
# 開啟對話
hotkv> AMEM.CONV.CREATE session:42 WINDOW 20
OK

以真實 HotKV 指令與範例回覆呈現的動畫導覽。點擊任一步驟即可跳到該步驟。 指令與回覆維持英文,與您在 HotKV 中輸入及看到的完全一致。

問題

在步驟之間會遺忘的代理,無法完成長時間的任務。常見的做法是用一張聊天記錄資料表、一個存放事實的向量儲存,以及一個存放狀態的暫存空間,卻仍然沒有一份記錄完整呈現代理做過什麼。

HotKV 如何處理

HotKV 以指令的形式提供四種代理記憶體。對話視窗保存對話脈絡,語意記憶體依語意回想相關的事實,工作記憶體追蹤目前任務的狀態,而情節記錄則記載代理做過的事。

逐步說明

逐個指令看看發生了什麼事

  1. 01

    開啟對話

    一個工作階段會保留最近幾輪對話的滾動視窗。

    AMEM.CONV.CREATE session:42 WINDOW 20
  2. 02

    記錄客戶說的話

    每一輪對話都連同其角色一併附加。

    AMEM.CONV.APPEND session:42 user "Why was my invoice declined?"
  3. 03

    回想相關的事實

    先前以 AMEM.SEM.STORE 儲存在以 AMEM.SEM.CREATE 建立的語意記憶體中的事實,是依語意而非關鍵字找出來的。

    AMEM.SEM.RECALL billing-agent 3 0.02 0.7 ...
  4. 04

    追蹤任務

    工作記憶體記錄代理目前進行到哪裡,並在任務結束很久之後到期。

    AMEM.WORK.SET session:42 step "checking payment gateway" TTL 600
  5. 05

    記錄動作

    代理執行的每個動作都會被記錄下來,供稽核與除錯使用。

    AMEM.EPIS.LOG billing-agent action "Reissued invoice INV-9921"
  6. 06

    下一輪對話的脈絡

    最近的幾輪對話會放進下一個提示詞,讓代理永遠不會斷了線索。

    AMEM.CONV.WINDOW session:42 10
適用之處

真實世界的情境

客戶服務代理

處理退款的代理會記得客戶先前的訊息、商店的政策,以及退款流程進行到哪個步驟。

研究助理

在長時間的調查過程中,研究發現會以語意事實儲存,並在撰寫摘要時回想起來。

維運機器人

值班機器人執行的每個動作都在情節記錄中,因此人員可以精確審視它做了什麼以及為什麼這麼做。

內建

您能獲得什麼

對話記憶體

為每個工作階段提供最近幾輪對話的滾動視窗。

AMEM.CONV.APPENDAMEM.CONV.WINDOW

語意記憶體

依語意回想事實,可選擇附帶 TTL。

AMEM.SEM.STOREAMEM.SEM.RECALL

工作記憶體

可以自行到期的任務狀態。

AMEM.WORK.SETAMEM.WORK.GET

情節記錄

動作與觀察結果,可依類型與時間查詢。

AMEM.EPIS.LOGAMEM.EPIS.QUERY

常見問題

這和把聊天記錄存在資料庫裡有何不同?

四種記憶體共用一個儲存與一個連線,因此回想、任務狀態與動作記錄不必各自需要一項服務。

代理框架有影響嗎?

沒有。記憶體以指令的形式透過 Redis 協定提供,MCP 伺服器則把它提供給 MCP 用戶端。LangGraph 則有 checkpointer 與儲存。

哪些方案包含它?

代理記憶體屬於 Performance 與 Scale 方案。

相關使用情境

在您自己的工作負載上試試看

HotKV 支援 Redis 協定,因此您可以將現有的用戶端指向它,並執行這些相同的指令。