AI 與 LLM代理Performance 與 Scale 方案

多代理編排

規劃者、研究者與撰寫者代理,透過持久的任務串流交接工作、共用結果與記憶體,而且絕不遺失任何任務。

個因代理當機而遺失的任務
0
個共用記憶體
1
個代理平行運作
N
步驟 1 / 6
發布任務

規劃者拆分工作,並將任務加入串流。

範例工作階段playing
# 發布任務
hotkv> XADD tasks * type research topic "EU AI Act obligations"
"1790985600123-0"

以真實 HotKV 指令與範例回覆呈現的動畫導覽。點擊任一步驟即可跳到該步驟。 指令與回覆維持英文,與您在 HotKV 中輸入及看到的完全一致。

問題

代理團隊需要一種方式來彼此傳遞工作、分享所發現的內容,並在其中一個在任務途中當機時恢復。用臨時拼湊的 HTTP 呼叫把這些接起來,會遺失任務、重複工具呼叫,也無法留下誰做了什麼的紀錄。

HotKV 如何處理

帶有消費者群組的串流就是任務看板。每個代理讀取自己的任務,完成時確認,而當機的代理遺留的待處理項目,可以由其他代理認領。研究發現放進共用的工作記憶體,工具結果為所有代理快取,每個動作也都會被記錄。

逐步說明

逐個指令看看發生了什麼事

  1. 01

    發布任務

    規劃者拆分工作,並將任務加入串流。

    XADD tasks * type research topic "EU AI Act obligations"
  2. 02

    工作者認領任務

    消費者群組以 XGROUP CREATE 建立一次。研究者以群組成員的身分讀取,任務在確認之前會保持待處理。

    XREADGROUP GROUP agents researcher COUNT 1 BLOCK 5000 STREAMS tasks >
  3. 03

    重複使用工具結果

    另一個代理今天已經執行過這個搜尋。共用的工具快取會直接傳回結果。

    TOOL.CACHE.GET web "search:EU AI Act obligations"
  4. 04

    分享研究發現

    結果放進專案的工作記憶體,每個代理都能讀取。

    AMEM.WORK.SET project:9 findings "Providers of high-risk systems must ..."
  5. 05

    確認

    任務完成後離開待處理清單。若研究者當機,XAUTOCLAIM 會把它交給另一個代理。

    XACK tasks agents 1790985600123-0
  6. 06

    撰寫者接手

    撰寫者讀取共用的研究發現,起草報告,並記錄這個動作。

    AMEM.WORK.GET project:9 findings
適用之處

真實世界的情境

研究與報告

規劃者將一個問題拆成子任務,多位研究者平行作業,再由撰寫者從共用記憶體彙整成果。

軟體代理

撰寫程式、測試與審查的代理透過串流交接工作,它們做的每項變更都記錄在情節記錄中。

後勤作業自動化

發票擷取、驗證與入帳的代理,沿著一條在重新啟動後依然存續的管線傳遞文件。

內建

您能獲得什麼

持久的任務交接

具備消費者群組、確認機制,並可認領被遺棄任務的串流。

XADDXREADGROUPXACKXAUTOCLAIM

共用工作記憶體

每個代理都能讀取並更新的專案狀態。

AMEM.WORK.SETAMEM.WORK.GET

共用工具快取

具決定性的工具結果可在代理之間重複使用。

TOOL.CACHE.GETTOOL.CACHE.SET

誰做了什麼

每個代理各自的情節記錄,供稽核與除錯使用。

AMEM.EPIS.LOG

常見問題

如果代理在任務途中當機會怎麼樣?

任務會留在消費者群組的待處理清單中。閒置夠久之後,另一個代理可以用 XAUTOCLAIM 接手。

代理可以在不同的機器與語言上運行嗎?

可以。它們只需要連線到 HotKV。任何支援 Redis 協定的用戶端都能使用。

哪些方案包含它?

串流在每個方案上都能使用。代理記憶體與工具快取屬於 Performance 與 Scale 方案。

相關使用情境

在您自己的工作負載上試試看

HotKV 支援 Redis 協定,因此您可以將現有的用戶端指向它,並執行這些相同的指令。