AI dan LLMAgenPaket Performance dan Scale

Orkestrasi Multi-Agen

Agen perencana, peneliti, dan penulis yang menyerahkan pekerjaan lewat stream tugas yang tahan lama, berbagi hasil dan memori, dan tidak pernah kehilangan tugas.

tugas hilang saat agen crash
0
memori bersama
1
agen secara paralel
N
Langkah 1 dari 6
Kirim sebuah tugas

Perencana memecah pekerjaan dan menambahkan tugas ke stream.

Sesi contohplaying
# Kirim sebuah tugas
hotkv> XADD tasks * type research topic "EU AI Act obligations"
"1790985600123-0"

Panduan beranimasi dengan perintah HotKV yang sebenarnya dan balasan contoh. Klik langkah mana pun untuk melompat ke sana. Perintah dan balasan tetap dalam bahasa Inggris, persis seperti yang Anda ketik dan lihat di HotKV.

Masalahnya

Tim agen memerlukan cara untuk saling menyerahkan pekerjaan, berbagi temuan, dan pulih ketika salah satunya crash di tengah tugas. Merangkainya dengan panggilan HTTP ad hoc menghilangkan tugas, menggandakan panggilan tool, dan tidak meninggalkan catatan siapa mengerjakan apa.

Cara HotKV menanganinya

Stream dengan consumer group adalah papan tugasnya. Setiap agen membaca tugasnya sendiri, mengonfirmasinya saat selesai, dan apa pun yang ditinggalkan agen yang crash dalam keadaan pending dapat diklaim oleh agen lain. Temuan masuk ke memori kerja bersama, hasil tool di-cache untuk setiap agen, dan setiap tindakan dicatat.

Langkah demi langkah

Apa yang terjadi, perintah demi perintah

  1. 01

    Kirim sebuah tugas

    Perencana memecah pekerjaan dan menambahkan tugas ke stream.

    XADD tasks * type research topic "EU AI Act obligations"
  2. 02

    Sebuah worker mengklaimnya

    Consumer group dibuat sekali dengan XGROUP CREATE. Peneliti membaca sebagai anggotanya, dan tugas tetap pending sampai dikonfirmasi.

    XREADGROUP GROUP agents researcher COUNT 1 BLOCK 5000 STREAMS tasks >
  3. 03

    Pakai ulang hasil tool

    Agen lain sudah menjalankan pencarian ini hari ini. Tool cache bersama mengembalikannya.

    TOOL.CACHE.GET web "search:EU AI Act obligations"
  4. 04

    Bagikan temuan

    Hasil masuk ke memori kerja untuk proyek, tempat setiap agen dapat membacanya.

    AMEM.WORK.SET project:9 findings "Providers of high-risk systems must ..."
  5. 05

    Konfirmasi

    Tugas selesai dan keluar dari daftar pending. Seandainya peneliti crash, XAUTOCLAIM akan menyerahkannya ke agen lain.

    XACK tasks agents 1790985600123-0
  6. 06

    Penulis mengambilnya

    Penulis membaca temuan bersama, menyusun laporan, dan mencatat tindakan.

    AMEM.WORK.GET project:9 findings
Di mana ini cocok

Skenario dunia nyata

Riset dan pelaporan

Perencana memecah pertanyaan menjadi sub-tugas, beberapa peneliti bekerja secara paralel, dan penulis menyusun hasil dari memori bersama.

Agen perangkat lunak

Agen pemrograman, pengujian, dan peninjauan menyerahkan pekerjaan lewat stream, dan setiap perubahan yang mereka buat ada di log episodik.

Otomatisasi back-office

Agen ekstraksi, validasi, dan pencatatan faktur menyerahkan dokumen sepanjang pipeline yang bertahan saat restart.

Bawaan

Yang Anda dapatkan

Serah terima tugas yang tahan lama

Stream dengan consumer group, acknowledgement, dan pengklaiman tugas yang ditinggalkan.

XADDXREADGROUPXACKXAUTOCLAIM

Memori kerja bersama

Status proyek yang dapat dibaca dan diperbarui oleh setiap agen.

AMEM.WORK.SETAMEM.WORK.GET

Tool cache bersama

Hasil tool deterministik dipakai ulang di seluruh agen.

TOOL.CACHE.GETTOOL.CACHE.SET

Siapa mengerjakan apa

Log episodik per agen untuk audit dan debugging.

AMEM.EPIS.LOG
Referensi:XREADGROUPXAUTOCLAIMTOOL.CACHE.GETAMEM.WORK.SET

Pertanyaan umum

Apa yang terjadi jika agen crash di tengah tugas?

Tugas tetap berada di daftar pending consumer group. Agen lain dapat mengambil alihnya dengan XAUTOCLAIM setelah ia menganggur cukup lama.

Bisakah agen berjalan di mesin dan bahasa yang berbeda?

Ya. Mereka hanya memerlukan koneksi ke HotKV. Klien apa pun yang berbicara protokol Redis dapat bekerja.

Paket mana yang menyertakannya?

Stream bekerja di setiap paket. Memori agen dan tool cache adalah bagian dari paket Performance dan Scale.

Kasus penggunaan terkait

Agen

Agen Otonom dengan Memori

Beri agen yang berjalan lama konteks percakapan, pengetahuan yang diingat, status tugas, dan jejak audit, semuanya di satu tempat.

Jelajahi
Agen

Caching Panggilan Tool Agen

Agen memanggil tool yang sama dengan argumen yang sama berulang kali. Memoisasi hasilnya dan berhenti membayar dua kali untuk panggilan API yang sama.

Jelajahi
Pekerjaan latar belakang

Streaming Peristiwa dengan Consumer Group

Stream peristiwa append-only dengan consumer group, acknowledgement, dan pemulihan otomatis pesan yang ditinggalkan konsumen yang crash.

Jelajahi

Coba pada beban kerja Anda sendiri

HotKV berbicara protokol Redis, jadi Anda dapat mengarahkan klien yang sudah ada ke HotKV dan menjalankan perintah yang sama.

Dapatkan akses awalBerikutnya: Tool Caching