AI và LLMTruy xuấtCác gói Performance và Scale

Trợ lý tri thức RAG

Trả lời câu hỏi trên tài liệu của riêng bạn với chia chunk, bộ lọc metadata, tìm kiếm lai giữa vector và từ khóa, cùng điểm rerank được cache, trong một engine.

chiến lược chia chunk
3
tìm kiếm vector + BM25
Lai
cơ sở dữ liệu vector phụ
0
Bước 1 trên 5
Định nghĩa pipeline

Một chunk cho mỗi đoạn văn. Dùng số chiều của mô hình embedding của bạn (3 giúp ví dụ ngắn gọn).

Phiên ví dụplaying
# Định nghĩa pipeline
hotkv> RAG.CREATE faq 3 STRATEGY paragraph
OK

Một hướng dẫn minh họa động với các lệnh HotKV thật và phản hồi ví dụ. Nhấn vào bất kỳ bước nào để nhảy tới đó. Lệnh và phản hồi giữ nguyên bằng tiếng Anh, đúng như bạn gõ và thấy trong HotKV.

Vấn đề

Một pipeline truy xuất thường có nghĩa là một cơ sở dữ liệu vector, một chỉ mục từ khóa, một tác vụ chia chunk, một reranker và mã keo dán giữa chúng. Mỗi thành phần là thêm một dịch vụ phải vận hành, bảo mật và giữ đồng bộ với tài liệu của bạn, và reranker thường là bước chậm nhất và tốn kém nhất.

HotKV xử lý như thế nào

HotKV đặt pipeline vào chính engine đang phục vụ ứng dụng của bạn. Định nghĩa một pipeline, nạp tài liệu và tìm kiếm trên nó. Chia chunk, metadata tài liệu và tìm kiếm lai trộn độ tương đồng vector với chấm điểm từ khóa BM25 đều chạy phía máy chủ, và một rerank cache giữ điểm cross-encoder để một cặp truy vấn và đoạn văn lặp lại không bao giờ bị chấm điểm hai lần.

Từng bước một

Điều gì xảy ra, từng lệnh một

  1. 01

    Định nghĩa pipeline

    Một chunk cho mỗi đoạn văn. Dùng số chiều của mô hình embedding của bạn (3 giúp ví dụ ngắn gọn).

    RAG.CREATE faq 3 STRATEGY paragraph
  2. 02

    Nạp tài liệu

    Mỗi tài liệu được chia chunk phía máy chủ và lưu cùng metadata của nó và một vector cho mỗi chunk.

    RAG.INGEST faq doc:1 "To reset your password, click Forgot password on the login screen.\n\nBilling questions go to the billing team." META source help-center VECTORS 0.9,0.1,0.0 0.0,0.2,0.9
  3. 03

    Tìm kiếm lai

    Độ tương đồng vector và độ liên quan từ khóa trong một truy vấn, giới hạn trong một nguồn.

    RAG.SEARCH faq "how do I reset my password" K 2 ALPHA 0.5 VECTOR 0.88,0.12,0.01 FILTER source help-center
  4. 04

    Rerank, nhưng chỉ một lần

    Điểm từ cross-encoder được cache theo từng truy vấn và chunk, trong một namespace tạo bằng RERANK.CREATE, nên một truy vấn phổ biến không phải trả tiền cho rerank lần nữa.

    RERANK.GET faq_scores "reset password|doc:1:0"
  5. 05

    Trả lời, và kiểm tra pipeline

    Các chunk tốt nhất đi tới mô hình làm ngữ cảnh, nên câu trả lời đến từ trung tâm trợ giúp thay vì đoán mò. RAG.STATS cho thấy pipeline đang giữ những gì.

    RAG.STATS faq
Phù hợp ở đâu

Các tình huống thực tế

Trợ lý trung tâm trợ giúp

Bài viết và phiếu đã giải quyết được nạp kèm sản phẩm và ngôn ngữ của chúng làm metadata. Mỗi câu trả lời dựa trên tài liệu của đúng sản phẩm.

Tìm kiếm pháp lý và chính sách

Hợp đồng và chính sách được tách theo đoạn văn để các đoạn được truy xuất là những điều khoản trọn vẹn, và chấm điểm từ khóa bắt được các thuật ngữ chính xác như số điều khoản.

Tri thức kỹ thuật

Runbook, tài liệu thiết kế và postmortem trở nên tìm kiếm được theo ý nghĩa cho trợ lý của nhân viên trực.

Tích hợp sẵn

Bạn nhận được gì

Chia chunk trong engine

Chia chunk theo kích thước cố định, theo câu hoặc theo đoạn văn. Chunk kích thước cố định nhận kích thước và độ chồng lấp do bạn chọn.

RAG.CREATE

Tìm kiếm lai

Độ tương đồng vector và chấm điểm từ khóa BM25 trong một truy vấn, với ALPHA đặt mức cân bằng.

RAG.SEARCH

Bộ lọc metadata

Gắn các cặp khóa và giá trị khi nạp và lọc theo chúng lúc tìm kiếm.

RAG.INGESTFILTER

Rerank cache

Giữ điểm cross-encoder cho các cặp truy vấn và đoạn văn để các lần lặp lại là miễn phí.

RERANK.GETRERANK.SET

Câu hỏi thường gặp

HotKV có tạo embedding không?

Không. Bạn tạo embedding bằng mô hình bạn ưa thích và truyền chúng bằng VECTORS khi nạp và VECTOR khi tìm kiếm.

Tôi có thể tìm kiếm mà không dùng vector không?

Có. RAG.SEARCH nhận văn bản truy vấn để chấm điểm từ khóa, và tùy chọn VECTOR thêm độ tương đồng vector. ALPHA đặt cách hai điểm được trộn.

Gói nào bao gồm nó?

Pipeline RAG và rerank cache là một phần của các gói Performance và Scale.

Trường hợp sử dụng liên quan

Thử trên khối lượng công việc của chính bạn

HotKV nói giao thức Redis, nên bạn có thể trỏ một client hiện có tới nó và chạy chính những lệnh này.