ШІ та LLMПошукПлани Performance і Scale

Асистенти знань на RAG

Відповідайте на запитання по власних документах із розбиттям на фрагменти, фільтрами метаданих, гібридним векторним і ключовим пошуком та кешованими оцінками ранжування, в одному рушії.

стратегії розбиття на фрагменти
3
векторний пошук + BM25
Гібридний
додаткових векторних баз даних
0
Крок 1 з 5
Визначте конвеєр

Один фрагмент на абзац. Використайте розмірності вашої моделі ембедингів (3 зберігає приклад коротким).

Приклад сесіїplaying
# Визначте конвеєр
hotkv> RAG.CREATE faq 3 STRATEGY paragraph
OK

Анімований покроковий розбір з реальними командами HotKV і прикладами відповідей. Натисніть будь-який крок, щоб перейти до нього. Команди та відповіді залишаються англійською, так само, як ви вводите й бачите їх у HotKV.

Проблема

Конвеєр пошуку зазвичай означає векторну базу даних, ключовий індекс, завдання розбиття, ранжувальник і код-склейку між ними. Кожен елемент це ще один сервіс, який треба запускати, захищати й синхронізувати з документами, а ранжувальник часто є найповільнішим і найдорожчим кроком.

Як це вирішує HotKV

HotKV вміщує конвеєр у рушій, який уже обслуговує ваш застосунок. Визначте конвеєр, завантажте документи й шукайте по ньому. Розбиття на фрагменти, метадані документів і гібридний пошук, що поєднує векторну подібність з ключовою оцінкою BM25, виконуються на сервері, а кеш ранжування зберігає оцінки cross-encoder, тож повторна пара запит і уривок ніколи не оцінюється двічі.

Крок за кроком

Що відбувається, команда за командою

  1. 01

    Визначте конвеєр

    Один фрагмент на абзац. Використайте розмірності вашої моделі ембедингів (3 зберігає приклад коротким).

    RAG.CREATE faq 3 STRATEGY paragraph
  2. 02

    Завантажте документи

    Кожен документ розбивається на фрагменти на сервері й зберігається з метаданими та одним вектором на фрагмент.

    RAG.INGEST faq doc:1 "To reset your password, click Forgot password on the login screen.\n\nBilling questions go to the billing team." META source help-center VECTORS 0.9,0.1,0.0 0.0,0.2,0.9
  3. 03

    Гібридний пошук

    Векторна подібність і ключова релевантність в одному запиті, обмеженому одним джерелом.

    RAG.SEARCH faq "how do I reset my password" K 2 ALPHA 0.5 VECTOR 0.88,0.12,0.01 FILTER source help-center
  4. 04

    Ранжуйте, але лише раз

    Оцінки cross-encoder кешуються для кожного запиту й фрагмента в просторі імен, створеному через RERANK.CREATE, тож популярний запит не платить за ранжування знову.

    RERANK.GET faq_scores "reset password|doc:1:0"
  5. 05

    Відповідайте та перевіряйте конвеєр

    Найкращі фрагменти йдуть до моделі як контекст, тож відповідь береться з центру допомоги, а не з припущення. RAG.STATS показує, що містить конвеєр.

    RAG.STATS faq
Де це доречно

Реальні сценарії

Асистенти центру допомоги

Статті й вирішені заявки завантажуються з продуктом і мовою як метаданими. Кожна відповідь спирається на документацію потрібного продукту.

Юридичний пошук і пошук політик

Договори й політики розбиваються за абзацами, тож знайдені уривки є повними пунктами, а ключова оцінка ловить точні терміни, як-от номери пунктів.

Інженерні знання

Ранбуки, проєктні документи та постмортеми стають придатними для пошуку за змістом для асистента чергового.

Вбудовано

Що ви отримуєте

Розбиття на фрагменти в рушії

Розбиття за фіксованим розміром, реченнями або абзацами. Фрагменти фіксованого розміру беруть розмір і перекриття на ваш вибір.

RAG.CREATE

Гібридний пошук

Векторна подібність і оцінка BM25 в одному запиті, а баланс задає ALPHA.

RAG.SEARCH

Фільтри метаданих

Додавайте пари ключ-значення під час завантаження й фільтруйте за ними під час пошуку.

RAG.INGESTFILTER

Кеш ранжування

Зберігайте оцінки cross-encoder для пар запит і уривок, щоб повтори були безкоштовними.

RERANK.GETRERANK.SET
Довідка:RAG.CREATERAG.INGESTRAG.SEARCHRERANK.GET

Поширені запитання

Чи створює HotKV ембединги?

Ні. Ви генеруєте ембединги потрібною вам моделлю й передаєте їх через VECTORS під час завантаження та VECTOR під час пошуку.

Чи можна шукати без векторів?

Так. RAG.SEARCH приймає текст запиту для ключової оцінки, а опція VECTOR додає векторну подібність. ALPHA визначає, як змішуються дві оцінки.

Які плани це містять?

Конвеєри RAG і кеш ранжування входять до планів Performance і Scale.

Пов'язані сценарії використання

Пошук

Пошук за векторною подібністю

Знаходьте найближчі елементи за змістом, з фільтром за тегом, у тому самому рушії, що зберігає самі елементи.

Огляд
LLM-застосунки

Асистент клієнтської підтримки на основі ШІ

Бот підтримки, який миттєво відповідає на повтори, зіставляє перефразування за змістом, підкріплює нові відповіді вашим центром допомоги та ніколи не перевитрачає.

Огляд
LLM-застосунки

Семантичне кешування відповідей

Кешуйте відповіді LLM за змістом, а не за точним текстом, щоб перефразовані запитання потрапляли в кеш і пропускали виклик моделі.

Огляд

Спробуйте на власному навантаженні

HotKV розмовляє протоколом Redis, тож ви можете направити на нього наявний клієнт і виконувати ті самі команди.

Отримати ранній доступДалі: Векторний пошук