ИИ и LLMПоискТарифы Performance и Scale

Ассистенты знаний на RAG

Отвечайте на вопросы по собственным документам: разбиение на фрагменты, фильтры по метаданным, гибридный векторный и ключевой поиск и кешированные оценки переранжирования в одном движке.

стратегии разбиения на фрагменты
3
векторный поиск + BM25
Гибридный
дополнительных векторных баз данных
0
Шаг 1 из 5
Определяем конвейер

Один фрагмент на абзац. Используйте размерность вашей модели эмбеддингов (3 делает пример коротким).

Пример сеансаplaying
# Определяем конвейер
hotkv> RAG.CREATE faq 3 STRATEGY paragraph
OK

Анимированная демонстрация с настоящими командами HotKV и примерами ответов. Нажмите на любой шаг, чтобы перейти к нему. Команды и ответы остаются на английском, ровно так, как вы вводите и видите их в HotKV.

Проблема

Конвейер поиска обычно означает векторную базу данных, ключевой индекс, задание разбиения на фрагменты, переранжировщик и связующий код между ними. Каждая часть - ещё один сервис, который нужно запускать, защищать и синхронизировать с документами, а переранжировщик часто оказывается самым медленным и дорогим шагом.

Как с этим справляется HotKV

HotKV помещает конвейер в движок, который уже обслуживает ваше приложение. Определите конвейер, загрузите документы и ищите по ним. Разбиение на фрагменты, метаданные документов и гибридный поиск, сочетающий векторное сходство с ключевой оценкой BM25, выполняются на стороне сервера, а кеш переранжирования хранит оценки кросс-энкодера, чтобы повторяющаяся пара запроса и фрагмента никогда не оценивалась дважды.

Шаг за шагом

Что происходит, команда за командой

  1. 01

    Определяем конвейер

    Один фрагмент на абзац. Используйте размерность вашей модели эмбеддингов (3 делает пример коротким).

    RAG.CREATE faq 3 STRATEGY paragraph
  2. 02

    Загружаем документы

    Каждый документ разбивается на фрагменты на стороне сервера и хранится с метаданными и одним вектором на фрагмент.

    RAG.INGEST faq doc:1 "To reset your password, click Forgot password on the login screen.\n\nBilling questions go to the billing team." META source help-center VECTORS 0.9,0.1,0.0 0.0,0.2,0.9
  3. 03

    Гибридный поиск

    Векторное сходство и ключевая релевантность в одном запросе, ограниченном одним источником.

    RAG.SEARCH faq "how do I reset my password" K 2 ALPHA 0.5 VECTOR 0.88,0.12,0.01 FILTER source help-center
  4. 04

    Переранжируем, но только один раз

    Оценки кросс-энкодера кешируются для каждой пары запроса и фрагмента в пространстве имён, созданном командой RERANK.CREATE, поэтому популярный запрос не платит за переранжирование повторно.

    RERANK.GET faq_scores "reset password|doc:1:0"
  5. 05

    Отвечаем и проверяем конвейер

    Лучшие фрагменты передаются модели как контекст, поэтому ответ берётся из справочного центра, а не угадывается. RAG.STATS показывает, что хранит конвейер.

    RAG.STATS faq
Где это уместно

Реальные сценарии

Ассистенты справочного центра

Статьи и закрытые обращения загружаются с продуктом и языком в качестве метаданных. Каждый ответ опирается на документацию нужного продукта.

Юридический поиск и поиск по политикам

Договоры и политики разбиваются по абзацам, так что найденные фрагменты представляют собой целые пункты, а ключевая оценка находит точные термины, например номера пунктов.

Инженерные знания

Руководства по эксплуатации, проектные документы и разборы инцидентов становятся доступны для поиска по смыслу для дежурного ассистента.

Встроено

Что вы получаете

Разбиение на фрагменты в движке

Разбиение на фрагменты фиксированного размера, по предложениям или по абзацам. Для фрагментов фиксированного размера вы выбираете размер и перекрытие.

RAG.CREATE

Гибридный поиск

Векторное сходство и ключевая оценка BM25 в одном запросе, где ALPHA задаёт баланс.

RAG.SEARCH

Фильтры по метаданным

Прикрепляйте пары «ключ - значение» при загрузке и фильтруйте по ним при поиске.

RAG.INGESTFILTER

Кеш переранжирования

Храните оценки кросс-энкодера для пар запроса и фрагмента, чтобы повторы были бесплатными.

RERANK.GETRERANK.SET
Справочник:RAG.CREATERAG.INGESTRAG.SEARCHRERANK.GET

Частые вопросы

Создаёт ли HotKV эмбеддинги?

Нет. Вы создаёте эмбеддинги нужной вам моделью и передаёте их с VECTORS при загрузке и VECTOR при поиске.

Можно ли искать без векторов?

Да. RAG.SEARCH принимает текст запроса для ключевой оценки, а параметр VECTOR добавляет векторное сходство. ALPHA задаёт, как смешиваются две оценки.

Какие тарифы это включают?

Конвейеры RAG и кеш переранжирования входят в тарифы Performance и Scale.

Связанные сценарии

Поиск

Векторный поиск по сходству

Находите ближайшие элементы по смыслу, с фильтром по тегам, в том же движке, который хранит сами элементы.

Подробнее
Приложения на LLM

ИИ-ассистент службы поддержки

Бот поддержки, который мгновенно отвечает на повторы, находит перефразированные вопросы по смыслу, строит новые ответы на вашем справочном центре и никогда не превышает бюджет.

Подробнее
Приложения на LLM

Семантическое кеширование ответов

Кешируйте ответы LLM по смыслу, а не по точному тексту, чтобы перефразированные вопросы попадали в кеш и пропускали вызов модели.

Подробнее

Попробуйте на своей нагрузке

HotKV понимает протокол Redis, поэтому вы можете подключить к нему существующий клиент и выполнить те же команды.

Получить ранний доступДалее: Векторный поиск