Агенти подорожей і бронювання
Пошуки погоди, валют і наявності повторюються між мандрівниками та кроками планування. Кожен результат отримують один раз за TTL.
ШІ та LLMАгентиПлани Performance і Scale
Кешування викликів інструментів агента
Агенти знову і знову викликають ті самі інструменти з тими самими аргументами. Мемоїзуйте результати й перестаньте платити за той самий виклик API двічі.
- пошук перед кожним викликом інструмента
- 1
- на простір імен або запис
- TTL
- заощаджено, звіт від STATS
- $
Крок 1 з 5
Створіть простір імен
Погода змінюється повільно, тож результати живуть 15 хвилин.
Приклад сесіїplaying
# Створіть простір імен
hotkv> TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900
OK
Анімований покроковий розбір з реальними командами HotKV і прикладами відповідей. Натисніть будь-який крок, щоб перейти до нього. Команди та відповіді залишаються англійською, так само, як ви вводите й бачите їх у HotKV.
Проблема
Агенти ходять колами. Вони кілька разів за один запуск і знову в наступному шукають ту саму погоду, той самий курс обміну, той самий результат SQL і ту саму вебсторінку. Кожен виклик коштує затримки, ліміту запитів і нерідко грошей, а повільні інструменти сповільнюють кожен крок агента.
Як це вирішує HotKV
Кеш інструментів мемоїзує детерміновані виклики інструментів за ключем, побудованим з назви інструмента та його аргументів. Перед викликом інструмента агент питає кеш. Влучання одразу повертає збережений результат, промах викликає інструмент один раз і зберігає результат із TTL, що відповідає потрібній свіжості.
Крок за кроком
Що відбувається, команда за командою
- 01
Створіть простір імен
Погода змінюється повільно, тож результати живуть 15 хвилин.
TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900 - 02
Перший виклик, промах
Для цих аргументів ще нічого не закешовано.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 03
Викличте інструмент один раз і збережіть
Реальний API викликається, а результат кешується на наступні 15 хвилин.
TOOL.CACHE.SET tools "get_weather(city=Lisbon)" "{\"temp_c\":21,\"sky\":\"clear\"}" TTL 900 - 04
Кожен повтор є влучанням
Агент планує другу денну поїздку й запитує знову. Так само роблять інші агенти для інших мандрівників.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 05
Порахуйте заощадження
Влучання, промахи та заощаджене використання звітуються для кожного простору імен.
TOOL.CACHE.STATS tools
Де це доречно
Реальні сценарії
Агенти даних
Запити SQL лише для читання та метрики дашбордів мемоїзуються, тож агент, що досліджує дані, не навантажує сховище.
Агенти перегляду
Отримані й розібрані вебсторінки кешуються, тож та сама сторінка не завантажується знову під час кожного запуску.
Вбудовано
Що ви отримуєте
Мемоїзація за аргументами
Ключі будуються з назви інструмента та його аргументів, тож кожен окремий виклик кешується окремо.
TOOL.CACHE.GETTOOL.CACHE.SETКонтроль свіжості
Типовий TTL для простору імен і необов'язковий TTL для запису.
TTLОбмежена пам'ять
Ліміт записів для простору імен з витісненням, коли він заповнений.
MAX_ENTRIESЗвіт про заощадження
Влучання, промахи, витіснення, пам'ять і заощаджене використання.
TOOL.CACHE.STATSПоширені запитання
Які інструменти варто кешувати?
Детерміновані виклики лише для читання, як-от пошуки, обшуки й запити, результат яких залежить лише від аргументів. Ніколи не кешуйте інструменти, що щось змінюють, як-от надсилання листа.
Чи можна прибрати кешований результат раніше?
Так. TOOL.CACHE.DEL видаляє один запис, а TOOL.CACHE.FLUSH спорожнює простір імен.
Які плани це містять?
Кеш інструментів входить до планів Performance і Scale.
Пов'язані сценарії використання
Спробуйте на власному навантаженні
HotKV розмовляє протоколом Redis, тож ви можете направити на нього наявний клієнт і виконувати ті самі команди.