AIとLLM機械学習PerformanceプランとScaleプラン

リアルタイムMLフィーチャーストア

ユーザー、アイテム、セッションの型付き特徴量を、パイプラインが書き込み、モデルが推論時にその経過時間とともに読み取ります。

特徴量の型
3
毎回の読み取りで返却
経過時間
多数のエンティティの読み取り
バッチ
ステップ 1 / 5
スキーマを定義

型付きのグループです。誤った型は書き込み時に拒否されます。

サンプルセッションplaying
# スキーマを定義
hotkv> FEATURE.CREATE user_features "Signals for scoring" SCHEMA age int64 ctr double country string
OK

実際のHotKVコマンドと応答例を使ったアニメーションのウォークスルーです。任意のステップをクリックすると、そこに移動します。 コマンドと応答は、HotKVで実際に入力し表示されるとおり英語のままです。

課題

本番のモデルの質は、推論時に見る特徴量の質で決まります。オフラインのデータウェアハウスはリクエストごとに照会するには遅すぎ、単純なキーバリューストアにはスキーマがありません。そのため、数値の特徴量にテキストを書き込むパイプラインのバグは、ストアではなくモデルが見つけることになります。

HotKVでの解決方法

HotKVのフィーチャーグループには型付きのスキーマがあります。ストリーミングジョブが最新の値を書き込み、バッチジョブが独自のタイムスタンプでバックフィルし、モデルサーバーは1つのエンティティまたはバッチ全体を1回の呼び出しで読み取ります。各読み取りはエンティティの最終更新時刻と経過時間を返すため、古い特徴量を検出できます。

ステップごとに

コマンドごとに何が起きるか

  1. 01

    スキーマを定義

    型付きのグループです。誤った型は書き込み時に拒否されます。

    FEATURE.CREATE user_features "Signals for scoring" SCHEMA age int64 ctr double country string
  2. 02

    最新の値をストリーミング

    ストリーミングジョブが、イベントの到着に合わせて特徴量を更新します。

    FEATURE.SET user_features user:42 ctr 0.051 country DE
  3. 03

    正しい時刻でバックフィル

    バッチジョブは、読み込んだ時刻ではなく、値が正しかった時刻をエンティティに記録します。

    FEATURE.SETAT user_features user:42 1790985600123 age 31
  4. 04

    決済をスコアリング

    モデルサーバーがユーザーの特徴量を、更新時刻とミリ秒単位の経過時間とともに読み取ります。

    FEATURE.GET user_features user:42
  5. 05

    多数のエンティティをバッチで

    1ページ分の候補を1回の呼び出しでランク付けします。

    FEATURE.BATCH user_features user:42 user:77 user:91 FEATURES ctr
活用シーン

実際のシナリオ

不正とリスクのスコアリング

カードのベロシティ、デバイスの使用期間、アカウントの履歴を、決済時にリクエスト経路の中で、支払いが承認される前に読み取ります。

ランキングと広告

クリック率と最近の関心を、ページ上のすべての候補について1回のバッチ呼び出しで読み取ります。

ダイナミックプライシング

需要と在庫の特徴量を絶えずストリーミングで取り込み、価格モデルが見積もりのたびに読み取ります。

標準搭載

得られるもの

型付きスキーマ

int64、double、stringの特徴量。誤った型の書き込みは拒否されます。

FEATURE.CREATEFEATURE.SCHEMA

ストリーミングとバックフィル

現在時刻、または値が正しかった時刻で書き込めます。

FEATURE.SETFEATURE.SETAT

毎回の読み取りで鮮度を確認

各読み取りが、エンティティの更新時刻と経過時間を返します。

FEATURE.GET

バッチ配信

多数のエンティティ、選択した特徴量を1回の呼び出しで。

FEATURE.BATCHFEATURE.STATS

よくある質問

オフラインのフィーチャーストアの代わりになりますか?

これはオンライン側で、推論時の低レイテンシな読み取りのためのものです。学習データは引き続きデータウェアハウスから取得でき、バックフィルはFEATURE.SETATでHotKVに書き込めます。

古い特徴量はどうやって検出しますか?

FEATURE.GETは毎回、最終更新時刻とミリ秒単位の経過時間を返すため、モデルサーバーは古い値を拒否したりフラグを付けたりできます。

どのプランに含まれますか?

フィーチャーストアは、PerformanceプランとScaleプランに含まれます。

関連するユースケース

ご自身のワークロードで試してみましょう

HotKVはRedisプロトコルに対応しているため、既存のクライアントを向けるだけで、これらと同じコマンドを実行できます。