自分のデータを持ち込む

New Relicは、 MLOps observabilityの分野に参入し、データサイエンティストや機械学習エンジニアが本番環境で機械学習モデルのパフォーマンスや効果を監視・観察できるようにしています。

運用中のデータやモデルを簡単に追跡

監視しなければならないモデルの数が一定に達すると、データやモデルのKPIを把握することが難しくなり、結果としてシステムがさらに複雑になってしまいます。 Bring Your Own Data (BYO) を使えば、わずか数分後には、モデルの推論やメトリックデータを、ノートブックやその他の環境から直接、New Relicプラットフォームに素早く送信することができます。

ml-performance-monitoring pythonパッケージは、 newrelic-telemetry-sdk-python をベースにしており、コードに数行追加するだけで、モデルの特徴量や予測値、カスタムメトリクスを送信することができます。

python パッケージを使用して、以下の種類のデータを New Relic に送信します。

1. 推論データ： あなたのモデルの特徴と予測値をストリームします。選ぶことができます。

   • "Online" instrumentation: wrap_model 関数を使ってモデルを簡単にラップすることで、プロダクションでモデルが呼び出されている間に値をストリームします。データは起動のたびに自動的にストリームされます。
   • " Offline" instrumentation: データ（特徴量と予測値）をデータセットとして（ np.array, or pandas dataframe として）送信します。

   推論データは、 カスタムイベント InferenceData という名前でストリーミングされます。

2. Data metrics: 生の推論データをすべて送信する代わりに、特徴量と予測値に対して集約された統計オプションを選択します（例えば、 min, max, average, or percentile ）。これらは、 metrics として自動的に送信されます。

3. カスタムメトリクス： 独自のメトリクスを計算して、モデルのパフォーマンスやモデルのデータをモニタリングし、 record_metrics 関数を使って New Relic にストリーミングします。これらは metrics として送られます。

推論データやメトリクスをNew Relicにストリームするにはどうすればいいですか？

以下の手順で、データをストリーミングし、New Relicプラットフォームで表示します。

1. Get your license key: Use the license key for the New Relic account you want to be associated with your data.

2. new-relic-ml-performance-monitoring パッケージを使用して、データを New Relic にストリーミングします。以下の例に従って、あなたのコードからデータを送信する方法を確認してください。

3. データをNew Relic Platformで見ることができます。

   • データの問い合わせ： データエクスプローラー を使用して、送信したメトリクスおよびイベントデータを表示するか、 クエリビルダ で以下のクエリを使用します。

     SELECT * FROM InferenceData WHERE model_name=[model_name] SINCE 1 day ago

     コピー

     SELECT * FROM Metric WHERE model_name=[model_name] SINCE 1 day ago

     コピー

   • Create your own dashboard: Build your own dashboard 送信したメトリクスを可視化したり、特徴量や予測値の分布を表示したりします。以下にダッシュボードの例を示します。

   • エンティティの探索： New Relic にデータをストリームすると、 機械学習モデル というタイプのエンティティが、各モデル名ごとに1つずつ自動的に作成されます。モデルのエンティティは、 Explorer on New Relic One を選択し、左のナビゲーションメニューにある Machine Learning セクションに行くことで探索することができます。

参考になる例が必要ですか？次のユースケースをご覧ください。

以下の例を実行すると、データがストリーミングされ、New Relic アカウントのダッシュボード例が表示されます。

1. サンプルノートブックの実行: インジェストキー を環境変数として定義するか、パラメータとして送信する必要があります。(ここでは、 例のノートブック 。)
2. サンプルダッシュボードのデータを見る： サンプル ダッシュボードテンプレートのJSON をインポートし、 YOUR_ACCOUNT_ID をお客様のアカウントIDで更新します。