TruEra は、AI スタックの重要なギャップを埋め、ライフサイクルを通じてモデルの品質を説明およびテストします。TruEra の AI ソリューションは、機械学習モデルの説明、デバッグ、およびモニタリングを行い、より高い品質と信頼性を実現するとともに、迅速なデプロイメントを可能にします。このソリューションは、モデルのライフサイクル全体にわたって機能し、モデル開発プラットフォームに依存せず、既存のAIスタックに簡単に組み込むことができます。
TruEra社は現在、 MLOps New Relicとの統合を提供しており、MLのライフサイクル全体で信号を相関させ、標準的な精度を超えて、入出力のドリフトを監視するMLOpsチームを支援しています。
TruEraとNew Relicの統合
TruEraへの機械学習モデルの追加
TruEraは、機械学習モデルやその他のデータを取り込むためのコマンドライン・インターフェース（CLI）とPythonクライアントを提供しています。CLIを使用してモデルを追加する手順には、新規プロジェクトの作成、データ収集、トレーニングデータの追加、モデルのパッケージ化と取り込み、本番データの追加が含まれます。
これらの手順は、 TruEraのテクニカル・ドキュメント・ページ に記載されています。
TruEraからNew Relicへのデータの流れ
Truera モニタリングシステムに新しいデータセットが取り込まれると、関連するメトリクスが計算され、保存されます。これらの計算されたメトリクスは、 truera2newrelic data exporter を使用して New Relic に定期的にプッシュすることができます。このエクスポーターには、Truera と New Relic のコンソールで生成された API キーが必要です。
以下に、これらのキーを作成する方法を説明します。
- New Relic のアカウントにログインします。 Log into one.newrelic.com and click on Explorer.上部の角にあるメインナビゲーションメニューで、 + Add more data をクリックします。
- TruEra をクリック: 検索バーで TruEra と入力するか、MLOps Integration セクションまでスクロールダウンして、 TruEra のアイコンをクリック します。
- Select an account ID: TruEraと統合したいアカウントIDを選択してください。
- Select or create an API key: ダッシュボードの管理には Active dashboard key が、メトリクスの取り込みには Model metrics data key が必要です。これらのキーは、 New Relic のライセンスキー を参照しています。新しいキーを作成するか、2つのキーのセクションで既存のキーを選択します。
- TruEraでキーを作成する： TruEraコンソールにログインし、ユーザー・ページに移動します。 Generate Credentials をクリックして、 Auth token を作成します。
- Verify the data export run and set up the batch exporter: 次に、 TruEra docs にアクセスして、ターミナルのコマンドを使用して最初のデータ・エクスポー ト実行を検証する方法の手順を確認してください。次に、仮想マシン上でバッチ・データ・エクスポーターをセットアップします。
TruEra を使用して、すぐに使える New Relic ダッシュボードを表示します。
機械学習のモニタリング指標を可視化するために、TruEra は、モデルの健全性、セグメントのドリルダウン、フィーチャの値、データの品質、公平性などのテーマを使用して問題を監視し、ドリルダウンするためのスケルトン・ダッシュボードを提供します。
これらのダッシュボードは、 truera2newrelic ダッシュボードツールを使って設定することができます。そのためには、以下の手順に従ってください。
- Verify your model metrics: one.newrelic.com から、ナビゲーションメニューに入り、メインナビゲーションメニューのダッシュボードタブをクリックします。与えられたMLモデル用に自動生成されたダッシュボードの設定が表示されます。最近エクスポートしたモデルのメトリクスが表示されていることを確認します。
- アラート通知の設定： ダッシュボードをいくつか作成したら、データにアラートを出すことができます。チャートから NRQL アラート条件を作成するには、チャートウィジェットをクリックし、 アラート条件の作成 をクリックします。条件に名前を付けてカスタマイズしたら、それを既存のポリシーに追加したり、新しいポリシーを作成することができます。
- Get notified: アラート条件を作成したら、どのように通知するかを選択できます。通知チャンネルの設定方法については、 のドキュメントを参照してください 。
- インシデントを相関させる： 通知に加えて、Incident Intelligenceを使用してインシデントを相関させることができます。 決定事項を使用してインシデントを相関させる方法については、ドキュメントを参照してください 。
これで、New Relic と TruEra の統合が完了しました。新たに作成されたアラートは、New Relic のアラートと相関関係があり、新たに報告された予測に関するデータを見ることができるようになりました。