Superwiseは現在、 MLOps New Relicとの統合を提供しており、ユーザーはSuperwiseが監視するAIの状態を、New Relic上の一元化されたオペレーションビューに追加することができます。
New RelicでSuperwiseからデータを移行する
SuperwiseのKPIとインシデントの統合は、ドリフト、アクティビティ、インシデント、そしてお客様が設定した任意のカスタムKPIを含む、すぐに使えるモデルKPIの結果をNew Relic Oneに直接ストリーミングします。どのモデルが問題を起こしているか、ユースケース、ロジック、セグメンテーション、しきい値、感度に合わせて即座に把握することができます。
SuperwiseからNew Relicにデータを受信するためには、以下のようにする必要があります。
- New Relic のアカウントにログインします。 Log into one.newrelic.com and click on Explorer.上部の角にあるメインナビゲーションメニューで、 + Add more data をクリックします。
- Superwiseをクリック: 検索バーで、 Superwise と入力するか、MLOps Integrationセクションまでスクロールダウンして、 Superwise アイコンをクリックしてください。
- Select an account ID: Superwiseと統合したいアカウントIDを選択。
- 2つのアクセストークンを作成します。
- アカウント ID を選択すると、New Relic Integration の画面が表示されます。 Model Metrics Data の下で、 Create a key をクリックします。これにより、 New Relic のライセンスキー が生成されます。
- また、オプションとして、 Incident Insights でauth tokenをコピーすることができます。今後の手順については、New Relic のページを開いておいてください。
- Superwiseポータルにログイン： 今度はSuperwiseポータルにログインして、 Notification channel settings 。 New Relic を選択し、チャンネル名を作成する。
- キーとトークンをコピーしてSuperwiseに貼り付ける： New Relicインテグレーションダッシュボードに戻り、 copy アイコンをクリックして作成したキーとオプショナルトークンをコピーする。Superwiseのポータルで、 New Relic チャンネルに、 APIキー を Model Metrics Data の下に、 Auth token を Incidents の下に貼り付けます。最後に Save をクリックして完了です。
- トークンの検証： Superwiseチャンネルポータルで、 Test ボタンをクリックして、両方のトークンが正常に動作していることを確認します。 緑色の または 赤色の ステータスボックスが表示され、検証されたことを示します。
SuperwiseのモデルをNew Relicのダッシュボードで表示・検討することができます。
ユーザーがSuperwiseでNew Relicインテグレーションを設定すると、標準的なモデルメトリクスがNew Relicに送信され、ユーザーはNew Relic内でモデル observability dashboards を得ることができます。また、ユーザーは特定のモデルメトリクスやインシデントポリシーを設定し、それらをNew Relicに送信することで、ビジネスコンテキストに合わせたモデルのオブザーバビリティを実現することができます。
- 統合ダッシュボードに行く： トークンをテストして、統合が正しく設定されていることを確認したら、New Relic 統合ダッシュボードに戻り、 See your data をクリックします。これにより、Superwiseで自動生成されたダッシュボードにリダイレクトされます。
- Superwiseのダッシュボードを分析する New RelicのSuperwiseのダッシュボードには3つのチャートがあります。
- モデルアクティビティ チャートには、フィルタリングされた時間枠内のアクティブなモデルの数、そのアクティビティ、および予測の総数が表示されます。
- Model input drift Detection chart は、どのモデルがドリフトしていて、モデル・ドリフト・レベラーを使った再トレーニングが必要なのかを、0～100の間でスケーリングして表示します。
- Incident Insights チャートには、未解決のインシデントがあるモデルの数、インシデントがどのように分布しているか、モデルのインシデント自体のより詳細な情報が表示されます。
- Superwiseでメトリクスやインシデントをカスタマイズ： チームは、Superwiseプラットフォームでモデルのメトリクスやインシデントタイプを簡単にカスタマイズできます。その後、New Relic Browser タブの Metrics で、これらのメトリクスを検索することができます。これを行うには、 Superwiseのドキュメント のステップ4の指示に従います。
- アラート通知の設定： ダッシュボードをいくつか作成したら、データにアラートを出すことができます。チャートから NRQL アラート条件を作成するには、チャートウィジェットをクリックし、 アラート条件の作成 をクリックします。条件に名前を付けてカスタマイズしたら、それを既存のポリシーに追加したり、新しいポリシーを作成することができます。
- Get notified: アラート条件を作成したら、どのように通知するかを選択できます。通知チャンネルの設定方法については、 のドキュメントを参照してください 。
- インシデントを相関させる： 通知に加えて、Incident Intelligenceを使用してインシデントを相関させることができます。 決定事項を使用してインシデントを相関させる方法については、ドキュメントを参照してください 。
これで、New RelicとSuperwiseの統合が完了しました。新たに作成されたアラートは、New Relicのアラートと相関し、新たに報告された予測に関するデータを見ることができるようになります。