DagsHubは、データサイエンティストや機械学習エンジニアが、データ、モデル、実験、コードをバージョン管理し、同期するためのプラットフォームです。DagsHubは、データサイエンティストや機械学習エンジニアがデータやモデル、実験、コードをバージョン管理し、同期するためのプラットフォームです。DagsHubは一般的なオープンソースのツールやフォーマットをベースに構築されているため、New Relicのように既に使用しているツールとの統合が容易です。
New Relicでは、DagsHubとの統合により、機械学習の学習指標をリアルタイムで監視・分析できる MLOps を提供しています。
DagsHubとNew Relicの統合
DagsHubとNew Relicを統合することで、機械学習のトレーニング指標をリアルタイムで分析・監視することができます。 New Relic ダッシュボード でメトリクスを可視化したり、カスタムメトリクスを作成したり、 アラート を設定して、トレーニング実行中に発生したイベントやインシデントを通知することができます。
DagsHubからNew Relicにデータを取り込むためには、アカウント番号と特別なキーが必要で、以下の手順で入手できます。
- New Relic のアカウントにログイン: one.newrelic.com にアクセスし、 Explorer をクリックします。右上のメインナビゲーションメニューで、 +Add more data をクリックします。
- DagsHub をクリック： 検索バーに DagsHub と入力するか、MLOps 統合セクションまでスクロールダウンして、 DagsHub アイコンをクリックします。
- DagsHubに統合させたいアカウントID を選択してください。
- Create an access token: アカウントIDを選択したら、 real-time training metrics の下で、 Create an API key をクリックします。これが新しいテレメトリー API キーになります。今後の手順については、New Relic のページを開いておいてください。
- DagsHub ポータルにログインします。 ログインしたら、作業中のリポジトリを選択します。 設定 をクリックし、左側のメニューから インテグレーション ボタンを選択します。 New Relic のタイルをクリックします。
- トークンをコピーして DagsHub に貼り付けます。New Relic 統合ダッシュボードに戻り、挿入キーの隣にある コピー アイコンをクリックして、作成したトークンをコピーします。DagsHub のポータル上で、 New Relic Insight insert key の下にインサートキーを貼り付け、 Next をクリックして終了します。トークンが検証され、確認画面が表示されます。
New Relic ダッシュボードで DagsHub モデルを表示し、探索することができます。
DagsHubでNew Relicとの連携を設定すると、DagsHubにリアルタイムで記録されたトレーニングのメトリクスがすべてNew Relicに送信されます。
- DagsHub 統合ダッシュボードに移動: トークンをテストし、統合が正しく設定されていることを確認したら、New Relic 統合ダッシュボードに戻り、 See your data をクリックします。DagsHub を利用して自動生成された New Relic ダッシュボードにリダイレクトされます。
- DagsHubダッシュボードの分析: DagsHubダッシュボードには、 Loss metric by repository という1つのチャートがあり、モデルの損失をそれぞれのリポジトリごとにグループ化して表示しています。これは、学習したすべてのモデルに対して有効です。
- カスタマイズされたメトリクスの表示: DagsHubから送られてくるトレーニングメトリクスを簡単にカスタマイズすることができます。NRQL の使用およびデータを追跡するためのクエリの作成については、 NRQL 構文、句、および関数 を参照してください。
- アラート通知の設定: ダッシュボード内にいくつかのチャートを作成したら、 データに関するアラートを取得することができます 。チャートから NRQL アラート条件を作成するには、 ... チャートメニューをクリックし、 Create alert condition をクリックします。条件に名前を付けてカスタマイズしたら、それを既存のポリシーに追加したり、新しいポリシーを作成することができます。
- 通知を受ける: アラート条件を作成したら、通知方法を選択することができます。通知チャンネルの設定方法については、 のドキュメントを参照してください。 。
これでNew RelicとDagsHubの統合が完了しました。新たに作成されたアラートは、New Relic のアラートと相関し、新たに報告された予測に関するデータが表示されます。