Amazon SageMaker MLOpsとの連携

Amazon SageMakerのNew Relicとの統合により、システム全体でマシンラーニングのパフォーマンスを計測、分析、トラブルシューティング、最適化できるようになります。モデルの入力または出力の変化、およびその2つの間の関係に素早く反応する能力を厳密に観察します。

次のステップで、Amazon SageMakerのメトリクスとオブジェクト（AWS CloudWatchに送信される）を監視し、New Relicで エンティティ と ダッシュボード として表示します。

SageMakerとの連携の様子は、YouTubeのショートムービー（2分57秒）でご覧いただけます。

AWS CloudWatchのメトリクスをNew Relicにストリームする

New Relic MLOps エンティティの恩恵を、シンプルなステップで（しかもわずか数分で！）開始できます。

FROM Metric SELECT *  WHERE aws.Namespace='/aws/sagemaker/Endpoints'  LIMIT MAX SINCE 1 WEEK AGO

マニュアルオプション

CloudWatch Metric Streams をセットアップするには、私たちのドキュメントに従ってください。

自動化オプション

Terraform code を使ってセットアップを自動化することもできます。

module "example_usage" {
  source = "modules/nr-cloudwatch-metric-stream"

  name_suffix = "suffix" # optional
  aws_account_id = "your-aws-account-id"

  newrelic_collector_endpoint = "newrelic-endpoint-url"
  newrelic_trusted_account_id = "12345678"
  newrelic_license_key        = "[your-newrelic-license-key](/docs/apis/intro-apis/new-relic-api-keys/#ingest-license-key)"
}

モジュールを呼び出すときは、正しい newrelic_collector_endpoint を書いてください。

• HTTP エンドポイント URL - US データセンター: https://aws-api.newrelic.com/cloudwatch-metrics/v1
• HTTP エンドポイント URL - EU データセンター: https://aws-api.eu01.nr-data.net/cloudwatch-metrics/v1

メトリックストリームを設定する際には、すべてのネームスペースからメトリックをストリームするか、ネームスペースを指定するかを選択できます。

Amazon SageMakerでデータやモデルを監視し、メトリクスをCloudWatchに送信することができます。

SageMakerは、エンドポイントのパフォーマンスを自動的に監視し、統計的なメトリクスをCloudWatchに送信します。詳細は、 Endpoint CloudWatch Metrics を参照してください。

Amazon SageMaker MLOpsの統合からより多くの利益を得るには、Amazon SageMaker Model Monitorツールを使用します。運用中の機械学習モデルの品質を監視し、メトリクスをCloudWatchに送信するために、スケジュールされた監視ジョブを定義する必要があります。

Amazon SageMaker Model Monitor では、以下のようなモニタリングが可能です。

• データ品質の監視: データ品質のドリフトを監視する。

  • ノートブック例： Amazon SageMaker Model Monitor
  • 名前空間： aws/sagemaker/Endpoints/data-metrics

• Monitor Model Quality: 精度などのモデル品質メトリクスのドリフトを監視します。

  • 例のノートブック： Amazon SageMaker Model Quality Monitor
  • 名前空間： aws/sagemaker/Endpoints/model-metrics

• Monitor Bias Drift for Models in Production: モデルの予測値の偏りを監視します。

  • 例のノート Monitoring bias drift and feature attribution drift Amazon SageMaker Clarify
  • 名前空間： aws/sagemaker/Endpoints/bias-metrics

• Monitor Feature Attribution Drift for Models in Production: Monitor drift in feature attribution.

  • 例のノート Monitoring bias drift and feature attribution drift Amazon SageMaker Clarify
  • 名前空間： aws/sagemaker/Endpoints/explainability-metrics

高度なオプション

また、メトリックデータポイントをAmazon CloudWatchにパブリッシュし、名前空間を定義して、 put_metric_data 関数 を使用して上記のいずれかを行うことができます。

ハイパーパラメータのチューニングに独自のアルゴリズムを使用する場合は、評価データを stderr または stdout に書き込むことで、少なくとも1つのメトリックを送信することを確認してください。詳しくは、 how to define metrics in automatic model tuning をご覧ください。サンプルノートブック Develop, Train, Optimize and Deploy Scikit-Learn Random Forest もご覧ください。

MLOpsのエンティティとダッシュボードを見る

詳細な名前空間のために、 aws-entities (MLOpsエンティティドメインの下)を生成します。これらのエンティティに対しては、すぐに使えるダッシュボードやビューを得ることができます。また、独自のダッシュボードを作成して、エンティティのビューの一部として表示されていないメトリクスを表示することもできます。

one.newrelic.com にアクセスし、 Explorer を選択してご覧ください。

• あなたのマシン・ラーニング・エンティティ

• Amazon SageMakerのエンティティの1つから、エンドポイントのメトリクスを表示するダッシュボード

• モデルデータエンティティのダッシュボード