Amazon SageMakerのNew Relicとの統合により、システム全体でマシンラーニングのパフォーマンスを計測、分析、トラブルシューティング、最適化できるようになります。モデルの入力または出力の変化、およびその2つの間の関係に素早く反応する能力を厳密に観察します。
次のステップで、Amazon SageMakerのメトリクスとオブジェクト(AWS CloudWatchに送信される)を監視し、New Relicで エンティティ と ダッシュボード として表示します。
SageMakerとの連携の様子は、YouTubeのショートムービー(2分57秒)でご覧いただけます。
AWS CloudWatchのメトリクスをNew Relicにストリームする
New Relic MLOps エンティティの恩恵を、シンプルなステップで(しかもわずか数分で!)開始できます。
重要
CloudWatch に送信された各メトリックは、名前空間フィルターに従って、NRDB 内の New Relic のメトリックテーブルに自動的に送信されます。これらはいつでもNRQLを使って照会することができます。
FROM Metric SELECT * WHERE aws.Namespace='/aws/sagemaker/Endpoints' LIMIT MAX SINCE 1 WEEK AGO
マニュアルオプション
CloudWatch Metric Streams をセットアップするには、私たちのドキュメントに従ってください。
自動化オプション
Terraform code を使ってセットアップを自動化することもできます。
module "example_usage" {
source = "modules/nr-cloudwatch-metric-stream"
name_suffix = "suffix" # optional
aws_account_id = "your-aws-account-id"
newrelic_collector_endpoint = "newrelic-endpoint-url"
newrelic_trusted_account_id = "12345678"
newrelic_license_key = "[your-newrelic-license-key](/docs/apis/intro-apis/new-relic-api-keys/#ingest-license-key)"
}
モジュールを呼び出すときは、正しい newrelic_collector_endpoint
を書いてください。
- HTTP エンドポイント URL - US データセンター:
https://aws-api.newrelic.com/cloudwatch-metrics/v1
- HTTP エンドポイント URL - EU データセンター:
https://aws-api.eu01.nr-data.net/cloudwatch-metrics/v1
メトリックストリームを設定する際には、すべてのネームスペースからメトリックをストリームするか、ネームスペースを指定するかを選択できます。
重要
各エンティティのメトリクスは、メトリクスがNew Relicに届くと自動的に作成されるダッシュボードで確認できます。
Amazon SageMakerでデータやモデルを監視し、メトリクスをCloudWatchに送信することができます。
SageMakerは、エンドポイントのパフォーマンスを自動的に監視し、統計的なメトリクスをCloudWatchに送信します。詳細は、 Endpoint CloudWatch Metrics を参照してください。
Amazon SageMaker MLOpsの統合からより多くの利益を得るには、Amazon SageMaker Model Monitorツールを使用します。運用中の機械学習モデルの品質を監視し、メトリクスをCloudWatchに送信するために、スケジュールされた監視ジョブを定義する必要があります。
Amazon SageMaker Model Monitor では、以下のようなモニタリングが可能です。
データ品質の監視: データ品質のドリフトを監視する。
- ノートブック例: Amazon SageMaker Model Monitor
- 名前空間:
aws/sagemaker/Endpoints/data-metrics
Monitor Model Quality: 精度などのモデル品質メトリクスのドリフトを監視します。
- 例のノートブック: Amazon SageMaker Model Quality Monitor
- 名前空間:
aws/sagemaker/Endpoints/model-metrics
Monitor Bias Drift for Models in Production: モデルの予測値の偏りを監視します。
- 例のノート Monitoring bias drift and feature attribution drift Amazon SageMaker Clarify
- 名前空間:
aws/sagemaker/Endpoints/bias-metrics
Monitor Feature Attribution Drift for Models in Production: Monitor drift in feature attribution.
- 例のノート Monitoring bias drift and feature attribution drift Amazon SageMaker Clarify
- 名前空間:
aws/sagemaker/Endpoints/explainability-metrics
高度なオプション
また、メトリックデータポイントをAmazon CloudWatchにパブリッシュし、名前空間を定義して、 put_metric_data
関数 を使用して上記のいずれかを行うことができます。
ハイパーパラメータのチューニングに独自のアルゴリズムを使用する場合は、評価データを stderr
または stdout
に書き込むことで、少なくとも1つのメトリックを送信することを確認してください。詳しくは、 how to define metrics in automatic model tuning をご覧ください。サンプルノートブック Develop, Train, Optimize and Deploy Scikit-Learn Random Forest もご覧ください。
MLOpsのエンティティとダッシュボードを見る
詳細な名前空間のために、 aws-entities
(MLOpsエンティティドメインの下)を生成します。これらのエンティティに対しては、すぐに使えるダッシュボードやビューを得ることができます。また、独自のダッシュボードを作成して、エンティティのビューの一部として表示されていないメトリクスを表示することもできます。
New Relic エンティティ | 名前空間 |
---|---|
機械学習のエンドポイント |
|
機械学習モデルデータ |
|
機械学習モデル |
|
one.newrelic.com にアクセスし、 Explorer を選択してご覧ください。
- あなたのマシン・ラーニング・エンティティ
- Amazon SageMakerのエンティティの1つから、エンドポイントのメトリクスを表示するダッシュボード
- モデルデータエンティティのダッシュボード