ログパターンは、検索せずにログデータの価値を発見する最速の方法です。
ログデータは大量のテレメトリであり、個々のレコードあたりの価値は低い。検索すれば、根本的な原因を説明するログをすぐに見つけることができますが、ほとんどのデータは反復的で、閲覧時に文脈を理解するのは困難です。パターンは、価値の低いデータを読むのに多くの時間を費やすことなく、ログデータを発見できるようにします。
ログ> パターン: パターンは、重要なデータの頻度が変化したときに警告を発したり、不要な繰り返しデータを排除するドロップルールを設定する際のベースとして使用します。
技術概要
ログパターン機能は、機械学習を応用して、フォーマットは一貫しているが内容にばらつきがあるログメッセージを正規化してグループ化します。グループ化されたメッセージはソートされ、環境内で最も頻繁に発生するログや最も稀なログのセットを簡単に見つけることができます。
パターンを利用して、重要なデータの頻度が変化したときに警告を発したり、不要な繰り返しデータを削除するドロップルールを設定したりすることができます。
ログパターンは、高度なクラスタリングアルゴリズムを使用して、類似したログメッセージを自動的にグループ化します。パターンを使用すると、以下のことが可能になります。
- 数百万件のログをより早く解析することができます。
- ログエステートの異常な動作を発見するまでの時間を短縮します。
- 既知のパターンの頻度を長期的にモニタリングし、重要なものにエネルギーを集中させ、無関係なものを除外する。
入手方法
Patterns are turned off がLogs UIに表示されている場合は、 Configure patterns をクリックして有効にしてください。機能を有効にしてから30分経ってもパターンが表示されない場合は、システムがパターンを作成するためのメッセージ属性を持つデータが不足している可能性があります。
ログパターン | 限界と検討事項 |
|---|---|
価格 | ログパターンには個別の価格設定はありません。唯一のコストは、生成された追加データがログ記録に追加された場合です。 パターン属性は、パターンにマッチするすべてのログに追加されます。また、GUID、IPアドレス、URL、電子メールアドレスなどの共通の値が見つかった場合にも、属性が追加されることがあります。これらの属性は、パターン処理の一環として、ログメッセージから自動的に抽出されます。 |
ヒットラスト・アカウント | ログパターン機能はFedRAMPに準拠していません。FedRAMPまたは他のHITRUSTアカウントはパターンを使用することができません。 |
ログのパターンマッチングの制限 | ログをパターンに照合する際に、メモリやCPUのリソースに安全制限を設ける仕組みがあります。これらのマッチング制限は、ログパターンにグループ化できるログの割合に影響を与えます。しかし、ログ パターン マッチングは"ベストエフォート" プロセスです。すべてのログがパターンによってグループ化される機会がなくてもエラーではありません。リソースの制限内で行うことができるグループ化からも価値を得ることができます。 |
スタートガイド
パターンの検討を始めるために
- one.newrelic.com > Logs にアクセスし、アカウントピッカーのドロップダウンを使って、パターンを探りたい対象のアカウントを選択します。
- Logs UIの左のナビゲーションで、 Patterns をクリックします。
メインログのUIが変わり、クエリにマッチしたパターンがクエリバーに表示されます。
ログ> ログパターン： 折れ線グラフには、上位5つのパターンが時系列で表示されています。タイムピッカーやクエリーバーを使って、結果を調整してください。
ログパターンの探索
デフォルトでは、ログパターンのUIでは、最も頻繁に発生するパターンが最初に表示されます。稀なパターンを最初に表示するようにソートするには、 Count カラムをクリックします。また、クエリバーや属性バーを使用して、ログパターンをフィルタリングすることもできます。
以下を行う場合... | 操作... |
|---|---|
パターンの変化率を理解する | 折れ線グラフを見てみましょう。色分けされたパターンは、表の plot の列に対応しています。個々の plot パターンを切り替えて、焦点を絞ることができます。 |
各パターンにマッチする個々のログメッセージを見る | パターン をクリックすると、行が展開され、個々のログレコードの表が表示されます。
|
パターンの属性によるグループ化とフィルタリング | クエリバーとタイムピッカーを使用します。異なるフィルターや時間帯を適用すると、ログのパターンが新しいターゲットデータに合わせて調整されます。 |
パターンからアラートを作成 | クエリバーにパターンを追加し、クエリを実行します。次に、左のナビで Create alert condition をクリックします。 |
パターン化されていないログメッセージのトラブルシューティング | Logs with no pattern タブ Log patterns UI で使用します。 |
特定のログメッセージをクリックすると、Logs UIでおなじみのログメッセージ詳細パネルが表示されます。
パターンのないログの探索
Logs with no pattern タブは、まだ既知のパターンにクラスタリングされていないアカウントのすべての最近のログメッセージをグループ化します。これらのログメッセージは、システムの問題や欠陥を表しているわけではありません。機械学習システムによって処理されるには新しすぎるため、パターンがありません。そのため、最近環境が変わったことを理解したい場合には、これらのログメッセージを調査する価値があります。
ログ> ログパターン： New Relic のログパターン機能は、一致するパターンのないログを自動的にグループ化します。
たとえば、
- これらのログの中に、最近の問題に関連するものはありますか？これは、お使いの環境で初めて出現するユニークなログデータを発見するための簡単な方法です。
- あなたのログデータは新しいフォーマットになっていませんか？時には、ログが問題を表しているのではなく、アプリケーションに期待されているデータモデルから逸脱した新しいフォーマットのログデータであることがあります。
このようなログを早期にキャッチすることで、開発者にログ出力の逸脱を修正するよう求めることができます。ログデータの生成方法に一貫性があればあるほど、多様なチームでログを使用することが容易になります。
マスクされた属性とワイルドカード
パターン内のログメッセージの一部は変数として分類され、マスキングされた属性で置き換えられます。マスキングプロセスは、アルゴリズムが変化する詳細を無視し、反復的な構造に焦点を当てることを可能にすることで、クラスタリングフェーズをサポートし、改善します。
マスクされた属性は以下の通りです。
date_timeipurluuid
以下の例のように、マスクされたアトリビュートはハイライトされ、簡単に識別できます。
ここでは、属性をマスクしたログパターンの例を紹介します。
ログパターンでは、マスクされた属性に属さない他の些細な変数も抽出されます。これらの変数は、ワイルドカードとして表示されます *.
以下は、ワイルドカード * が ログパターン UI で変数をグループ化する例です。
トラブルシューティング
パターンを有効にしているにもかかわらず、パターンデータが表示されない理由は以下の通りです。これらの項目に当てはまらないと思われる場合は、 support.newrelic.com までお問い合わせください。
- ご覧になっている時間帯にデータが届いていません。タイムピッカーで表示する時間帯を広げてみてください。
- アカウントでパターンが有効になってから24時間経っていません。つまり、このアカウントにはまだMLモデルが生成されていない可能性があります。
- 入ってくるデータの中に、
メッセージフィールドがない。パターンは、ログレコードのメッセージフィールドの値に対してのみ生成されます。ログにメッセージが含まれていない場合は、データはありません。
プラットフォームをパターンで活用する
パターンは、 newrelic.logPattern という名前の新しい属性として、既存のログメッセージにエンリッチされる値です。一般的にログでできることは、次のようなログパターンを使って行うことができます。
- パターンを使って独自のダッシュボードを構築し、特定のパターンや気になるパターンのグループを監視することができます。
- NRQL アラートを追加してパターンに対するアラートを作成.
- ベースラインアラート条件 を使用して、既知のログパターンの異常を検出します。