APC 技術ブログ

株式会社エーピーコミュニケーションズの技術ブログです。

株式会社 エーピーコミュニケーションズの技術ブログです。

【さくらのクラウド】モニタリングスイートでアラート運用を検証してみた

こんにちは。クラウド事業部の遠見です。

本記事は、さくらのクラウドの「モニタリングスイート」を検証したエンジニアが内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。

前回、モニタリングスイートのログ・メトリクス・トレース・アラート・ダッシュボードの基本機能を検証しました。

techblog.ap-com.co.jp

前回はアラートについて、PromQLしきい値による単純な発火確認までしか行いませんでした。
今回は「発火したアラートをどう実運用に繋げるか」に焦点を当て、通知連携・多段しきい値・ログベースの異常検知まで検証しました。


目次


はじめに

アラート通知の全体像

モニタリングスイートのアラートは、単体では通知を完結できない設計になっています。
通知を行うには、以下のいずれか(または両方)の経路を組む必要があります。

経路 概要
シンプル通知 アラートプロジェクトの「通知ルーティング設定」から直接呼び出し、メール・Webhookを送信する経路
EventBus アラート発火を「トリガー」として検知し、シンプル通知の呼び出しに加えて、オートスケールなど任意のジョブ実行にも繋げられる経路

また、メトリクスだけでなくログの出現パターンを起点にした異常検知も可能です。
「ログ計測ルール」を使うと、ログストレージ内の特定パターン(例: ERRORログ)の出現件数をメトリクス化し、それをアラートルールの監視対象にできます。


検証日時

2026年6月20日


検証環境

前回構築した環境をそのまま流用しました。

項目 内容
バックエンド さくらのクラウド モニタリングスイート
コレクター sacloud-otel-collector
送信元 OTelデモアプリ(opentelemetry-demo)
実行環境 ローカルPC(Windows)のDocker Desktop
追加で利用したサービス シンプル通知、EventBus

検証中は、load-generatorの停止・起動を繰り返すことで、送信するテレメトリ量を必要なタイミングだけに絞りました。

docker compose stop load-generator
docker compose start load-generator

Docker Desktopからでも停止・起動が簡単にできるのでおすすめです。

load-generatorとは

OTelデモアプリに同梱されているLocustベースの負荷生成コンポーネントです。
docker compose upと同時に自動的に起動し、仮想ユーザーが商品閲覧・カート追加・購入などの操作を継続的に行うことで、デモアプリ全体にリクエストを発生させます。
送信量を抑えたい場合は、docker compose stop load-generatorでこのコンテナだけを止めれば十分です。
(他のサービスを動かしたままでも、リクエスト駆動の送信量は大きく減ります)


【検証】シンプル通知による直接連携

事前準備

Slack側

Incoming Webhookの作成(参考程度)

  • https://api.slack.com/apps で新規アプリを作成(「From scratch」を選択)
  • 「Incoming Webhooks」を有効化し、通知先チャンネルを選択
  • 発行されたWebhook URL(https://hooks.slack.com/services/...)を取得

さくらのクラウド側

シンプル通知の設定

  • [シンプル通知] > [通知先] > [追加] で、Emailを通知先として登録

  • [シンプル通知] > [通知先] > [追加] で、Webhookを通知先として登録

これで、メールとWebhookの2つが作成されました。

  • [シンプル通知] > [通知先グループ] > [追加] で、上記の通知先をグループにまとめる
    (例: monitoring-suite-alert)

  • [シンプル通知] > [通知先ルーティング] > [追加] で、以下を設定

    項目 設定値
    通知先グループ monitoring-suite-alert
    通知を受け取るサービス モニタリングスイート
    名前 monitoring-suite-alert-routing

アラートプロジェクト側の設定

  • [モニタリングスイート] > [アラートプロジェクト] > [追加] でプロジェクトを作成

  • プロジェクト詳細 > [通知先設定] で「シンプル通知」を有効化

  • プロジェクト詳細 > [通知ルーティング設定] > [ルーティング追加] で以下を設定

    項目 設定値
    通知先 シンプル通知
    再送間隔 0分(再送なし)
    フィルタリング ルール: 前回作成したアラートルール、重要度: 指定なし

結果

アラートが発火すると、メールとSlackに以下のような通知が届きました。

メール

Slack
(こちらは回復報(Resolved)まであります)

気づいたポイント

通知文面には、Alert ID・Severity・Query・Threshold・Valueに加えて、OTelのリソース属性(host.cpu.*、container.idなど)がラベルとして大量に含まれていました。
情報量は多いのですが、Slack通知としてはやや読みにくく、実運用では不要な属性をドロップするなどラベル設計を検討する必要がありそうです。


【検証】EventBus経由のトリガー連携(未解決)

事前準備

APIキーの作成

EventBusからシンプル通知を呼び出すには、APIキーが必要です。

項目 設定値
APIキーの種類 リソース操作APIキー
アクセスレベル 作成・削除

EventBus 実行設定の作成

[EventBus] > [実行設定] > [追加] で、シンプル通知を呼び出す設定を作成しました。

項目 設定値
グループ monitoring-suite-alert
メッセージ 固定の文言(例: 「[検証] EventBus経由のアラート通知テストです」)
APIキーのアクセストークン/シークレット 作成したAPIキーの値
名前 Call-Simple-Notification

EventBus トリガーの作成

[EventBus] > [トリガー] > [追加] で、以下を設定しました。

項目 設定値
実行設定 Call-Simple-Notification
ソース //eventbus.sakura.ad.jp/monitoringsuite/alert
タイプ jp.ad.sakura.eventbus.alert.firing
条件 未設定(全アラート対象)
名前 Trigger-Alert-Firing

条件の役割

「条件」は、特定のアラートルールや重要度に絞り込みたい場合だけ使うオプション機能です。
空欄のままだと、このプロジェクト内で発火したすべてのアラート(ソース・タイプに合致するイベント全部)がトリガー対象になります。

アラートプロジェクト側の設定

  1. プロジェクト詳細 > [通知先設定] で「EventBus」も有効化

  1. プロジェクト詳細 > [通知ルーティング設定] に、EventBus宛のルーティングも追加(重要度: 指定なし)

これにより、通知ルーティングは「シンプル通知宛」「EventBus宛」の2件が並んだ状態になりました。

結果:未解決

設定は上記の通り行い、ソース・タイプの文字列もマニュアルの記載と一致していることを確認しましたが、何度アラートを発火させても、EventBusのトリガーは「イベント受信なし」のままでした。

切り分けのために、以下を確認しましたが、いずれも問題は見つかりませんでした。

  • アラートプロジェクトの「通知先設定」「通知ルーティング設定」の両方にEventBus宛の設定があること
  • EventBusトリガーのソース・タイプの文字列が、公式マニュアルの記載と一致していること
  • EventBusの各リソース(実行設定・トリガー)がグローバルリソースであり、ゾーンに依存しないこと
  • アクセストークン・シークレットの値に、コピー時の改行や空白が混入していないこと
  • 同じアラート発火に対して、シンプル通知(検証①)の方は問題なく届いていること

EventBus連携の経路のみで問題が発生していると考えられますが、原因の特定には至りませんでした。
設定手順に誤りがある可能性も含め、原因は特定できていません。
同様の事象に遭遇した方や、解決方法をご存知の方がいれば、ぜひ教えていただけると嬉しいです。


【検証】多段しきい値アラートの挙動確認

アラートプロジェクト側の設定

1つのルール内でWarningとCriticalをそれぞれチェックボックスで個別に有効化できる仕様になっています。

しきい値 条件 値 継続時間
Warning >= 0.3 15秒
Critical >= 1.5 15秒

しきい値は、実際にload-generatorを動かして得られたメトリクスのグラフ(0〜2.5程度の範囲で変動)を見ながら、Warning/Criticalの両方が実際に発火するように調整しました。

結果

load-generatorを起動すると、

  • 起動直後の小さいピークでWarningのみ発火→解消
  • 負荷が安定して高くなる時間帯でWarning→Critical→Warning→解消、という多段の状態遷移

の両方を、1回の起動の中で確認できました。

応用できそうな設定

通知先設定の「フィルタリング」では、重要度(Warning/Critical)で通知先を分けることも設定上は可能です。
Criticalのみ別の通知先(緊急連絡用グループなど)に振り分ける、といった構成も組むことができます。


【検証】ログ計測ルールによるログベースのアラート

メトリクスだけでなく、ログの出現パターンを起点にしたアラートも組んでみました。

ログ計測ルールの作成

[アラートプロジェクト] > [ログ計測ルール一覧] > [ルール追加] で以下を設定しました。

項目 設定値
ルール名 otel-demo-error-count
説明 OTelデモのERRORログ件数を計測
ログストレージ otel-demo-logs
メトリクスストレージ otel-demo-metrics
ルール(フィルタ条件) severity IN ["ERROR"]

上記画像で、ルール詳細画面で生成されるメトリクス名を確認できました。

sakura_cloud_monitoring_log_measure_matched_total{rule_uid="...",rule_name="otel-demo-error-count"}

OTelデモアプリでのエラー発生について

OTelデモアプリには、フィーチャーフラグ(paymentServiceFailureなど)による意図的な障害注入機能もあります。

参考:フィーチャーフラグ画面(「Flagd Configurator」というWeb UI)

http://localhost:8080/featureでアクセス可能です。
paymentServiceFailureやcartFailureなどのフィーチャーフラグをON/OFF切り替えできる画面です。

今回はそうした操作をせず、デフォルトのまま動かすだけで十分でした。
OTelデモアプリは、何も操作しなくても、起動直後の依存サービス間の接続が不安定なタイミングなどで、自然にERRORログが発生します。
(今回は、cartサービスがRedis互換キャッシュ(valkey-cart)への接続に失敗するエラーが発生していました)

そうした自然発生的なERRORログをそのまま使って、ログ計測ルールの動作確認を行いました。

アラートルールへの組み込み

生成されたメトリクスsakura_cloud_monitoring_log_measure_matched_total{rule_name="otel-demo-error-count"}を対象に、新規アラートルールを作成しました。

結果

ログ件数の増加に応じてメトリクスが増え、しきい値を超えるとアラートが発火することを確認できました。

気づいたポイント

ログ計測ルールのseverity IN ["ERROR"]というフィルタは、意図したエラー(例: 特定のフィーチャーフラグによるエラー)だけでなく、無関係なエラー(依存サービスへの接続エラーなど)も区別なくカウントしてしまいます。 
実運用では、サービス名やエラー内容も含めてフィルタ条件を絞り込む必要があると感じました。


料金

検証中、シンプル通知で100件近い通知を発生させましたが、確認した範囲では通知の送信件数(メッセージ数)自体には課金されません。

料金は以下のように「リソースを保持している時間」に対して発生する仕組みでした。

サービス 課金単位 時間額 日額 月額
シンプル通知 グループ/1件 9円 99円 1,980円
EventBus トリガー トリガー/1件 11円 110円 2,200円

また、モニタリングスイートのアラートプロジェクトは、含まれる「アラートルール」「ログ計測ルール」が1件ごとに日割りで課金される仕様でした。
検証目的で何度もテストする場合、通知の回数を気にする必要はありませんが、検証後は不要なリソース(アラートルール・ログ計測ルール・通知先グループ・EventBusトリガーなど)を削除しておくのがおすすめです。


まとめ

  • シンプル通知への直接連携は、設定もシンプルで、通知文面の情報量も豊富(Alert ID・Query・Threshold・Valueなど)でした。
    実運用では通知内容のラベル設計を検討する余地があります。
  • 多段しきい値(Warning/Critical)は、1つのアラートルール内でチェックボックスを使って簡単に設定できました。
  • ログ計測ルールは、意図的な障害注入をせずとも、デフォルトの動作の中で自然発生するエラーログだけで動作確認ができました。
    一方で、フィルタ条件を絞り込まないと無関係なエラーも一緒に計測してしまう点には注意が必要です。
  • 料金は通知件数では発生せず、リソースの保持期間に対して発生する仕組みでした。

参考リンク

公式マニュアル・技術解説

モニタリングスイート 課金仕様 | さくらのクラウド マニュアル

モニタリングスイート コントロールパネル操作ガイド | さくらのクラウド マニュアル

クイックスタート | さくらのクラウド マニュアル

コントロールパネルでの操作 | さくらのクラウド マニュアル

トリガーの登録方法 | さくらのクラウド マニュアル

シンプル通知 | さくらのクラウド マニュアル

さくらのクラウドの「モニタリングスイート」で多様なシステムを統合監視しよう! | さくらのナレッジ

料金

シンプル通知 | さくらのクラウド

EventBus | さくらのクラウド


最後に

弊社はさくらインターネットとパートナー契約を締結しています。 www.ap-com.co.jp

また、一緒に働いていただける仲間も募集中です!
www.ap-com.co.jp

本記事の投稿者: s_tomi