こんにちは、Mackerel CREチームの 
id:kmuto です。
2023年7月11日、「GMO Yours・フクラス」にて4年ぶりとなるMackerel Meetup #14 Tokyoを開催いたしました。今回はそのレポートをお届けします！
会場の紹介
渋谷フクラス16階に、GMOインターネットグループ株式会社さまのコミュニケーションスペース「GMO Yours・フクラス」があります。このたびGMOペパボ株式会社さまに会場スポンサーをいただきました。
広大なカフェスペースをパーティションで区切ることができ、今回のようなイベントに対応できる仕組みになっています。スクリーンや音響も整っており、「うらやましい……」の声がMackerelチームメンバーたちから漏れていました。
お迎えする準備が整い、開場です！
開場挨拶
Mackerel開発チームの 
id:arthur-1 の司会でMackerel Meetup #14 Tokyoの始まりです。
id:arthur-1 が手慣れた様子でつとめましたMackerelプロデューサーの 
id:wtatsuru が、Mackerelの今の状況をお伝えするイベントであるとともに、Mackerelチームとユーザーさまが監視運用について語り合う場にしたいという願いを述べ、開会を宣言しました。
id:wtatsuru の開会宣言
会場スポンサーさまLT「GMOペパボ - 人類のアウトプットを増やす」〜 GMOペパボ株式会社 清水 亮さま（@ginbear）
セッションのトップバッターは、今回の会場スポンサーであるGMOペパボ株式会社技術部の清水亮さまです。
GMOペパボさまのサービス「SUZURI」のご紹介の後、GMOペパボさまの組織構成とMackerelのサービス・ロールの概念が合っていたこと、「インフラエンジニアだけがインフラを見る」という状態から「アプリケーションエンジニアもインフラを意識する」、そしてSREへ、と移行するステップにおいて、Mackerelが役立ったお話をいただきました。
Mackerelを導入してもう8年とのことで、本当にご愛顧ありがとうございます！
「Mackerel現在と未来 2023」〜 株式会社はてなMackerelプロデューサー 渡辺 起（id:wtatsuru / @tatsuru）
続いては再び id:wtatsuru が、Mackerelの今後のロードマップについて語りました。
id:wtatsuru がMackerelの今後のロードマップを語ります2023年に入ってからカスタムダッシュボードやAWSインテグレーションの強化といった、ユーザーに直接価値を届ける機能向上を頻繁に実施していますが、これらはいずれもユーザーの皆さまのご要望から実現してきたものです。今後もそのようにお声をもとに開発を進めていきたいという思いを述べた上で、今後の開発ロードマップの大きな柱として「OpenTelemetry対応」と「SAML対応」を発表しました。
現代的なサービス運用に即した「OpenTelemetry対応」については2023年内の正式リリース、エンタープライズ系のユーザーさまを中心に多く要望されていたシングルサインオンの「SAML対応」については2024年前半からの段階的リリースを予定しています。いましばらくお待ちいただくことにはなりますが、ぜひご期待ください！
最後に、新たなMackerelの理念である、「創造的なおもしろい仕事で世界を変える。」「運用をイージーに。変化するシステムを自分たちのものに。」も発表しました。ユーザーを支援しながらともに進化していくという思い、実現していきましょう！
「次世代Mackerelのアーキテクチャ」〜 株式会社はてなMackerelチーフエンジニア、エンジニアマネージャー 大仲 能史（
id:onk / @onk）
id:onkはてな社2番手はMackerelチーフエンジニアの id:onk 。次世代Mackerelアーキテクチャ、すなわちOpenTelemetry対応についての紹介です。
メトリック名・値・時刻からなる従来のMackerelのメトリック形式はシンプルでプラグインの実装も容易ですが、ほかの監視やサービスとの互換性はなく、メトリックに値と時刻以上の情報、つまりメタデータを含めることもできません。
テレメトリーの標準化を目指すプロジェクトOpenTelemetry（OTel）は、OSSでベンダーロックインの不安なく、集めるところ・投げるところ・投げる形式を共通化でき、メタデータをサポートします。Mackerelは、このOTelに対応することで、上記の互換性・メタデータの問題を解決することを狙っています。
writer、reader、graphという3つの領域について、メタデータつきメトリックの受けつけ、転置インデックスによるラベルでのメトリック参照と独自に実装したPromQLエンジンによる演算、PromQLの入力補完支援といった施策の実装が着実に進んでいます。
OTelで共通化するということはほかの監視サービスとの真っ向勝負になるということでもあり、ユーザーさまの窓口となっているCREでもどのようにアピールしていくか、さらに深く考えていかなければならないなと強く感じました！
「prepalert 〜Mackerelアラートにログや集計値を貼り付けてくれるトイル削減ツール〜」〜面白法人カヤック SREチーム 池田 将士さま（@mashiike）
Meetupの後半は、Mackerelのユーザーさまによる発表です。まずは面白法人カヤックから池田さま。
ALBとWAFを組み合わせた構成で5xxエラーやレスポンスタイムをMackerelのWarningアラートに設定していると、頻繁にWarningアラートが発生する、というところから話は始まります。
重篤な状況に対しては別途Criticalアラートの設定やオンコールの仕組みも用意しているのでWarningアラートはあまり重大視しないものの、無視するのは重大な事故につながります。そのため定例でアラートの追跡はしていましたが、そのたびにログの取得やメトリック集計に作業や時間を多く費していたとのことでした。
この対処として池田さまが実装されたのが「Prepalert」です。Mackerelからのアラートを受け取ったら、各種のログからその時点の状態を取得し、Mackerelのアラートメモやグラフアノテーションにそれを書き込むという仕掛けです。
アラートの確認時間が短くなったことは当然として、「これが気になるから調べます」と積極的に調査する動きが増えるなど、さまざまな良い変化が生まれたそうです。
Prepalertは私たちCREも以前に勉強会で使ってみて、その仕組みや活用の可能性に大いに関心を持ちました。バージョン1.0.0のリリース、お待ちしています！
「DNS水責め攻撃と監視」〜さくらインターネット クラウド事業本部SRE室 室長 長野 雅広さま（@kazeburo）
続いては、さくらインターネット株式会社の長野さまの発表です。
DNS水責め攻撃とは、攻撃対象のDNSのゾーンに対して、ランダムに生成したサブドメインをオープンリゾルバのパブリックDNS（GoogleやCloudflareのDNSなど）を経由して大量に問い合わせ、DNSの機能停止あるいは機能低下を狙うという攻撃です。
DNS用プロキシーdnsdistでのホワイトリスト管理、DNSサーバーPowerDNSのバックエンドのインメモリ化といった対策が挙げられましたが、最初に着手したのがMackerelによる可視化・モニタリングだそうです。
PowerDNSのメトリックを取得するmackerel-plugin-pdns、dnsdistのメトリックを取得するmackerel-plugin-dnsdist、瞬間的な負荷の把握のためにCPU使用率を計測するmackerel-plugin-maxcpuを実装されており、メトリックのグラフボードをもとに施策の決定に役立てているとのことでした。
最後はDNSとSLOというトピックで、SLOやSLAが設定されていないDNSキャッシュサーバーにSLOを導入する話題が展開され、「DNSキャッシュサーバーにSLOを設けて公開することで、名前解決の可用性を責任共有モデルにする」という着想や、計測のためのmackerel-plugin-resolver-syntheticの実装などが語られました。今後は可用性向上のヒントや事例の公開も予定されているとのことで、とても楽しみです！
「MackerelとGrafana OnCallを連携してみた」〜面白法人カヤック 藤原 俊一郎さま（@fujiwara）
休憩を挟んで、ユーザーのお三方からライトニングトークを発表いただきました。
まずは面白法人カヤックの藤原さまより、Mackerelのアラートとオンコール管理ツールのGrafana OnCallを組み合わせてみたという発表です。池田さまの発表にもあった「オンコールの仕組み」というのがまさにこれですね。
従来使っていたwakerからの切り替えにあたって、MackerelのWebhookを書き換えてGrafana OnCallのWebhook形式に書き換えるmackerel-to-grafana-oncallを実装されたとのこと。めでたしめでたし……というところですが、導入直後にGrafanaのプラン変更が発表されオンコールの上限制約が厳しくなってしまったので、上限になりそうになったらまた考えないと、というオチがつきました。
「Mackerelを触り始めて2年経ったので作ってきたプラグインを振り返る」〜GMOペパボ株式会社 渡部 龍一さま（@ryuichi_1208）
ライトニングトーク2番手は、Mackerelプラグインを多数公開（公開しているもので32個！）されている、GMOペパボの渡部さまです。
制作物の中から、go-check-longtransaction-cnt、mackerel-plugin-linux-socket-queue-size、mackerel-plugin-sslhandshake-time、mackerel-plugin-linux-virt-memの4つのプラグインをご紹介いただきました。
いずれもサービス監視の精度の向上や調査支援といった目的で作られており、Mackerelのキーフレーズの1つ「監視を育てる」をまさに体現されていると感じました！
「ネットワーク機器もエージェントで監視できるのかやってみた」〜NTTコミュニケーションズ株式会社 田島 照久さま
ライトニングトークの最後は、NTTコミュニケーションズ株式会社の田島さまです。
ルーターをはじめとする物理ネットワーク機器は高度化し、実態としてはLinuxやBSDが動いているパソコンになっています。Mackerelのネットワーク機器の監視というと、機器がSNMPやsyslogで提供している情報を、モニタホストにインストールしたmackerel-agentが拾い集めてMackerelサーバーに伝えるというのが普通です。
これに対し、機器自体にmackerel-agentをインストールすることで、モニタホストの必要なく、より詳細な内部情報を得たり、外部到達性をすぐに判断できたりといったメリットが挙げられました。
実際の運用ではmackerel-agentのプロビジョニングや導入後のバージョンアップなど課題も示されましたが、ネットワーク機器を簡単に監視するという目標、とても共感できます！
そして懇親会！
セッション後は会場のレイアウトを変更し、懇親会を開催しました。id:wtatsuru の乾杯の挨拶で始まりです。
id:wtatsuru より乾杯の挨拶飲み物とオードブルを用意して、皆さまを歓迎いたしました。
Mackerel開発陣とユーザーの皆さまとの活発なディスカッションのほか、ユーザーさま同士のつながりが自然発生的に生まれており、Meetupの目的を実現できたかと思います。
さらに、CREサポートメンバーが過去にサポートさせていただいた方々から直接感謝の言葉をいただけるなど、私たちMackerelチーム全員にとって、今後の活動のモチベーションが大いに高まる素敵な時間となりました。
ご多忙の中でお集まりいただいたユーザーの皆さま、会場をご提供いただいたGMOペパボさまに、Mackerelチーム一同、深く感謝申し上げます！
次回もぜひお会いしましょう！
盛況に終わったMackerel Meetup #14 Tokyoですが、雰囲気を皆さまにお伝えできたでしょうか。よりカジュアルな形でのMackerel Drinkupも近々開催予定ですので、またユーザーの皆さまとお会いできればと思います。お楽しみに！
