SREチームの橋本です。SRE連載の3月号となります。 Amazon ECSのコスト最適化においてはFargate Spotが有効な手段となりますが、いつ中断されるか分からない性質上、その監視も併せて実施していく必要があります。今回はそのFargate Spotを本番環境で運用しているプロジェクトにおける取り組みを紹介します。 背景 Fargate (Amazon ECS on AWS Fargate) を用いると負荷に合わせた容易なスケーリングが可能になる一方、このときCPU使用率の安全マージンや予測のブレなどにより、リソースがやや過剰になってしまうこともあります。 Fargate Spotの代表的なユースケースと言えばユーザーに露出しない開発環境ではないかと思いますが、このような場合にコストを考えると、タスクの中断をある程度許容しての本番環境でのFargate Spot運用も可能な選択
本連載では、「オブザーバビリティ」という言葉を聞いたことはあるが具体的なイメージを持っていないエンジニア向けに、オープンソースのツールキット「OpenTelemetry」とともにオブザーバビリティの実現方法を紹介します。OpenTelemetryの概要理解から導入方法まで、まとまった知識を得ていただける連載となります。第1回目はOpenTelemetryの基本と概要について解説します。 対象読者 この連載では以下の読者を想定しています。 オブザーバビリティ というキーワードを聞いたことはあるが、触ったことはない人 OpenTelemetryに興味がある人 DevOps・プラットフォームエンジニアリングに取り組もうとしている人 バックエンド開発者・SRE・インフラエンジニア 最近よく聞く「オブザーバビリティ」って？ 「可観測性」とは違うの？ 「可観測性」という言葉は制御工学の領域で1960年
Recent posts: 22 Jul 2024 » No More Blue Fridays 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netfl
The following sections list the metrics that we recommend that you set best practice alarms for. For each metric, the dimensions, alarm intent, recommended threshold, threshold justification, and the period length and number of datapoints is also displayed. Some metrics might appear twice in the list. This happens when different alarms are recommended for different combinations of dimensions of th
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
“@Netflixhelps Why doesn’t Tiger King play on my phone?” — a Netflix member via Twitter This is an example of a question our on-call engineers need to answer to help resolve a member issue — which is difficult when troubleshooting distributed systems. Investigating a video streaming failure consists of inspecting all aspects of a member account. In our previous blog post we introduced Edgar, our t
今日、多くの人がノートパソコン、タブレット、スマートフォンでアプリケーションを使用しています。デバイスに電源が入っているかどうか、Wi-Fi ネットワークが接続されているか、簡単に確認できます。画面には、空き容量不足の警告といった重要な通知が表示されます。実際に、ユーザーインターフェイス (UI) の全般的な速度や応答性は、アプリケーションにメモリや CPU などの十分なリソースがデバイスにあるかどうかを示す良い指標となります。 家族をリモートで技術的に手助けしたことのある人なら誰でも、デバイスを見ながら直接操作できないと、問題の検出や診断が少々難しいことをご存知でしょう。クラウドベースのサービスを実行する場合、同様の問題に直面します。これらのリモートサービスをどうモニタリングすればいいか? お客様が満足しているかを確認するにはどうすればよいか? 単一ホストサービスを監視するには、そのホス
既存GoプロジェクトにOpenTelemetryを計装する機会がありました。eBPFによる自動計装ではなく、手動計装を選んだ理由を説明します。 GoアプリケーションへのOpenTelemetry計装手段 Goにおいては、OpenTelemetryの自動計装が公式で用意されていません。公式サイトにAutomaticの章がないことからわかります。おそらく、ランタイムの制約で実行時にアプリケーションの挙動を変えることが難しいのでしょう。 トレースに十分なスパンを含めるために、現状では以下の2つの計装手段があります。既存のGoアプリケーションに導入する手間や影響範囲をイメージいただくために、概要に絞って解説します。 手動計装 eBPFによる自動計装（Work In Progres） 1. 手動計装 まず、OpenTelemetryのSDKをインストールし、セットアップをします。 func main
シスコシステムズは、ログの収集解析ツール大手として知られるSplunkの買収を発表しました。 買収金額は280億ドル（1ドル145円換算で4兆600億円）。ブルームバーグの報道によると、これは同社の歴史上最大規模の買収とのこと。 シスコはネットワーク機器大手として知られていますが、現在ではサーバ分野でも存在感を示し、2017年にはモニタリングツールベンダのAppDynamicsを買収するなど、データセンターにおけるネットワーキングとサーバ、セキュリティ、そしてそれらを統合し運用管理するソフトウェアや基盤となるソフトウェアなどを提供するベンダとなっています。 参考：シスコ、AppDynamicsの買収を完了。アプリケーションやビジネスレイヤのモニタリングにも取り組みをはじめるシスコ Splunkは、サーバやネットワーク機器などあらゆるマシンやセンサー、ソフトウェアなどから生成されるログデータ
この記事は、 NTT Communications Advent Calendar 2023 6日目の記事です。 こんにちは。 SDPF クラウド・仮想サーバーチームの杉浦 (@Kumassy_) です。 普段は OpenStack の開発・運用をしており、最近は Observability まわりを取り組んでいます。 この記事では、以前私が Tech-Night という社内 LT 会で発表した以下のプロジェクトのご紹介します。 Tech-Night については以下の記事をご覧ください。 きっかけ 今年は不安定な世界情勢と円安、猛暑により電気代を気にする機会が多かったのではないでしょうか。 私もあるとき 7-9 月の電気代を確認したところ、電力使用量が 330 kWh、電気代が 10,000 円を超えていました。これは私のチームの 4 人家族のご家庭と比べても多い値でした。 なぜ私の家では
SREの中でも最も重要なプラクティスであるオブザーバビリティですが、これはシステムや組織のどのレベルで持つべきものなのでしょうか。マクロなレベルで持つオブザーバビリティと、ミクロなレベルで持つオブザーバビリティは大局的には同じでも、細かな部分ではそのサイクルを含めて異なってきます。本セッションでは組織で…
セキュキャン2023でSysmonForLinuxを使った経験があり、プログラムの挙動ログを自作ロガーで取りたいなと思ったので、Go+ebpf-goで簡単なシステムコールロガーを実装した。eBPFもGoも初心者なのでコードが汚いのは御愛嬌。 コード全体 コードはここに書いた。記事作成時点のコードであって、最新版ではないので注意。 main.go package main import ( "bytes" _ "embed" "encoding/binary" "encoding/json" "fmt" "os" "os/signal" "syscall" "github.com/cilium/ebpf" "github.com/cilium/ebpf/link" "github.com/cilium/ebpf/ringbuf" "github.com/cilium/ebpf/rlimit"
こんにちは！Mackerel CRE の id:KGA です。 2024年3月25日（月） に「OpenTelemetry Casual Talk - コンセプトのおさらいと実践入門！」を はてな 東京オフィスにて開催し、盛況を博しました！本記事では発表資料や配信動画のアーカイブとともに、イベントのレポートします。 OpenTelemetry Casual Talk - コンセプトのおさらいと実践入門！ OpenTelemetry Casual Talk とは Mackerel のイベント初！ライブ配信を行いました 盛りだくさんのトーク内容 OpenTelemetry実践 はじめの一歩 by id:taxintt サービスメッシュ環境における OpenTelemetry 活用 by 逆井さん、柏原さん OpenTelemetry のサービスという概念について by id:azukiazus
可観測性に関するオンラインイベント「Observability Japan Online #1」が2020年3月17日に開催されました。Google CloudでDeveloper Advocateを務める山口能迪（ymotongpoo）氏は、「オブザーバビリティについて」という講演テーマで、プロファイラーを活用するメリットや利用方法について語りました。当日のスライドはこちら。 Observabilityにおけるプロファイルの重要性 山口能迪氏（以下、ymotongpoo）：山口です。Google CloudでDeveloper Advocateをしていて、担当はObservabilityとGoです。 つい最近までは「Stackdriver」と呼ばれている製品群があったのですが、名前が変わりまして「Cloud Operations」という名前になっています。「Stackdriver」という
こんにちは。サイバーエージェントの杉浦です。 連載「5分でわかる！Kubernetes/CloudNative Topics」の第6回は、オブザーバビリティに注目して、Kubernetesにおける継続的プロファイリングについて取り上げます。 オブザーバビリティとプロファイル 安定してサービスを提供するためには、デプロイしたアプリケーションの状態を継続的に観測し、不具合やその予兆を察知・対処していく必要があります。 アプリケーションの状態を観測する能力をオブザーバビリティ（Observability[1]）といいます。このオブザーバビリティを確保するにあたってどのようなデータを用意すべきか、従来ではメトリクス・トレース・ログの3つを柱とすべきだとされていました。 それぞれメトリクスはCPU使用率やメモリ使用量といった時系列の数値データ、トレースは個々のアプリケーションを伝播する特定のリクエス
CloudNative Days KANSAI 2019
サービスメッシュ環境における OpenTelemetry 活用 / OpenTelemetry in Service Mesh
【開催報告 & 資料公開】AWS 春の Observability 祭り 2024 | Amazon Web Services
Amazon Web Services ブログ 【開催報告 & 資料公開】AWS 春の Observability 祭り 2024 こんにちは。ソリューションアーキテクト (以下 SA) の高野です。 2024 年 4 月 25 日に「AWS 春の Observability 祭り 2024 〜Observability 獲得までの旅〜」と題したイベントを開催しました。昨年秋に実施させていただいた AWS 秋のObservability 祭り以来の Observability をテーマにしたイベントになります。ご参加いただきました皆様には、改めて御礼申し上げます。昨年の開催報告ブログはこちら。 本ブログでは、その内容を簡単にご紹介しつつ、発表資料を公開致します。今回は、Observability の獲得プロセスをテーマに様々なセッションを行いました。Observability 獲得の全体像
https://opentelemetry.connpass.com/event/317170/
re:Invent 2022 で公開された AWS オブザーバビリティに関する最新情報 | Amazon Web Services
Amazon Web Services ブログ re:Invent 2022 で公開された AWS オブザーバビリティに関する最新情報 この記事は What’s new in AWS Observability at re:Invent 2022 (記事公開 : 2022 年 11 月 29日) を翻訳したものです。 Amazon CloudWatch、AWS X-Ray、Amazon Managed Grafana、Amazon Managed Service for Prometheus について発表されたAWS オブザーバビリティのまとめとともに、AWS re: Invent 2022 ウィークの Kickoff をしましょう。CloudWatch でインターネットの問題がアプリケーションのパフォーマンスと可用性に与える影響の理解から、Managed Grafana での VPC サ
こんにちは！ Mackerel チーム、サブディレクターの id:RyuGoo と申します。2024年4月から Mackerel チームの一員に加わり、主にプロダクトマネジメント的な仕組みや考えの導入を進めています。 Mackerel は OpenTelemetry を基盤としたオブザーバビリティの対応強化を進めています。2024年6月に発表した Vaxila の事業譲受より、ユーザーの皆様にオブザーバビリティの主要シグナルである「トレース」をいち早く体験していただけるよう開発を続けておりましたが、本日、このトレースを提供する Vaxila を Mackerel の機能として無料でご利用いただけるようになりました（トレース機能の体験版という位置づけとなります）。 本位置づけの性質上、通常の Mackerel とは品質基準やサポート対応が異なります。以下の点にご注意ください。 予告なしの停止
座談会 「Strict ConcurrencyとSwift 6が開く新時代: 私たちはどう生きるか？」
「技術者を育てる」ことを目的とした、エンジニアを目指す学生のための日本最大のオンラインカンファレンス「技育祭」。ここで株式会社 LIFULL（ライフル）の相原氏が「趣味と仕事の違い、 現場で求められる アプリケーションの可観測性」をテーマに登壇。まずは、仕事と趣味のアプリケーションの違いと、可観測性の基本的な3つのシグナルのうち2つの「Logs」「Metrics」について紹介します。 自己紹介と目次 相原魁氏：今日は「趣味と仕事の違い、現場で求められるアプリケーションの可観測性」について、僕の自室からお送りしようと思います。株式会社LIFULLの相原です。よろしくお願いします。 （スライドを示して）今日の目次ですが、「だいたい趣味のアプリケーションってこういうことをやりがちだよね」みたいな話をした後に、では仕事だとどういうことが求められるのか。その上で、どういう実装をすると可観測性を満たせ
はじめに こんにちは、Google CloudでオブザーバビリティやSREのデベロッパーアドボケイトをしているものです。少し時間が経ってしまいましたが、去る8月3-4日に開催された「SRE NEXT 2024」にて、開発フェーズの各段階におけるオブザーバビリティについての発表を行いました。 sre-next.dev スライドはこちらです。 speakerdeck.com 動画は来月公開される予定だと聞いているので、公開され次第ここに埋め込みます。 発表内容のTL;DR 本番環境が持つべきオブザーバビリティ（マクロなオブザーバビリティ）は、事前に拾いきれない不測の事態を発見し対応するためのものであるのに対し、リリース以前のオブザーバビリティ（ミクロなオブザーバビリティ）は、求められたパフォーマンスを提供していることの確認をするためのものです。そのため、それぞれに用いるツールセットや取り組み方
Recent posts: 22 Jul 2024 » No More Blue Fridays 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netfl
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
著者 坪内 佑樹(*1), 鶴田 博文(*1), 古川 雅大(*2) 所属 (*1) さくらインターネット株式会社 さくらインターネット研究所、(*2) 株式会社はてな 研究会 第7回Webシステムアーキテクチャ研究会 2010年代のクラウド技術であるコンテナオーケストレーション、サーバーレス、マイクロサービス、さらにはエッジコンピューティングなどの普及により、分散システムとしての複雑度が高まっている。このまま複雑度が高まっていくと、人手によるルールベースの運用にいずれは限界が訪れるのではないかと考えている。そこで、最近は、このようなクラウドを中心とするSRE分野の課題に対して、機械学習やその他の数理的アプローチを適用するアプローチを模索している。特に、SREの中でも、システムに発生する異常への対応については、現場のエンジニアの経験に基づき直感に大きく依存している。 異常への対応を構成する
はじめに みなさんこんにちは。これはGo5 Advent Calendar 2019の19日目の記事です。この記事はOpenCensusとhttptrace.ClientTraceを使ってHTTPリクエストの内部的なlatencyを可視化する話です。「内部的なlatency」というのは、HTTPリクエストの中で名前解決にどのぐらいかかったとか、コネクションを張るのにどのぐらいかかったなどです。 なお、この記事に記載しているコードは全てGitHub repositoryに上げてあります。 やりたいこと とあるアプリケーションでHTTP Clientを使ってHTTPリクエストを大量に送る処理がありました。そのサーバーはUS Regionで動いていて、そこからHTTPリクエストを日本にあるサーバーに送るというもので、この処理のlatencyが非常に気になっていました。そのため、HTTPリクエスト
先月あたりからこんな事象に悩まされていた。 before この画像は、Kubernetes 上の Deployment に対して一定の負荷 (50 req/s) をかけながら、レプリカ数を変化させたときのグラフである。 Deployment がどのくらいの負荷を受けているのかを見たかったのだが、グラフ化したときに意図した通りにならずモヤモヤしていた。この実験は一定負荷なのでレプリカ数を変えても Deployment 全体で受けている負荷は変わらないはず。それなのにレプリカ数を増やすとなぜか負荷が減っているように表示されてしまう。どうして。 TL;DR Datadog Agent の環境変数 DD_CHECKS_TAG_CARDINALITY に orchestrator を設定すれば解決する。 続き これを最初見たとき、Aggregator 設定をミスっているのかと疑ったが、ちゃんと su
こんにちは！ Mackerel CREチームでカスタマーサクセスマネージャー（CSM）をやっているid:chizniiです。 2024年6月5日(水)に「オブザーバビリティ再入門 - 大切さと高め方を知ろう！」をはてな 東京オフィスにて開催しました。本記事ではイベントのレポートを行いつつ、発表資料や配信動画のアーカイブを掲載いたします。 オブザーバビリティ再入門 - 大切さと高め方を知ろう！ オブザーバビリティ再入門 - 大切さと高め方を知ろう！とは 今回もイベントのライブ配信を行いました コミュニケーションを促進するための仕組みとして名札を用意 盛りだくさんのトーク内容 可観測性ガイダンス by @nwiizoさん メトリクス、ログ、トレースをうまく使い分けて可観測性を高めよう！ by id:masayoshi OpenTelemetry デモを使って Mackerel のメトリック探索
社内の勉強会資料を公開します
Read it now on the O’Reilly learning platform with a 10-day free trial. O’Reilly members get unlimited access to books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers. Securing, observing, and troubleshooting containerized workloads on Kubernetes can be daunting. It requires a range of considerations, from infrastructure choices and cluster configura
Recent posts: 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » Te
News: Tetragon has reached 1.0! Tetragon 1.0 is here! Read the announcement to learn about the overhead benchmarks, default observability policy library, and tracing process execs! Read the blog We are excited to announce the Tetragon open source project. Tetragon is a powerful eBPF-based security observability and runtime enforcement platform that has been part of Isovalent Cilium Enterprise for
CloudNative Days Spring 2021 Online Istioと各種監視系OSS（Prometheus, Loki, Jaeger, Grafana）を連携させたObservability基盤を構築し、運用する中で得た知見を紹介します。 References John Porcaro, "Observability (re)defined", 2019 Betsy Beyer, Chris Jones, Niall Richard Murphy, Jennifer Petoff, "Site Reliability Engineering", O'Reilly Media, Inc., 2017 Mike Julian, 松浦 隼人, "入門 監視 ―モダンなモニタリングのためのデザインパターン", O'Reilly Media, Inc., 2019 Cindy Sr
Nov 19, 2019Announcing Hubble - Network, Service & Security Observability for Kubernetes Hubble is a fully distributed networking and security observability platform for cloud native workloads. Hubble is open source software and built on top of Cilium and eBPF to enable deep visibility into the communication and behavior of services as well as the networking infrastructure in a completely transpar
Microsoftは2024年3月19日（米国時間）、特定のクラウドに依存しないオープンソースのKubernetesネットワークオブザーバビリティ（可観測性）プラットフォーム「Retina」をリリースした。Retinaは、コンテナネットワークインタフェース（CNI）、OS、クラウドにかかわらず、Kubernetesのワークロードトラフィックを可視化、観測、デバッグ、分析できる。 Microsoftによると、Retinaはアプリケーションとネットワークの健全性とセキュリティを監視するための一元化されたハブとして機能するという。また、DevOps、SecOps、コンプライアンスのユースケースに取り組むクラスタネットワーク管理者、クラスタセキュリティ管理者、DevOpsエンジニアに、実用的な洞察を提供できるとしている。 関連記事 非同期マルチスレッドフレームワーク「Pingora」をオープンソー
OpenObserve is a simple yet sophisticated log search, infrastructure monitoring, and APM solution. It is a full-fledged observability platform that can reduce your storage costs by ~140x compared to other solutions and requires much lower resource utilization resulting in much lower cost. OpenObserve is an innovative open-source observability platform designed to streamline the monitoring of logs,
公開日 2024/01/25更新日 2024/07/25あのサービスの監視・オブザーバビリティ アーキテクチャ選定【後編】 ユーザーや顧客へ信頼性を担保した価値提供をしていく中で、監視・オブザーバビリティの取り組みは非常に重要です。 前回の監視・オブザーバビリティ特集では、合同会社DMM.com、株式会社MIXI、株式会社マネーフォワード、パイオニア株式会社、Sansan株式会社、株式会社ZOZOの6社の各サービスを支える監視・オブザーバビリティをご紹介しました。 今回後編では、Chatwork株式会社、株式会社カカクコム、株式会社LayerX、株式会社リンクアンドモチベーション、株式会社タップルのアーキテクチャをご紹介します。 各社がどのようなアーキテクチャを組んでいるのか、またそのアーキテクチャにしている背景や意図についてぜひ参考にしてみてください。 株式会社kubell（旧Chatw
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Recommended alarms - Amazon CloudWatch
運用を可視化するためのダッシュボードの構築 | Amazon Builders' Library
