MackerelにおけるKubernetes利用の取組みとこれから / Kubernetes Meetup Tokyo #22
MackerelにおけるKubernetes利用の取組みとこれから / Kubernetes Meetup Tokyo #22
Mackerel チームのWebアプリケーションエンジニア id:astj です。 さくらインターネットさんのプレスリリースにある通り、はてなのMackerelチームより、私 id:astjと、同じくWebアプリケーションエンジニアの id:itchynyも執筆に参加した論文「HeteroTSDB: An Extensible Time Series Database for Automatically Tiering on Heterogeneous Key-Value Stores（HeteroTSDB: 異種混合キーバリューストアを用いた自動階層化のための時系列データベースアーキテクチャ）」が、IEEEの国際会議「COMPSAC 2019」に採択されました。 論文は、2019年7月15日～19日（現地時間）にアメリカ合衆国ウィスコンシン州で開催された「COMPSAC 2019」にて、
Mackerelチームのエンジニアのid:itchynyです。 「mackerel-agentを入れるとloadavgが7時間ごとに上昇する」 先日、このような問い合わせを複数のお客さまから受けました。私も実験してみたところ、確かに再現しました。EC2 t2.microにmackerel-agentを入れて簡単なログ監視とプロセス監視を設定し、数日放置しました。 確かに、約7時間ごとにloadavgが上昇しています。この周期のcronの設定はしておらず、またmackerel-agent内部でも7時間ごとに行う処理はありません。しかし、プラグインを多く入れるほどloadavgのピーク値も上がります。 本エントリーでは、この現象の原因について説明します。 loadavgが上昇する原因を調べるには、まずloadavg自体がどう計算されているかを知る必要があります。 まずは、Linuxがloada
こんにちは、インフラグループの水野です。 みなさん、DNSのレコードの監視を行っていますか？ DNSレコードの変更ミス等を検知することはもちろん、自分たちの運営しているサービスの名前解決がユーザ側でどのように見えているのかというのを確認することは大切です。 しかしながら、DNSレコードを外形監視してくれる監視ツールは数が少なく中々コレといったものがありません。 外部からの監視をしたいがためにパブリッククラウドに監視専用のインスタンスを建てるのももったいないです。 弊社ではメインの監視ツールとして Mackerel を利用していますが、MackerelにはURL外形監視はありますが、DNS外形監視はありません。 別途 pingdom のDNS外形監視を利用していましたが、pingdomではIPアドレスとのマッチしかできません。 IPアドレスもひとつしか登録できないため、ELBのようにIPアド
監視を Zabbix から Mackerel に移行しています。そこで困ったことを OSS を書いて解決しようシリーズのお時間です。 ホストのダウン検知を早くしたい Mackerel の監視は Push 型と呼ばれるもので、mackerel-agent が Mackerel サーバに対してメトリクスを送信する形態です。そのため、agent を稼働させているホストがダウンしたという事象は、「一定時間サーバに対して情報が送られてこない」ことによって、組み込みのアラート "connectivity" として検知されます。 これによって困ることとしては、以下があります。 ホストが実際にダウンしてから7分程度経過しないとアラートが上がらない あまり短時間で判断してしまうと誤検知が増えるからでしょうか もうちょっと早く検知したいです "connectivity" アラートは Critical レベルし
全国三千万 Mackerel ユーザーの皆様こんにちは。 mackerel-plugin で生成した値を、サービスメトリックとして投稿したいと思ったことはないでしょうか。ありますよね。でも mackerel-agent ではホストメトリックしか投稿できません。 ということで、拙作の sardine に Mackerel のサービスメトリックとして投稿する機能を追加しました。(Thanks for @jet_zousan) sardine についてはこちらをご覧ください。 sfujiwara.hatenablog.com github.com mackerel-plugin 互換の出力を CloudWatch のメトリックとして投稿する agent です。 おもにコンテナ環境で、mackerel-agent を全部に立てたくはないけど使い慣れた mackerel-plugin で収集した値を
2018/02/05 https://mackerelio.connpass.com/event/76678/
ここ1年半くらい仕事でサーバ管理・監視サービス Mackerelの開発をしているのですが、そのユーザミートアップイベント Mackerel Meetup #11 Tokyo が2/5にあり、そこで"AWS で実現した Mackerel 時系列データ1分粒度長期保存の裏側"というタイトルで発表してきました。 mackerelio.connpass.com 発表スライドはこちらです。タイトルスライドのピラミッドの写真は現地で自分で撮影した写真です*1。ピラミッドは適当に写真撮るだけでそれっぽい雰囲気が出るのでフォトジェニック。 speakerdeck.com 今回は先日リリースした1分粒度時系列データの長期保存をメイントピックとしましたが、そうはいっても時系列データベース(diamond)全体の話もしない訳にはいかないので、複数のストレージ (Amazon DynamoDB, Redis, A
株式会社はてな（代表取締役社長：栗栖義臣／本社所在地：京都市中京区）のサーバー監視サービス「Mackerel（マカレル）」は、時系列データシステムを強化し、本日2018年1月24日（水）より「Mackerel」に保存する1分間隔の時系列データの保持期間を「25時間」から「460日」に変更しました。これにより「Mackerel」の利用者は、最小1分間隔のサーバー情報を460日分確認でき（※1）、粒度の細かい情報をもとにした精度の高い分析が可能になります。また、これに伴い、Standardプランの「グラフ表示期間」も「400日」から「460日」に変更しました。 ▽ Mackerel https://mackerel.io/ 「Mackerel」は、サーバーにおける各種ハードウェアやアプリケーションソフトウェアの性能をリアルタイムに監視することができるSaaS型サーバー監視サービスです。当社が提
mackerelio.connpass.com 11月29日（水）、はてなとメルカリにおけるモニタリング事例をご紹介する"Monitoring Seminar in mercari"を開催しました。 今回は六本木ヒルズにあるメルカリ様のイベントスペースをお借りして、多くの方々にご来場いただきました。 会場を提供していただいたメルカリ様、ご来場いただいた皆様、本当にありがとうございました。 メルカリのシステム・サービス監視について 最初のセッションはメルカリの長野さんです。 前半ではメルカリにおけるモニタリングツールの歴史と運用について、後半ではMackerelでの監視項目をご紹介いただきました。 実際にどのような監視を行なっているのか、みなさん興味深く聴いておられました。 「メルカリのシステム・サービス監視について」セッションの様子 Microservices Monitoring at
Webオペレーションエンジニアの id:y_uuki です。 2017年8月7日に、メンテナンスの完了報告及びデータ消失とカスタムダッシュボード、式監視の不具合に関するお詫びにてお知らせしたメンテナンス作業時間中のデータ消失について、本エントリにて技術的な観点から原因の詳細をお伝えいたします。 概要 2017年8月7日(日本時間)に、オンプレミスデータセンターからAWSへ、Mackerelをシステム移行するためのメンテナンスを実施しました。 メンテナンス開始時間である14:30以降のデータ同期に失敗していたPostgreSQLデータベースサーバへの意図しないフェイルオーバーが、メンテナンス作業途中の15:30に発生した結果、14:30から15:30の間に更新されたデータを消失しました。 移行作業後のアプリケーションの動作確認中に、特定時間帯のデータを消失していることを発見し、データの復旧を
サーバ監視サービスMackerelにおいて開発中の、高解像度・長期間のサーバメトリック収集を実現するための新しい時系列データベースDiamondを紹介します。具体的には、Amazon ElastiCache、Amazon DynamoDB、Amazon S3を組み合わせ、Amazon Kinesis StreamsとAWS Lambdaによりコンポーネント間を接続した、階層構造のデータストアアーキテクチャの設計と実装を解説します。 2018/06/05 追記: この記事の内容をWSA研#2でより一般的なアーキテクチャレベルでの貢献として書き直しました。 サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ はじめに 先日開催されたAWS Summit Tokyo 2017にて、「時系列データベースという概念をクラウドの技で再構築する」というタイトルで登壇
先週、とうとう Mackerel にグラフアノテーション機能がリリースされました。 mackerel.io この機能を使えば、「デプロイ実施」とか「ミドルウェアの設定を変更」などといったオペレーションの実施の記録に加えて、「経験値2倍キャンペーン開始」「CM放映スタート」といったビジネス施策としてのイベントの投稿もできるようになります。これらのイベントの以前・以後、といったグラフの見方がしやすくなるので、これは便利！！ "Mackerel オタク" を自称している身（参考）としてはスルーできないワクワク機能！ということで、早速自分のアプリケーションにも組み込んでみることにしました。 capistrano のデプロイタスクにグラフアノテーションの POST を組み込む 今回はとりあえずのお試しということで、capistrano のデプロイタスクのうち deploy:starting でデプロ
この記事は、はてなエンジニアアドベントカレンダー2016の14日目の記事です。13日は id:astj による『Perl 6 のモジュールエコシステムの話とモジュールを公開する話 (2016年12月版) - 平常運転』でした。 こんにちは。Mackerelチームでアプリケーションエンジニアをやっている id:itchyny です。 Mackerelは、同じ役割を持つホストを束ねた「ロール」、そしてロールを束ねた「サービス」というまとまりでホストを管理し、一覧性の良いグラフ画面を提供しています。 ロールあたりのホスト数、そしてサービスあたりのロール数が増えると、グラフの画面のパフォーマンスに大きく影響します。 Mackerelチームでは大規模なサービスでも快適にグラフを閲覧できるように、継続的に画面のパフォーマンスを改善してきました。 本記事では、Mackerelのフロントエンドのパフォーマ
この度はてなのCTOが id:stanaka から id:motemen に交代しました。僕はチーフエンジニアとして引き続き頑張っていく所存です。 stanakaとMackerel stanaka にはチーフエンジニアやMackerelチームのディレクターを務める中で様々な指導をいただきました。 そのエンジニアリング能力、ビジネスも含めた視野の広さ、Mackerelに立ち上げたことに代表されるようなビジョンにはただただ圧倒される日々でした。 思い起こせば2年前、stanakaにMackerel事業の魅力やはてな東京オフィスでのエンジニアリングチームの立ち上げについて話をしていただきました。僕はそれらに魅力を感じはてなに入社しました。その後は、チーフエンジニア、Mackerelのディレクターなどの立場も与えてもらい、引き上げてもらったと感じています。 Mackerel事業にディレクターとして
What's in a price? How to price your products and services
Mackerelアドベントカレンダー 4日目です。 昨日は@dolpenさんの「RTX1200の状態をMackerelに監視させる」でした。 qiita.com ネットワーク機器が高負荷で落ちそうとかパケットロスしたときに、グラフでどんな通信があったのかとか確認できると便利ですよね。 そのアラート気付いてます？放置してません？ Mackerelとても便利ですよね。Mackerelサーバにクライアントから情報をプッシュするタイプの監視サービスなので、 自宅サーバと外部のサーバを1つの監視に集約できたり、 監視サーバの監視問題(監視サーバの監視はどうしたらいいか)もMackerelに監視を任せることで解決しました。 しかし、監視がどんなに便利になっても、アラートがなった時に対応が出来なければ意味がありません。 導入当時は、監視がこんな簡単にできるなんて便利だなぁとしみじみ思いつつ、アラートに対
Mackerelを使い始めました CTO 小芝です。この記事はanimateLAB Advent Calendar 2015 2日目の記事です。 先日、"エンジニアをワクワクさせる「直感的サーバ監視サービス」 "Mackerelを数十台のホストに一斉導入しました。 既存サービスで外部に任せていたシステム運用をインハウス化し、運用クオリティを自分たちで高めていくための取り組みの一つです。 Mackerelとは 株式会社はてなが開発・運営しているサーバ監視サービスです。 mackerel.io このような特徴がWebサイトに書かれています。 *1 経緯 アニメイトラボでは今年の夏よりエンジニアを積極採用し、当初1名だったのですが現在では総勢10人でチームを組んで新サービスの開発に邁進しています。 それと並行して、既存サービスでは外部委託されていたシステム運用をインハウス化し、ビジネス面、開発面
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
