MongoDBイン・アクション 作者: Kyle Banker,Sky株式会社玉川竜司出版社/メーカー: オライリージャパン発売日: 2012/12/14メディア: 大型本購入: 5人 クリック: 55回この商品を含むブログ (4件) を見る MongoDB集計機能 CentOSでNginxのログをFluentdを使ってMongodbにリアルタイムで格納する - Yuta.Kikuchiの日記 時給3000円のCEOと揶揄されている@yutakikucです。今日は簡単にMongodbのログ集計機能を紹介します。機能が豊富過ぎて泣けてくるんで、ログ解析する人は是非使ってみて下さい。FluentdでMongodbにNginxのLogを流し込む設定は上のエントリーを参照して下さい。次回はAggregationFramework/MapReduce周りについて触れたいと思います。 泣ける話 : 集
このまえ登り坂の途中でロードバイクのタイヤが破裂しました。ながたです。 今回はバッチ処理について書いてみようと思います。 バッチ処理？ Webサービスの処理開始条件は、大まかに次の2つに分けることができます。 ユーザーのアクションに起因するもの ユーザーのアクションに起因しないもの このうち後者の処理をバッチ処理が担当することになります。 バッチ処理の担当分はさらに、 特定の条件（時間やサービスの状態）で実行するもの 手動で実行するもの の2つに分けられます。 今回はこの「手動で実行するもの」について書きたいと思います。 バッチを手動実行するのはどんなとき？ バッチ処理を手動で実行するのは、十中八九イレギュラーな状況が発生したときです。 ルーチンワークや実行の条件が決まっているものは何らかの方法で自動化できるはずです。 そしてイレギュラーな状況のほとんどは不具合が発生したとき。 つまり 重
sugipooh @sugipooh 日本にRAIDという言葉が無いころからストレージ障害の近くに居る。 すぐにデータが消えるMO、動いているときに「こつん」とたたくと古い データを消しても平気に動くHDD、それを守るためのRAIDのいい加減さ。 どうしてストレージ障害が起きるか？根本を知らない人が多すぎる。 2012-01-08 02:05:03 sugipooh @sugipooh RAID5コントローラを市場で初めて多数売った今は無いMylexへ研修に 行かしてもらった。そのときRAID5でデータが無くなる条件を聞いた。 「簡単に飛ぶ（驚）」。その10年後 日本の会社がその簡単に飛ぶ条件で 多量にRAIDを売っている。おかげでデータ復旧会社が繁盛している。 2012-01-08 02:08:32 sugipooh @sugipooh 「簡単にデータが飛ぶ」RAID5でビジネスを辞めた
東日本大震災から3日後の2011年3月14日。この日の午前に最初のトラブルは発生した。テレビ局が東日本大震災の義援金を番組などで呼びかけたところ、みずほ銀行東京中央支店のテレビ局の義援金口座（以下、口座a）に、振り込みが殺到した。 午前10時16分、振り込みによって生じた「取引明細」の件数が上限値を超え、口座aに対する「預金・取引内容照会」ができなくなった。取引明細は通帳の記帳に使う。 みずほ銀は口座aを、格納できる取引明細の上限値が小さい「個人・通帳口」として間違って設定していた（表-1）。 みずほ銀は口座の種類を二つの属性の組み合わせによって区別している。一つは「個人」か「法人」か。もう一つは、取引明細を通帳に記帳する「通帳口」か、記帳しない「リーフ口（ぐち）」かである。 これら二つの属性によって、格納できる取引明細の上限値が変わる。通常、義援金口座のような大量振り込みが予想される口座
みずほ銀のSTEPSは1988年に稼働を開始した。当時は、ATMの24時間稼働も、インターネットバンキングも、携帯電話を用いた振り込みサービスも存在しなかった。 その後、これらのサービスを追加する一方、みずほ銀はバッチ処理の上限値の設定を、23年間一度も見直さなかった（表-18）。 さらに、携帯電話での振り込みといった新サービスを導入する際に、夜間バッチの負荷テストを行っていなかった（表-19）。 みずほフィナンシャルグループなどによるシステムに関する内部・外部監査が機能していなかった（表-20）ため、こうした問題に気付くこともなかった。 みずほ銀はシステム監査において、「システム運用管理体制」のリスクを最高レベルとしていない（表-21）など、リスクの大きさを正しく把握することができていなかった。 夜間バッチが異常終了した原因は、口座bの振り込みデータを振り分ける（分割する）処理で、上限値
【インスタ・ツイッター】ビセラの口コミまとめ Instagram（インスタグラム） おはようございます🌞 空が綺麗な朝ですね✨ ・ 私の最近の腸活事情☺︎ 腸が綺麗だとお肌にはもちろん！健康にも良いので、最近話題の短鎖脂肪酸サプリのビセラを飲み始めました✨ ・ 腸内フローラをサポートしてくれて、飲み始めてから最近調子がいいのを実感しています♪ ・ 1日1カプセル💊でいいので、面倒だったり沢山飲むのが苦手な方にもおすすめです☺︎ ・ さて、今日も1日頑張りましょう☺︎ ・ #ビセラ#bisera#腸内フローラ#短鎖脂肪酸 #ダイエット#美容#健康#アラフォー#アラフォー美容#美容好きな人と繋がりたい#腸#腸活#美肌#yorkie#腸活 >> インスタでチェックする ヤセ菌と最近話題の短鎖脂肪酸サプリ 腸内フローラをサポートし 特殊製法のカプセルが 「生」菌を直接腸まで届けてくれる！ 年々
一年ほど前にヤフーを退職した私ですが、その後なにをやっているかというと、クックパッドに入社して画像配信をしています。私が入社する前から動いていた画像配信の仕組みは設計が古くてなにかと困っていたので、より良いシステムを開発してリプレースというのをやっています。前職ではなかなかこういう基盤システムを一人でイチから作って運用までするという体験はできなかったので、でかい仕事をできるチャンスに恵まれて大変充実した毎日です。 入社当初はサービス開発の担当だったんですが、開発に必要な基盤システムを作り始めたらどんどんエンジニアリングのレイヤーが下がってきて、気づけばインフラチームに所属していました。 まあそんな話はさておき、この画像配信関連の成果をいくつかの勉強会で発表したので、その資料を紹介します。 サイバーエージェントxクックパッド合同勉強会（amepad） 弊社オフィスで開催された、サイバーエージ
2011/04/30 米Amazon Web Services（AWS）は米国時間4月29日午後、同社のブロックストレージサービス「Amazon Elastic Block Store（EBS）」および、リレーショナルデータベースサービスの「Amazon Relational Database Service（RDS）」における約4日間にわたる障害につき、詳細な経過報告と対策を発表した。これによると、障害のきっかけはネットワークの構成変更作業におけるミスだった。同社は今回の障害が複数のAvailability Zone（AZ）に影響を与えた理由も説明した。 AWSが発表した今回の障害に関する説明（英語） EBSはAWSの仮想サーバサービスであるAmazon EC2のインスタンスから、仮想ディスクとして使える永続ストレージサービス。実態としてはディスクを備えたノード（コンピュータ）の集合体を
25日の参院予算委員会では、東京電力福島第1原子力発電所の事故での菅直人首相の初動の遅れや責任の所在に質問が集中した。首相は事故発生直後に東電から提供される情報が十分ではなかった事情などを説明し、野党の追及をかわした。首相の釈明の中で、政府や東電の事故対応の一端も明らかとなった。「危機管理センターの東電関係者に『ベントをするように』と指示したところ『伝えます』とのことだった。（すぐに）行われる
この特集で挙げた57の要因に関して、GoogleとYahoo! JAPANの利用率を考慮して総合的に算出した重要度のランキングを示す。 プラス要因トップ20（Google＋Yahoo! JAPAN総合）titleタグ内でのキーワード使用被リンクのアンカーテキストサイト全体でのリンクポピュラリティYahoo!ディレクトリへの登録本文でのキーワード使用サイト内部構造としてのリンクポピュラリティサイト開設からの経過時間リンク元サイトのサイト全体でのリンクポピュラリティ被リンクの話題関連性話題コミュニティ内でのリンクポピュラリティリンク元ページとの話題の関連性被リンク増加率本文のコンテンツとキーワードの（トピック分析による）関連性サイトの主要テーマと検索の関連性h1タグ内でのキーワードの使用インデックス可能なテキストコンテンツの量外部サイト／ページへのリンクの質や関連性文書公開からの経過時間リンク
この1年でユーザーによる活用と製品の充実が進んだSSD。その導入に際して、IT部門はハードディスクをベースにしたストレージ装置との違いを理解しておく必要がある。（1）書き換え動作が徐々に劣化を引き起こす消耗品であること、（2）SSDの効果を引き出すチューニングや機器選定が必要になることである。 コントローラーと容量増で長寿命化 実は初期のSSDは、使い方によっては3年程度でドライブとして寿命を迎えてしまう。ハードディスクのディスクを単にメモリー素子に置き換えると、物理的に同じデータを読み書きすることで、10万回程度の書き換えで該当素子が破損するからだ。予備のメモリー素子を使い果たせば寿命を迎える。しかし現行の企業向けSSDの保証期間は、IT機器の法定耐用年数である5年が相場だ。 5年の動作を保証できるのは、フラッシュメモリーの書き換え回数を使い切る「ウェアレベリング」と呼ぶ制御機能が企業向
米アマゾン・ウェブ・サービシズは2011年4月21日（米国時間）、仮想マシン貸しサービス「Amazon EC2」で21日未明から発生している障害の復旧が、当初の想定よりも長引くとの見通しを示した。米国東海岸データセンターの一部区画で、外付けストレージサービス「Amazon Elastic Block Storage（EBS）」が利用できなくなるという障害が続いている（関連記事）。 米国東海岸データセンターでは当初、二つのデータセンター区画（Availability Zone：AZ）で、EC2の仮想マシンに接続できなくなったり、EBSの遅延が大きくなったりするなどの障害が発生した。EBSは、EC2仮想マシンから利用できる外付けディスクボリュームを提供するサービスである。 EC2仮想マシンの障害は2時間で復旧したが、EBSの障害は発生から半日以上経っても全面復旧していない。障害を起こした二つの
記事にまつわる情報をネットのあちこちから集めてまとめます。 「古い記事も見てほしいな」、「シェアしてくれるとうれしい」 「さっき書いたブログ、反響来てるかな？」 そんな時に、どうぞ。 ZenbackおよびZenback BIZサービス終了のお知らせ 平素は弊社サービスをご愛顧いただき、誠にありがとうございます。 2020年12月25日をもちまして、ZenbackおよびZenback BIZサービスを終了させていただきました。 ZenbackおよびZenback BIZをご利用いただきましたすべてのお客様に、スタッフ一同心より御礼申し上げます。
2008年9月14日の障害時、全国の空港のロビーに設置したチェックイン端末がサーバーに接続できない状況になっていたという。チェックイン端末からサーバーへの接続可能な期限が切れていたからだ。今後は、障害につながりそうな設定情報については逐一確認していく。従来、システム稼働後に設定情報をチェックするルールは特になかった。 もう一つは、障害監視体制の強化だ。トラブルが起きる前から24時間体制で監視していたが、運用管理責任者は1人だけだった。これをトラブル後に2人体制にした。 運用管理を担当するのは、情報システム子会社である全日空システム企画のベテラン技術者である。「大規模障害時には関係部署から問い合わせが殺到する。24時間2人体制で応対スピードを高める」（ANAの蔵本直樹IT推進室開発推進部長）。 さらにANAは楽天証券と同様、「システムの品質を向上させることが、トラブル予防につながる」（蔵本部
昨日は、WordPessプラグインのアクセス解析StatPressの導入で感動しましたばかりですが、さらに優れたwordpressプラグインのアクセス解析を見つけました。ある方法を使えば日本語化の必要もなし、ほぼリアルタイムのアクセス解析です。 このプラグインはWordpress.comに登録したときに発行されるAPIキーを入れることによって動き出します。つまり、Wordpress.comのサーバーにデータを蓄積して、そこからアクセス情報を自分のWordpressのダッシュボードに表示するというものです。これによって、データベースを消費しないがいいですね。また、アクセスランキングをサイドバーに表示できる「WordPress.com Stats helper」も使えます。 2011年09月23日追記：「WordPress.com Stats」はＷＰの公式プラグインの詰め合わせセット「Jetp
東京海上日動火災保険は2009年4月から、求められる可用性が99.8％以下のシステムについてハードウエア保守を打ち切った。99.9％以上のシステムについても、冗長構成を取っている場合は年間保守契約を外した。故障時も業務に支障をきたすリスクが少ないと判断したためだ（図1）。 380台の保守を打ち切り、3億円のコスト削減 これらを合計すると、同社が保有する約1700台のサーバーのうち、2割を超える約380台の保守を切ったことになる。これにより、年間で約3億円のコスト削減を実現した。 東京海上日動の基準で考えれば、国内のほとんどの企業の基幹系システムに、ハード保守は必要ないとも言えそうだ。日本情報システム・ユーザー協会の調査によれば、国内企業の基幹系システムの可用性は平均で99.79％だったからである。ハード保守が本当に必要かを、どの企業も再考する価値があるだろう。 アサヒビールの奥山博業務シス
Twitterは、同社の何千台ものサーバに対してバイナリをデプロイする場合に、ピア・ツー・ピアシステムのBitTorrentを利用したツール「Murder」を用いていると、7月1日の記事「Twitterの大規模システム運用技術、あるいはクジラの腹の中（後編）～Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」」で紹介しました。 FacebookでもBitTorrentによる大規模なデプロイが高速に行われていることは、7月16日の記事「Facebook、memcachedに300TB以上のライブデータを置く大規模運用の内側」で紹介しました。 どうやら大規模システムにおけるデプロイではBitTorrentの利用が進んでいるようです。 7月15日付けのTwitter Engineering Blogに、Twitterのエンジニア、Larry Gadea氏による「
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
