ハギワラソリューションズは2016年11月29日、2.5インチフォームファクターにmSATAタイプSSDを2個搭載した「2.5インチミラーSSD」を12月に発売すると発表した。使用中の2.5インチHDDやSSDと入れ替えるだけでRAID1（ミラーリング）を構築できる。価格はオープン。 SATA Gen 3（6.0Gbps）接続に対応したRAIDユニットで、接続システムのOSやBIOSに依存せずにRAID環境を構築できる。片方のmSATA SSDが故障しても、もう一方のmSATA SSDのみで連続稼働が可能。また、故障したmSATA SSDをスペアー品に差し替えるだけで、RAIDシステムを自動的に再構築する「オートリビルド」にも対応した。 RAIDを運用するための専用ツール「RAID Manager」を無償提供する。RAID状態の確認やリビルドの情報などを確認できるほか、mSATA SSDの
Linux MD RAID Gets Some Improvements For 4.9 Kernel Written by Michael Larabel in Linux Storage on 8 October 2016 at 08:26 AM EDT. 3 Comments The MD subsystem updates were sent out earlier this week for the Linux 4.9 kernel merge window with a few improvements/features to note. The MD RAID code for the Linux 4.9 kernel has some optimized functions making use of AVX512 extensions for RAID6 gen/reco
2017/5/19追記: ClouderaのHDFS Erasure Codingのブログ翻訳しました -> Apache HadoopのHDFS Erasure Codingの紹介 以前紹介したHDFSのイレイジャーコーディング「HDFSが変わる？HDFSのイレイジャーコーディング対応」について詳しく書かれたブログがClouderaから公開されました。Hadoop 3.0をターゲットにして開発されているようです。 http://blog.cloudera.com/blog/2015/09/introduction-to-hdfs-erasure-coding-in-apache-hadoop/ 背景から設計の方針、評価まで幅広くかなり詳しく網羅されており読み応えがあります。しかし、日本語訳が出るかわからないので、自分用にまとめてみました。間違いを発見したらご指摘下さい。 ※Erasure
As we continue to evolve our data infrastructure, we’re constantly looking for ways to maximize the utility and efficiency of our systems. One technology we’ve deployed is HDFS RAID, an implementation of Erasure Codes in HDFS to reduce the replication factor of data in HDFS. We finished putting this into production last year and wanted to share the lessons we learned along the way and how we incre
1. 第3セッション ハードウェア設計の勘所 qpstudy 2014.04 -険しい道の歩き方をちょっとだけ教えてあげる- Apr 19, 2014 @ DWANGO セミナールーム Takeshi HASEGAWA (@hasegaw) 2. @hasegaw is 誰 長谷川 猛 (HASEGAWA Takeshi) twitter: @hasegaw 前職時代 ・SEとしてシステム構築、客先のシステム運用、提案 ・気付いたらプリセールス∼PM担当SE （ざっくりデザイン、工数／導入物品見積もり、 構築プロジェクトの管理、保守等の問い合わせ対応） 現職 ・フラッシュを軸としたアプリケーション高速化を支援する セールスエンジニア
夏はビールがことごとくうまいなと感じる@masudaKです。 少し前にHadoop専用サーバの環境構築をする機会に恵まれたのですが、ディスク構成をどうするかでわりと目新しいことばかりだったので、備忘録も兼ねて文字に起こしておきます。 前提として、HadoopのMasterではJobTrackerとNameNodeが動いて、SlaveではTaskTrackerとDataNodeが動いてるとします。DataNodeが動くSlaveはクラスタ構成になっていて、HDFSによってデータが分散・冗長化されているとします。 今回の記事ではジョブのデータを読み書きし、IOに対するケアが必要なSlaveのディスク構成を対象とします。Masterはメタデータなど大事なデータは保存してますが、読み・書きの量は少ないのと、単にRAID1で組んでおけば、ディスクに対するケアはそこまで必要ないので、この記事では取り上
AWS re:Invent2013参加レポート #19 EC2 ブロックストレージ(EBS/インスタンスストア)ベストプラクティス ども、大瀧です。 今回のre:Invent参加で個人的にアツかったテーマのひとつが、EC2のブロックストレージ周りのセッションで濃いものが聞けたことです。3日目と4日目に行われた以下のセッションから、現時点でのブロックストレージのベストプラクティスが見えてきそうだったので、セッションから得られたことを自分なりにまとめてみました。 STG402 - Advanced EBS Snapshot Management [11/14 17:30 Murano 3303] STG401 - NFS and CIFS Options for AWS [11/15 10:15 Venetian B] ちなみに、プレゼンターはどちらもAWSでパートナーSAを務めるCraig
Linux/OSS関連のエンジニアです。OSS監視ツールZabbixの日本支社、Zabbix Japanの代表も務めています。 Zabbixは重い！というツイートや情報があったりするのですが、海外ユーザーのサポート経験からZabbixのパフォーマンスは驚くほど良くなっていると思っていて、どこに違いがあるのか不思議に思っていたりします。 Zabbix社で大規模システムというと、監視対象が数千台規模以上、1秒あたりの監視項目数(Zabbixのダッシュボードやレポートメニューから見れる値、以降nvpsと書きます)が1000を超えるくらいからです。本社ではこのnvpsの値が1万に到達しようとしているユーザーをサポートしています。 海外のZabbixサポートユーザーはボトルネックになっている点についてZabbix本体に修正要望を出し、Zabbix本体のパフォーマンスを上げつつ監視規模を拡大していって
Here’s why I do: it’s time for me to build a new master database server. Our current main slave is too underpowered to be handle our entire load in an emergency, which means that our failover situation isn’t that great. I’ll replace the master with something new and shiny, make some performance improvements while I’m at it, and the old master will work just fine in an emergency. For IO intensive s
One of the most popular server RAID controller chips out there is the LSI SAS 2208. The LSI SAS 2208 is a 6.0gbs SAS 2 or SATA III based controller that features eight ports and native PCIe 2.0 connectivity. In the forums we have maintained a LSI Controller Mapping between LSI controllers and their OEM counterparts. This post will be updated with both information on the LSI SAS 2208 based RAID con
smartmontools contains utility programs (smartctl, smartd) to control/monitor storage systems using the Self-Monitoring, Analysis and Reporting Technology System (S.M.A.R.T.) built into most modern ATA and SCSI disks. It is derived from smartsuite. Features Schedule S.M.A.R.T. testing of your drive on a regular base with smartdsmartd prints log messages and triggers alert mails when a failure of y
コントローラがもっているキャッシュは『コントローラ・キャッシュ』と呼ぶ。 コントローラ・キャッシュをライト・キャッシュとして使用する場合、電源断でキャッシュ内容が消失しないよう、バッテリを内蔵する。 バッテリが無い場合、バッテリの充電が十分でない場合はライト・キャッシュを使用しないライト・スルーに自動で切り替わる。 バッテリ動作の期間内にコントローラ・キャッシュの内容を保持するだけでなく、不揮発のフラッシュ・メモリに書き込むものもある。 リード・キャッシュは効果が少ないため、HPのコントローラではリード・キャッシュ25%、ライト・キャッシュ75%の比率がデフォルト。 コントローラ・キャッシュはRAIDのパリティ計算などコントローラの作業用メモリとしても使われる。 HDD自体が持っているキャッシュ(バッファ)は『ディスク・キャッシュ』と呼ぶ。 サーバ向けのHDDではディスク・キャッシュは通常
ピーエムシー・シエラ・ジャパンは2013年2月21日、サーバー機にローカルストレージ接続用のSAS/SATAポートを追加するI/O拡張カードの新製品「Adaptec SAS/SATAホストバスアダプタ（HBA）ファミリ」（写真）を発表した。同社の主力製品とは異なり、RAID機能を備えない点が特徴。2013年第2四半期に出荷する。開発会社は、米アダプテック（Adaptec）を買収した米ピーエムシー・シエラ（PMC-Sierra）。 SAS/SATAドライブを接続するためのI/O拡張カード。サーバー機のPCI Expressバスに装着して利用する。形状は、高さが低いロープロファイル型。搭載ポート数や付加機能に応じて全部で3モデル（8製品）を用意している。価格はオープンだが、米国内における希望小売価格は、内部8ポートの「7805H」が250ドル、外部16ポートで暗号化機能を備えた「70165H」
こちらのTogetterエントリ サーバのディスクの話 http://togetter.com/li/238411 に、大量にはてブがついているのをみて、今までの私の話などを。 このエントリが、何故に多くの人の関心を寄せるか…というと、「RAIDの一般化」という部分が大きいと思います。 今じゃSATA(&SAS)RAIDが、Intelチップに機能として搭載され、数万円台の外部NAS、RAIDカードで、RAID5,6どころか1+0や50まで構築できる時代。 「Diskが壊れても、データは壊れない！」という売り文句は、非常に魅力的だったりします。 今ではSATAのRAID1（HDD2本でミラーするだけ）なら、数千円のレベルでカードが買えますね。 では、Intelのチップセットや激安RAIDカードで、保護的RAIDを組んだ状況で、どれだけデータ保護が出来るかというと、 HDDの故障を救える確率と
ユーザランドのプロセスから見たwrite(2)は、ページキャッシュのおかげで(メモリが潤沢にある環境下では)ブロックされない(待たされない)というのは id:naoya さんの丁寧な解説のおかげでわかると思うのですが、一方、fsync(2)などの実際にディスクに書き込む処理、 あと id:hirose31 さんがコメントしてますが、アプリケーションが SYNC モードでファイルを開いてたり、明示的に fsync() してたりするとそこで wait が発生するのは言わずもがな、です。 Linux I/O のお話 write 編 - naoyaのはてなダイアリー The fsync() function does not return until the system has completed that action or until an error is detected. fsync
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
