2012年12月10日 NTTデータ オープンソースDAY 2012 講演資料 『ストリームデータ分散処理基盤 Storm』 NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス 岩崎 正剛 http://oss.nttdata.co.jp/hadoop/Read less
Geekswithblogs.net, founded in 2003, had a very long run. The future of the site is now back in the hands of the original founder, Jeff Julian, and that is why you are here at Julian Farms or my consulting firm, Squared Digital. What’s next? Glad you asked. I still believe there is a place for blogs in this digital era of the 2020s, but I don’t believe I have a full picture of what it should look
What data structure is more sacred than the link list? If we get rid of it what silly interview questions would we use instead? But not using linked-lists is exactly what Aater Suleman recommends in Should you ever use Linked-Lists? In The Secret To 10 Million Concurrent Connections one of the important strategies is not scribbling data all over memory via pointers because following pointers incre
ロジスティック回帰（logistic regression）の学習が，確率的勾配降下法（SGD: stochastic gradient descent）を使って，非常に簡単に書けることを示すPythonコード．コメントや空行を除けば十数行です． リストの内包表記，条件演算子（Cで言う三項演算子），自動的に初期化してくれる辞書型（collections.defaultdict）は，Python以外ではあまり見ないかも知れません． リストの内包表記は，Haskell, OCaml, C#にもあるようなので，結構メジャーかも知れません． [W[x] for x in X] と書くと，「Xに含まれるすべてのxに対し，それぞれW[x]を計算した結果をリストにしたもの」という意味になります．sum関数はリストの値の和を返すので，変数aにはXとWの内積が計算されます． Pythonでは，三項演算子を条
以前から javax.tools パッケージって気になってたんですが、それを使ったサンプルを見つけたのでちょっと試してみることに。 javax.tools パッケージのクラスを使うと、Java クラスをダイナミックに生成することができるそうです。 ここでいう“ダイナミックに”とは「内容が Java コードの java.lang.String オブジェクトから Java クラスファイルを生成できる」という意味です*1。 ただ、API を使っていると、どことなく「$JAVA_HOME/bin/javac.exe」をラップした API って感じが漂ってくるので（実際にそういう実装なのかは知りませんが）、何か何処かぎこちない気もしないでもない（こともない*2） まぁ、ともかくサンプルを動かしてみましょう。 ちなみに JDK 6 必須です。 参考 URL JavaDoc 「Package javax
仮想アドレスと物理アドレスを変換する Address Translationの基本 前回はメモリーの階層構造と同様に、複数段階のキャッシュ構成があることを説明した。今回はちょっと見方を変えた話をしたい。まず、キャッシュという形でCPU内部に搭載されている、別のメモリーについて触れよう。 ご存知の通り、1次キャッシュは通常「ハーバード・アーキテクチャー」と呼ばれる構造に基づき、命令用とデータ用がそれぞれ別に用意される。詳細は後述するが、2次キャッシュや最近では3次キャッシュを搭載するプロセッサーも多くなった。ただ、これらはいずれも「プログラムそのもの、およびプログラムの実行時に利用されるデータ」である。 「ではそれ以外に何かあるのか？」と言われると、これが結構ある。一番多く利用されるのが「TLB」(Translation Lookaside Buffer)と言われるものだ。これは「仮想記憶」
日本人の有名な技術者たちが起業したとして話題のTreasure Data(トレジャーデータ)。最近日本市場に向けた販売強化をすると発表した。だが以前からずっと日本企業相手にビジネスやってきていたはずだ。過去にリクナビなどで広告記事も見た。なぜ今さら発表? と不思議に思っていたら、以前に比べて価格が大幅に値上がりしていることに気がついた。 現在の最低価格は2TB上限で月3000ドルだ(http://www.treasure-data.com/pricing/)。無料のメニューもあるが、1ヶ月に60クエリまでしか実行できないので、企業で使うなら事実上有料のメニューしか選択肢が無いと考えて良い。 だが実は、つい最近までTreasure Dataには月29ドル、月299ドルのメニューがあったのだ。Internet Archiveには4月11日時点の記録があった。これを見ると、500GB上限の月29
こんにちは。ようやく１ページ全てまとめ終わったので、 最後にまとめ投稿として投稿しておきます。 尚、ページは下記です。 http://kafka.apache.org/07/design.html ＝＝＝＝＝＝＝＝＝＝ 1.何故Kafkaは作られたのか？ 元々はLinkedInのActivity StreamとData Processingをパイプライン式に繋ぐために開発されたプロダクト。 最近はTumblr、DataSiftといった企業でも使用されている。 → SNSや、複数のサービスの情報を統合するようなシステムで使われているようです。 ここでいうActivity Streamとは Webページで閲覧、検索、リンク設定などを行う活動全般を指す。 これらのデータは通常のシステムならば、ログファイルとして出力し、後で別途解析に用いられる。 もう一つ言葉を定義する。 Operational
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
