「知ってる情報はもったいぶらずに全部、お客様に渡せ」と、その昔、上司によく言われました。情報だけじゃなく、考えたこと、知見とか洞察という類のモノ、知的財産的なもの、すべてを全部出せと。 これは、価値ある情報を、「抱え込むな」、「出し惜しみするな」、「隠すな」、「もったいぶるな」、なぜなら 「全部出しきったら、翌日はまた、新たに価値あるものを見つける必要がでてくる。そうしたらお前はもっと努力するし成長するよ」という意味です。 何かを残しておけば、「次回までに何も結果がでなければ、コレをだせばいい」と思えます。そしてその考えが、進化や成長を阻害します。 たとえば「コストを 10％削減しろ」と言われたとします。いろいろ考えてみたら 15％のコスト削減が可能だとわかった。そこで 10％だけ削減して、「 10％削減、達成できました！」と言っておけば、5％の余裕を残しておける。 そうすればまた次回「さ
クラウドで、そしてエンタープライズ市場で競合関係にあるグーグルとマイクロソフト。グーグルが切り開いたクラウドにマイクロソフトがWindows Azureで参入する一方で、マイクロソフトの牙城であったOSとオフィスアプリケーションに、グーグルがChrome OSやGoogle Appsで攻め込むという激しい戦いの構図となっています。 米調査会社のガートナーが、こうした両社の戦略と今後についての分析を明らかにしました。都内で行われている同社のイベント「未来志向で推進するITインフラ戦略」で今日（4月21日）の午前中に行われたばかりの講演「Google vs Microsoft ～ 将来における戦い」の内容を紹介しましょう。 「一般には、グーグルがマイクロソフトのOSやOfficeを狙ってマイクロソフトに対抗しようとしているという見方が多いが、私たちは逆だと思っています。つまり、マイクロソフトは
About us We are PhD students at Carnegie Mellon in the Machine Learning Department and the Language Technologies Institute, and our thesis work is part of the Read the Web project, which is led by Professor Tom Mitchell. The goal of our project is to build a system that can start from a limited amount of knowledge and gradually learn to understand language by utilizing millions of web pages. The
Here are the slides from my recent talks at Hadoop World 2009, New York, and at UIUC and Carnegie Mellon the following week. These outline how Yahoo! uses Hadoop. The university talk includes learnings from building and deploying Hadoop at Yahoo!. Hadoop World: University Talk: (Audio from UIUC) eric14 a.k.a. Eric Baldeschwieler VP Hadoop Software Development @ Yahoo! Post a comment Comment Polic
Hi Hadoopers Thanks everyone for joining us last Wednesday night at the Yahoo!’s Sunnyvale campus. We had more than a hundred attendees, a nice record to mark the last meeting for 2009. I’m happy to see cool presentations coming out of the growing community and many interesting solutions implemented on top of this amazing technology. Jason Rutherglen and Jason Venner presenting "Searching at Scale
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Pig は、大規模なデータセットを分析するためのプラットフォームで、データ分析プログラムを記述するための高水準言語を構成要素とし、データ分析プログラムを評価するためのインフラストラクチャも備えています。Pig プログラムの最大の特徴は、大規模な並列処理に対応できる構造を持っていることで、このような特徴のゆえに、大規模なデータセットを処理することができるようになっています。 現在、Pig のインフラストラクチャを構成するコンパイラは一連の Map-Reduce プログラムを生成しますが、これらのプログラムを動作させるための大規模な並列実装 (Hadoop サブプロジェクトなど) はすでに存在しています。現時点で Pig の言語レイヤを構成しているのは、Pig Latin と呼ばれるテキストベースの言語で、次のような特徴があります。 容易なプログラミング。単純でありながら「嫌気がさすほど並列的
1. What is MongoDB? What Makes Mongo Special? MapReduce MongoDB Or how I learned to stop worrying and love the database Mathias Stearn 10gen Bay Area Hadoop Meetup – February 17, 2010 Mathias Stearn MongoDB 2. What is MongoDB? What Makes Mongo Special? MapReduce The resulting [MongoDB] application has literally changed the way the pharma company conducts business. Whereas in the past, patient quer
「プロトコルバッファー」がオープンソース化 2008-07-08 (Tue) 7:19 Google OSS Googleで使用されているRPC/シリアライズフレームワーク「ProtocolBuffer」がオープンソース化されたらしい via @ohkuraさん ProtocolBuffers, our serialized structured data, released as Open Source プロトコルバッファー チュートリアル おーおーお、GoogleTestといい何かオープンソース化ラッシュですね。FacebookのThriftと比較してC++, Java, Pythonしかバインディングが無いので、PHPとかPerlとか使ってる場合はまだ移行できなさそう。 この２つは週末に時間とってじっくり調べてみようー。 追記: RPCの部分は無くて、シリアライズのところしかなかっ
プロトコル バッファについて プロトコル バッファは、言語やプラットフォームに依存しないで、構造化データをシリアライズする Google の拡張可能なメカニズムです。XML に似ていますが、XML よりコンパクトで、高速で、シンプルです。データをどのように構造化するかを一度定義すると、特別に生成されたソース コードを使用して、構造化データをさまざまなデータ ストリームに対して容易に読み書きすることができ、さまざまな言語 (Java、C++、Python) を使用できます。 ダウンロード ページから、プロトコル バッファ コンパイラのソース コード全体、生成するコードに必要なすべてのクラスのほか、ビルドとインストールの説明が提供されます。
2. Yahoo and 0.20 Yahoo back ported a lot of features from trunk into Yahoo’s 0.20 Back port features to support Yahoo needs Keep our branch in Git and publish to GitHub Has been deployed on all 25,000 nodes Improved Capacity scheduler Run tasks as users Currently have Yahoo 0.20.8 deployed and Yahoo 0.20.9 being tested I submitted Apache 0.20.2 rc2 today. 3. The current state of Hadoop 0.21 Branc
ハイパーバイザ上で稼働するJavaVM、サーバOS不要の「JRockit Virtual Edition」、オラクルから 米オラクルが19日に発表した「JRockit Virtual Edition」は、仮想化ハイパーバイザのOracleVM上で直接動作するJavaVMです。OSレイヤを省略することによって、その上で動作するWebLogic Serverの性能が最大で30％向上したと同社は発表しています。 OS不要でJavaVMを稼働 米オラクルが19日に発表した「WebLogic Suite Virtualization Option」は、OracleVM上で動作するJavaVMの「JRockit Virtual Edition」と、Webアプリケーションサーバの「Oracle WebLogic Server」の2つで構成された製品。 名前の通り仮想環境に最適化されており、サーバ上に仮想
At Yahoo!, grids running Hadoop have attracted a wide range of applications from a diverse set of functional groups. The workload submitted by each group is distinguished not only from others in the cluster, but its profile also changes as users gain experience with Hadoop. Users tune their jobs to consume available resources; some may circumvent the assumptions and fairness control mechanisms of
June 10, 2009 Announcing the Yahoo! Distribution of Hadoop Today we're announcing the general availability of the Yahoo! Distribution of Hadoop, a source-only distribution of Apache Hadoop that we deploy here at Yahoo!. In my role as quality and release engineering manager for grid technologies at Yahoo!, including Hadoop, I'm really excited about what this release means for the larger Hadoop ecos
MySQLレプリケーションを安全に利用するための10のテクニック
MySQLのレプリケーションは非常に簡単に使える割には応用の幅が広いので非常に人気のある機能の一つである。レプリケーションの応用分野は例えば、 バックアップ 参照系の負荷分散 HA（高可用性） ディザスタリカバリ（サイト間レプリケーション） BI（レポーティングetc） という風にとても多くのバリエーションがある。このブログを読んで頂いている皆さんの中にもレプリケーションを使っている方は多いのではないだろうか。ご覧の通りMySQLのレプリケーション機能はミッションクリティカル分野でも利用されているが、レプリケーションの使い方が適切でないとシステムの安定稼働に支障を来してしまってDBAやシステム管理者の肉体的、精神的負担が増大してしまう。逆にレプリケーションを堅牢に運用することが出来ればマクラを高くして眠れるというものだ。レプリケーションはMySQLの代表的な機能であるので、レプリケーション
はじめに 【仕事における８０：２０の法則】個人・企業のパフォーマンスを最大限に高める方法 | [b] bizMode｜世界のデジタルトレンドを読む というブログの中で nanapiというレシピサイトがありますが、c/o時は全然機能がなく、レシピを探せませんでした。果たして、カットオーバー時点において、レシピ検索機能は備え付けておく必要があったのでしょうか？また、個人ページにも全く機能性はありませんでしたが、今はどうでしょう？十分パワーアップしています。 そこに、多くの問題が発生したでしょうか？していません。 少しの問題は発生していましたが、プロダクト価値を脅かすものではありません。 徹底的に８０％にこだわり、重要なポイントは、十分に抑えられていたと思います。 こんな記事で紹介してもらったので、ちょっと書いてみます。記事内では、最初は検索結果に対しての工数をさかずにあとで回した、というニュア
2006年だから、もう、二年前の話になりますか。 とある学会論文誌に「ぷよぷよ」についての論文が掲載され 話題になったのをあなたはご存知でしょうか？ 組合せ最適化問題としてのぷよぷよの連鎖数判定問題 電子情報通信学会論文誌 D Vol.J89-D No.3 pp.405-413 この論文では、 初期盤面B、ピースの列P、整列数kを入力とし B、Pに対してk連鎖を起こすことが可能かどうかという問題を 連鎖数判定問題として定義したとき、 「この問題はNP完全である」ということ証明しています。 はい、謎ですね。簡単な日本語に書き直すと いま「ぷよ」がこんな風に積んであります（初期盤面B） で、いまから、こんなぷよが落ちてきます（ピースの列P） さて、この組み合わせで５連鎖はできるかな？ yesかnoで答えてね。（k連鎖可能かどうかの判定） これは、すっごく時間がかかるけど、「しらみつぶし」に調
This document summarizes a keynote speech given by John Adams, an early Twitter engineer, about scaling Twitter operations from 2008-2009. Some key points: 1) Twitter saw exponential growth rates from 2008-2009, processing over 55 million tweets per day and 600 million searches per day. 2) Operations focused on improving performance, reducing errors and outages, and using metrics to identify weakn
今学期は毎週論文紹介するネタを探すのも疲れるので、適宜論文紹介を入れながら、 Data-Intensive Text Processing With MapReduce (Synthesis Lectures on Human Language Technologies) 作者: Jimmy Lin,Chris Dyer出版社/メーカー: Morgan and Claypool Publishers発売日: 2010/08/15メディア: ペーパーバック クリック: 67回この商品を含むブログ (6件) を見るをしばらく読もうかと思っている。ちなみに http://www.umiacs.umd.edu/~jimmylin/book.html から全文の PDF がダウンロードできるので、そちらを使用予定。印刷・製本してパラパラとめくっているが、テキスト的には割といい本だと思う。みんながこぞ
去年は旦那が参加したので、今年は私が参加してきました。 ですが、開始前から残念なお知らせ。 アイスランド火山噴火の影響による欧州航空便の欠航に伴い、 以下2名によるセッションを変更いたしました。 4/19（月） 16:00-16:50 Erich Gamma 氏 4/20（火） 14:30-15:20 Jim Webber 氏 残念すぎます＞＜ でも、参加者は200名弱はいた模様。女性は...平日のセッションの割には少なめだったかなぁー。 特に2日目は少なかった。1日目はFlex/Flashのセッションあったからか?! 会場の雰囲気としては、イマイチ盛り上がりに欠けてる感触。 盛り上げたいなら日本の有識者やコミュニティをもっと招待してみるとかしたらどうなんだろうか。 そうじゃないのであれば、twitterとかfacebookとかQConでしかきけないようなセッションをもっと時間をかけてやっ
The last few weeks have been a wild ride. Starting in January, I’ve been releasing a chapter at a time here on the RBP blog, and many of those chapters were pretty well commented on. Just for the sake of completeness, here’s a link back to each of those posts: Chapter 1: Driving Code Through Tests Chapter 2: Designing Beautiful APIS / Chapter 3: Mastering the Dynamic Toolkit Chapter 4: Text Proces
Cassandra is a NoSQL database designed for scalability and high availability without compromising performance. It distributes data across nodes and datacenters for redundancy and fault tolerance. Cassandra uses a decentralized architecture and dynamic replication to balance requests and allow incremental growth without reconfiguring the system. It provides tunable consistency options and supports
The MAGA Movement The American Way of Life is under attack while career politicians destroy our economy and sabotage our nation’s incredible potential. We will take our country back from the corrupt Washington establishment and return power to the American people, where it belongs. We will achieve a future of prosperity, security, and peace — creating once again the greatest economy in the history
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
