ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、R&D統括本部の吉田です。 前回と前々回の記事では、Hadoopのカスタマイズポイントを解説しました。 単純な問題に対しては、map関数とreduce関数の組み合わせだけでも、処理を行うことができますが、ある程度複雑な問題に対しては、今までに解説したカスタマイズポイントの活用が重要になるという話でした。 今回は実際のサービスの事例を紹介し、カスタマイズポイントがどう活用されているか紹介したいと思います。 ABYSS ABYSSの事例を紹介しましょう。 ABYSSとは、検索サービスを簡単に構築できる社内プラットフォームのことで、詳しくは以下のTechBlog記事で紹介しています。先日無事に社内リリースされました。 新検索
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、 前回のHadoopの記事 に引き続き、MapReduceのカスタマイズポイントを解説していきます。 前回の記事の図や、表などを参照しながら読み進めていただければと思います。 MapperやReducerの流れの制御 Mapperの実行の流れは、デフォルトでは、初期化処理を行った後、map関数を繰り返し実行し、終了処理を行うようになっていますが、この流れ自体を制御することができます。 古いAPIでは、MapRunnerを通じてこの流れを制御できますが、0.20.0からの新しいAPIでは単純にMapperクラスのrun関数をオーバーライドすることで、行えます。 デフォルトのrun関数は以下の通りです。 public vo
まず、 1 の入力ファイルを分割する方法は、InputFormatクラスの、getSplits関数を上書きすることで、カスタマイズできます。 また、 3 のInputSplitから、KeyとValueを抽出する処理も、InputFormatクラスを通じてカスタマイズできます。 InputFormatのgetRecordReader関数を通じて、RecordReaderクラスを生成するのですが、これに任意のRecordReaderクラスを指定すればOKです。 2 のMap処理ですが、ユーザが指定したMapperクラスの処理を実行します。 Mapperクラスは、MapRunnerクラスを通じて、初期化処理、map関数を繰り返す過程、終了処理といった一連の流れを実行します。 MapRunnerクラスをカスタマイズすれば、こうした流れを制御することができます。 0.20.0からの新しいMapRed
DAHONのBoardwalkを修理しようとしておもいっきり壊してしまいました。agoです。 普段はjQueryをメインで使用しているのですが、使っていていくつか注意すべき点があったのでまとめてみました。 (一部jQueryではなく、DOMの仕様上の制限も含まれています) 1 $().filterにstring以外のものを渡すとエラー 1.4系では修正されていました $().findや$().notは大丈夫ですが、$().filterの場合引数にjQuery objectや配列、html elementなどを渡すとエラーになります。 (たとえばjQuery objectを渡した場合、Firefoxでは「TypeError: t.substring is not a function」というエラーが発生します) 確認する ちなみに、$().findや$().notはstring以外も渡せるた
jQueryのセレクタで、属性の指定方法はこう。 [attribute] 指定された属性を持つ要素を選択する。 [attribute=value] 属性が指定された値を持つ要素を選択する。 [attribute!=value] 属性が指定された値を持たない要素を選択する。 [attribute^=value] 属性値が指定された文字列から始まる要素を選択する。 [attribute$=value] 属性値が指定された文字列で終わる要素を選択する。 [attribute*=value] 属性値が指定された文字列を含む要素を選択する。 [selector1][selector2]...[selectorN] 複数の属性フィルタを指定し、全てを満たす要素を選択する。 ちょっと古い情報にあたってしまうと、こんなふうに書いてあることがあり、残念なことになる場合があります(jQuery1.2以前の情報
一年ちょっと前、今のドメイン取ったときって、どんな気分でブログかいてたのかなぁってふと思った。 ほぼ間違いないのは、今とは全然違うってこと。 気分を言葉にするって難しいし、なんとなくやってた、って言えばそれまでなんだけど、なんか当時の自分の気持ちを当時の自分に聞いてみたいなー、なんてことを思ったりした。 —– しかし一年ちょいで世界変わりすぎだこれ 日刊ごりゅご306 – 日刊ごりゅご シゴタノ!でも連載されている五藤さんのポステラスからの引用なのですが、「世界変わりすぎだ」といわれてもなかなかピンと来ないかもしれません。 しかしありきたりですがほぼ確実なことがあります。自分の人生に不満があってそれを変えようと思うなら、アウトプットする(文章を書かずともよいのです)ことが今はいちばん近道なのです。五藤さんはそれをおやりになったのです。 結局私達というのは、自分のことにしか興味がありません。
日本トンデモ本大賞──。 本紙の愛読者であればご存知であろう、と学会が主催するトンデモ本の祭典です。 私も個人として既に3回ほど行ったことがあり、今年も行くつもりでしたが、今回こうして記事を書こうと思ったのは、本紙が幾度となく取り上げてきた、幸福の科学主宰、大川隆法氏の著作『宇宙人との対話』がノミネート作に選ばれたからです。 日本トンデモ本大賞も今年で20周年。ここ20年間、大川隆法氏は多数の著書を出してきましたが、彼の著書が日本トンデモ本大賞を受賞したことはまだありませんでした。 知名度や社会への影響力、霊言に取り上げられた人物の多様性などを考えれば、とっくに受賞していてもおかしくはないのに……。政権交代の瞬間を幸福実現党本部で過ごし、幸福実現党立党一周年記念大会を取材し、その「濃さ」に圧倒されていた私としては、何故、大川隆法氏がトンデモ本大賞受賞の栄誉に輝けないのか、不思議でならなかっ
Evernote(失笑)とか使っちゃってる人って、何かに操作されて「使わされてる」感じ…見ててカワイソウ Tweet 1: 忍法帖【Lv=15,xxxPT】 【東電 75.3 %】 (東京都):2011/06/22(水) 23:58:35.08 ID:WO26NhW00● EvernoteとDropboxのセキュリティを考察する 中上級のPCユーザーに取っては、すでに欠かせないツールとなっているのがEvernoteとDropboxである。 ウェブクリップからMicrosoft Officeファイル、PDFファイルまでタグをつけて管理できる利便性は一度使ったら手放せないほどだ。 かつては、Google Docksがオフィスソフトのウェブサービス化という形で嚆矢となり、その後、Microsoftや中小ベンダーが類似サービスを提供してきたが、Evernoteの登場で状況は一転し、機能の低いオンラ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く