Welcome to Startups Weekly — Haje’s weekly recap of everything you can’t miss from the world of startups. Anna will be covering for him this week. Sign up here to…
hadoopに関するtarchanのブックマーク (56)
-
tarchan 2016/03/28
-
IBM、「Spark as a Service」を発表。Apache Sparkへのコミットで3500人の研究者やエンジニアを投入
IBM、「Spark as a Service」を発表。Apache Sparkへのコミットで3500人の研究者やエンジニアを投入 米IBMはオープンソースの大規模分散処理基盤「Apache Spark」への本格的なコミットメントを数日前に発表し、3500人の研究者やエンジニアを投入すると宣言しました。 同社が合わせて発表したのが、Apache Sparkをクラウド上でサービスとして提供する「Spark as a Service」です。現在はまだサインナップしてもログインできず、最新情報のメールが届くようになっています。 Apache Sparkは、これまでHadoopが切り開いてきた大規模分散処理プラットフォームをさらに技術的に推し進めたものと言えます。 Hadoopは大量のデータをバッチ処理する非常に高い能力を備えていましたが、Apache Sparkではインメモリ処理などによってさら
-
ビッグデータツールHadoopが更にパワフルに、そして難しいものに | readwrite.jp
昨今ではHadoopが厳密にどういったものか、もしくはどんなものではないのかをピンポイントで説明するのが難しくなってきている。 数年前、Hadoopは基本的にマップリデュース、つまりバッチ形式で大容量のデータを処理するシステムであり、この事で人々はHadoopとビッグデータ、そして「ただひたすらに多い」というだけの意味のビッグデータをごっちゃに捉えてしまった。かつての市場にあった混乱は、今日では更にひどくなっている。なぜならHadoopは2年前なら不可能だとされていたあらゆる機能を備えているからだ。 この事はHadoopプラットフォームにおいて喜ばしいことだが、ユーザーにとって使うのが難しい物にもなってきている。 Hadoop：安息までにはまだまだ遠いHadoopは2007年頃に現れたが、現在でもその普及は限られたものになっている。その利用については幅広い興味を集めているものの、ガートナー
-
Asakusa Framework 勉強会 2014秋の感想 - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 2014/10/17『Asakusa Framework 勉強会 2014秋』に行ってきました。 今回の会場はサイトロックさん。 サイトロックさんはシステム運用をやっている会社で、噂には聞いていましたが、行ったのは初めてでした。食堂とかおしゃれな感じですね(笑) 最初は恒例の土佐さんの『Asakusa fwはじめの一歩 0.7.0』。 拙作DMDL EditorXですが、いくつか使用できない箇所があったようで＞＜ 属性追加ウィザードの障害（issue42）は、自分の環境では再現しないんですよねぇ。 たぶんXtext内部の情報に不整合があるのだと思います。プロジェクトのクリーンをしたりdmdlファイルを保存し直したりすると直るかも？ フローのテストクラスの作成の障害（iss
-
バッチの未来、どうするHadoop - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 ITproの『DBの未来、どうするHadoop』のタイトルに釣られてみたｗ （以下長々書いたけど、結局言いたいことは、DBとHadoopは関係無いってことと、タイトルについて何か勘違いしたっぽいということだけだった＾＾；） 僕の意見では、Hadoopはバッチ処理を分散して実行する基盤である。データを溜めるのは副次的な効果に過ぎない。（暴論ｗ） もちろん、そもそも分散処理を行う必要があるのは処理対象データが大量だからなので、データの溜め方も必須ポイントだし、Hadoopが分散処理する原理も密接に結びついているのだが。 あらかじめ断っておくと、自分は非構造化データとか分析とか機械学習には興味が無い。 自分がHadoopに興味を持ったのは、自分が担当していた“RDBを対象にした
-
MapReduceは「ゆっくり死んでいく」、Hadoop開発者のカッティング氏
オープンソースソフトウエア（OSS）の分散データ処理ソフト「Hadoop」が、大きな変貌を遂げ始めている。バッチ処理だけでなく、SQLクエリーを使ったインタラクティブ分析やインメモリー処理、機械学習処理などへと適用領域を広げているからだ。Hadoopのオリジナル開発者であるダグ・カッティング氏は、「新しい時代が始まった」と語る。 現在のHadoopの状況をどのように見ているか？ 同じような機能を備えたコンポーネントが複数提案されるなど重複はあるが、技術開発は非常に高速に進んでいる。（米Apacheソフトウエア財団が2013年10月に正式版をリリースした）スケジューラーの「YARN」によって、（Hadoopのストレージシステムである）「HDFS」の上に、様々なテクノロジーを共存できるようになったことが大きい。私が特に驚いているのは、（DAG：Directed Acyclic Graph＝有向
-
Asakusa Framework 勉強会 2014夏に行ってきました - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 2014/7/11『Asakusa Framework 勉強会 2014夏』に行ってきました。→Togetter アンケートによると参加者はAsakusaFW経験者4割（Hadoop経験者は6割）という感じで、まだまだAsakusaFW初心者の人が参加して下さっているようで、嬉しいことです。 最初は恒例、土佐さんの『Asakusa Framework はじめの一歩（ver 0.6.2）』。現時点のAsakusaFWの最新版である0.6.2に合わせたものですね。 前回はライブコーディングによるAsakusaアプリケーションの作成手順の紹介でしたが、今回はスライドによる紙芝居でした。手順を再現していると結構時間ぎりぎりになってしまい、ライブコーディングだと突発的なトラブルがあ
-
Hadoop Conference Japan 2014の感想（総括編） - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 Hadoop Conference Japan 2014（HCJ）で自分が聞いた講演の個々の感想はブログに書きましたが、それとは別に全体として思ったことがあるので書いておきたいと思います。 簡単に言うと、「最近のHadoopの利用事例はどうなっているんだろう？」 もう少しくだけて言うと「皆はHadoopをどう使おうとしているんだろう？」ということです。 今回のHCJの各講演の題目を見る限り、YARN・SQL・Sparkの話題が多かったと思う。 Hadoopの主要な仕組み自体は今後YARNになっていく感じなので、YARNの話が出てくるのは分かる。 しかし、SQL関連がこんなに活発なのが個人的には驚き。 SQLは対話型ツールで使うのにはとても向いていると思う。 一度の操作では
-
-
Windows Azure上のHadoopサービス「HDInsight」が正式公開。Excelからも利用可能
Windows Azure上のHadoopサービス「HDInsight」が正式公開。Excelからも利用可能 3月からパブリックプレビューが続いていた、Windows AzureのクラウドでHadoopクラスタが利用可能なサービス「Windows Azure HD Insight」が正式公開されました。 HDInsightは、Hadoopの有力なディストリビューションベンダの1つであるHortonworkの「HDP for Windows」をWindows Azureで展開したサービス。Hive、Pig、Sqoop、Oozieなどの機能も含まれています。 通常のMapReduceアプリケーションを利用してHDInsightを使うだけでなく、ExcelとHDInsightを接続して利用することも可能。「Hive ODBC Driver for HDInsight」を用いてODBCドライバ経由
-
-
Apache Hadoop 2.1.0-beta・Windows - ひしだまの変更履歴
Apache Hadoop 2.1.0-betaがWindowsに対応したらしいので、インストールしてみた。 ちょっと前からHortonworksがHDP（Hortonworks Data Platform 1.1 for Windows）でWindows用Hadoopを出しているが、対象がWindows Serverだったり、スタンドアローンモードのインストール手順が無さそうだったりするので、開発環境としては（公式には）使えない感じだった。 で、Windows用のバッチファイル類だけApache Hadoopに入れてくれないかな～と思っていたんだけど、今回の2.1.0-betaはそういうようにしてくれた気がする。 hadoop.cmdとか、部分的に異なるけど、大部分は同じだし。 で、2.1.0-betaだけど、インストール作業はダウンロードしてきたアーカイブを解凍するだけですぐ済んだんで
-
Treasure Dataのサービスはクラウド上でどう構築されているのか（前編）～July Tech Festa 2013
Treasure Dataのサービスはクラウド上でどう構築されているのか（前編）～July Tech Festa 2013 Treasure Dataといえば、日本人がシリコンバレーで創業したベンチャーとして知られている企業。そのシニアソフトウェアエンジニア中川真宏氏が、7月14日に行われたJuly Tech Festa 2013の基調講演で、同社がクラウド上で構築したサービスについてそのアーキテクチャを中心に解説を行っています。 注目されているクラウドサービスがどのような仕組みになっており、それはどのような考え方で作られているのか。クラウドでシステム構築を考えている多くのエンジニアの参考になるはずです。講演の内容をダイジェストで紹介します。 Treasure Dataのクラウド戦略 Treasure Data, Inc。シニアソフトウェアエンジニア 中川真宏氏。 スタートアップなこともあ
-
HadoopサミットでとあるノベルティTシャツのデザインが問題に
海外のテック系イベントやカンファレンスでのセクハラ問題というのは、似たような話が繰り返し出てきますね。 # 誰も何も気付かないとか、気付いていても無視するとかに比べれば、セクハラの指摘が起こるだけまだましなのかもしれませ […] 海外のテック系イベントやカンファレンスでのセクハラ問題というのは、似たような話が繰り返し出てきますね。 # 誰も何も気付かないとか、気付いていても無視するとかに比べれば、セクハラの指摘が起こるだけまだましなのかもしれませんが。 昨日今日とサンノゼで開催中のHadoopサミットでHadoopコンサルティングのWANdisco社がノベルティとして配ったTシャツ 「こいつはダウンしたことがない」 「あなたのHadoopを常に立ち上がりっぱなしに」 が問題視され、CEOはツイッターでこのTシャツの配布中止を報告しました。 Hadoopコミュニティでは、以前にDatamee
-
「オンプレミス・システムの終わり」の始まり〜AWSでのミッションクリティカルシステムの稼働 - 急がば回れ、選ぶなら近道
個人的には割と大変だったので、その辺をまとめておきます。 ニュースリリースはこちら。 http://www.nautilus-technologies.com/topics/20130409.html 要するに本部系バックエンド基幹システムの「一式」のクラウド移行です。完全なミッションクリティカルシステムで、止まった段階で業務に確実に影響が出ます。 システムの機能概要 1.売上の確定処理と債権管理 POSデータの直結です。売上確定処理を行います。同時に債権管理も行い、F/Bからの入金データをそのままつなぎ込み、入金処理・債権の消し込み処理を実行します。マッチングは自動処理できるものは処理を行い、ヒューリスティックなものはユーザー判断に従います。 2.仕入・費用の計上と確定処理、および支払いデータの作成 費用・在庫の計上確定処理です。当時に支払データの確定処理を行います。EDI（BMS）との
-
-
-
日本を代表するビッグデータ技術者集団が米国で起業、米トレジャーデータがDWHクラウド開始
写真2●トレジャーデータのメンバー。CEOは米レッドハットなどで勤務した芳川裕誠氏。CTOの太田一樹氏はプリファードインフラストラクチャーの前CTO。楽天で分散キー・バリュー・ストアのROMAを開発した西澤無我氏、OSSのログ収集ツールFluentdやメッセージングミドルウエアMessagePackを開発した古橋貞之氏、MongoDB JPの設立メンバー井上敬浩氏などが参加している 米トレジャーデータは2012年9月27日（米国時間）、データウエアハウス（DWH）のクラウドサービスである「Treasure Data Cloud Data Warehouse（DWH） Service」を開始したと発表した。「Hadoop」をベースにしたDWHだが、Hadoop独自の「MapReduce」ではなく、SQLのクエリーや「JDBC」「ODBC」などを使って蓄積したデータを活用できることが特徴。米国
-
Hadoop Conference Japan 2013で話したことと思ったこと - 急がば回れ、選ぶなら近道
Hadoop Conference Japan 2013 http://hcj2013w.eventbrite.com/ 先週終了。かなりの盛況で終わった感じです。まずは開催をサポートして頂き、相当の負担まで頂いたリクルート・テクノロジー様に感謝申し上げます。どうもありがとうございました。 さて、えっと、前回がそもそもいつだったのか、良く覚えてないわけで。2011 Fallだったような。 http://hadoop-conference-japan-2011-fall.eventbrite.com/ 2011年の9月なので、1年4ヶ月ぶりという感じですね。Track数が増えて2から3で、会場もベルサールからビッグサイトになっていました。人数も1000人超になっております。 以下、感想文です。記録としておいておく感じで。 ・内容で印象に残ったもの ・HBase~LINEのバックボーンで使って
-
Hadoopはビッグデータの汎用プラットフォームであり、行く先はグーグルが示している
Hadoopはビッグデータ処理の汎用プラットフォームであり、SQLやジョインやトランザクションなどが使えるようになる。Hadoopの生みの親であるダグ・カッティング氏は、都内で開催された日本Hadoopユーザー会主催のイベント「Hadoop Conference Japan 2013 Winter」にビデオメッセージで参加。Hadoopの現在、そして将来像について語りました。 カッティング氏が語ったHadoopの将来とはどんなものなのか。ポイントを紹介しましょう。 バッチ処理を超え続くApache Hadoopの進化 Apache Software FoundationのChairmanでありClouderaのChief Architect、Doug Cutting氏。 今日はみなさんと一緒に参加したかったのですが残念ながらかなわず、このビデオをお送りすることになりました。 MapRedu
公式Twitter
- @HatenaBookmark
リリース、障害情報などのサービスのお知らせ
- @hatebu
最新の人気エントリーの配信
キーボードショートカット一覧
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Copyright © 2005-2024 Hatena. All Rights Reserved.
設定を変更しました