本日CDH5.1 （他）がリリースされました。 日本語のリリースノートが後ほど更新されると思うので、気になるところだけピックアップしてみます。 Hadoop HFDS Extend ACL Support YARN YARN+Impala GA (Llama) HBase 0.98.1にリベース WALの書き込みパフォーマンスの改善 リバーススキャン（！） MapReduce over snapshot! Spark Spark 1.0にリベース(!) History Server セキュリティの改善 Sentry 1.3にリベース beelineからGRANT/REVOKEステートメントに対応 Impala 1.4.0にリベース HDFS Cachingとの統合 YARNとの統合 ORDER BYでLIMITが不要に
本日公開されたCDH5.1に含まれたHueの最新バージョン Hue 3.6では、検索(Apache Solr)のダッシュボードが劇的に進化しています！ ドラッグ＆ドロップで簡単に配置 棒グラフ、円グラフを簡単に表示 地図へのデータのマッピングも可能 などなど 他にも多くの進化がありますが、その中でもこの機能はかなりCoolだと思います。 詳細はHueのブログ、http://gethue.com/hadoop-search-dynamic-search-dashboards-with-solr-2/?lang=jaをどうぞ ちなみに日本語でのスクリーンショットはこんな感じ。（レイアウトは自由にカスタマイズ可）
＊＊この記事の内容は若干古くなっています。まとめページもご覧下さい＊＊ 本日、CDH5 / Cloudera Manager 5に対応した仮想マシンイメージが公開されました。 今まで「Hadoopを10分で試す」シリーズとしてバージョンアップを繰り返してきましたが、ようやく最初から最新バージョン(CDH5)を試せるようになりました。 とはいえ、先日、クラウド上でHadoopを使ってみることができる demo.gethue.com というサイトが公開されています。 ライブデモサイト このサイトは、Hadoopのエコシステムの一つであるHueを使用して、ブラウザからHadoopを操作することができるサイトです。ImpalaやHive、Searchなどがブラウザから利用できるので、ちょっと触ってみたい／使ってみたいだけなら便利そうです。もう少しチュートリアルが充実すると良いのですが、ダミーデータ
#cwt2013 Clouderaの水丸 @kmizumar によるCDH5の紹介スライドを公開しました。HBaseの障害復旧の高速化、HDFSのNFSサポートなどを紹介していますRead less
We are thrilled to announce the general availability of the Cloudera AI Inference service, powered by NVIDIA NIM microservices, part of the NVIDIA AI Enterprise platform, to accelerate generative AI deployments for enterprises. This service supports a range of optimized AI models, enabling seamless and scalable AI inference. Background The generative AI landscape is evolving […] Read blog post
タイトルの件、SBTでのビルド＆実行にハマって頭痛が痛くなったので一旦保留にしていた矢先に、以下記事が公開されたのでトライしてみた。今回はMavenでビルドしてみるパターン。 How-to: Run a Simple Apache Spark App in CDH 5 Sparkでワードカウントしてみる SBTの時ほどハマらなかったが、それでも少しはハマったので記録しておく。環境はAWS上のCentOS 6.5で、CDH5の疑似分散モード。 Mavenが入ってなかったらインストール。 $ wget http://ftp.kddilabs.jp/infosystems/apache/maven/maven-3/3.2.1/binaries/apache-maven-3.2.1-bin.tar.gz $ tar xvzf apache-maven-3.2.1-bin.tar.gz #抜けていた
CDH5 beta2とClodueraManager5をCentOS6にセットアップしてみたのでメモやら雑感。 ClodueraManager5のパッケージリポジトリ http://archive.cloudera.com/cm5/ yumで使うなら以下。 # curl http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo > /etc/yum.repos.d/cm5.repo ClouderaManager5のインストール CM4と手順は一緒っぽい。cloudera-manager-serverが本体、組み込みのDB(postgresql)を使うならcloudera-manager-server-db-2を使えば簡単 。ちょっとパッケージ名が変わったのかな。 クラスタのセットアップ CM4の時と手
本日Clouderaのブログで、「How-to: Run a Simple Apache Spark App in CDH 5」という記事が公開されました。一言で言えば、Apache SparkでWordCountを実行するというものです。 英語の記事でもそれほどハマるところはないと思いますが、手元にCDH5の環境があるので試してみました。 Sparkサービスを追加 Sparkは設定していなかったので、Cloudera Manager 5を使ってSparkサービスを追加します。（Cloudera Managerに慣れると、手作業での設定に戻れなくなる、、、） まずは「サービスを追加」を選びます。続いてSparkを選択します。 依存関係でZookeeperがインストールされます。 この画面はわかりにくいですが、Masterをhadoop12号機、Workerを11,13,14,15号機に指定
2. 自己紹介 嶋内 翔(しまうち しょう) • 2011年4月にClouderaの最初の日本人社員として入 社 • テクニカルサポート業務をメインに、日本における技 術に関係する業務全般を担当 • 翻訳のレビューなど ちょっと手伝いました 2 3. Cloudera Impala の⽇日本語フリーブック • • • オライリーの「インパラ本」、日本語PDF版が無償公開される予定です！ Cloudera の John Russell 著 Hadoop、HBase、Hadoopオペレーション、 プログラミングHiveなどを翻訳された 玉川竜司さんが翻訳！ 「これまでClouderaの皆 さんにご尽力いただいた 翻訳レビューへの感謝の 気持ちとして、Cloudera World Tokyo開催のお祝 いに翻訳寄贈します！」 3
先日リリースされたばかりのCDH5 beta1 (Hadoop2.2)を、Ansibleを使ってセットアップしてみた。 当初 「Vagrant + AnsibleでCDH5をプロビジョニングしちゃおうかな！？」と妄想したのだが、AWSのm1.largeを使うので失敗してやり直したときの経済的打撃が大きいのと、ストライクゾーンが狭すぎて参考にする人まずいないよね…と現実に引き戻され、やめました。 Ansibleでさえ認知度低いので参考にする人がいるかは相当疑問なのだが、ただ構築するだけじゃつまらないので意地でもAnsible使うもんね、みたいなノリである。未来だけを見つめていたいので。Ansibleを使わない場合は、playbookに記載の処理内容をそのままコマンドに当てはめてもらえばいいかと。 実行環境として、以下2台のマシンを利用。OSはCentOS 6.4。 Ansible：AWS t
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
