2015.12.22 スケールアウト可能なSQLエンジンのベンチマークテスト：Presto vs Spark SQL vs Hive on Tez １、初めに 次世代システム研究室のL.G.Wです。最近リリースした関連記事推薦システム：TAXEL byGMOに携わっております。 このシステムは多様なデータソースからの集計・解析・ETLが重要になるので、性能とビジネス要件を満たすSQLエンジンを選定するため、主要なSQLエンジンのベンチマークテストを実施しました。 “Small Start, Scale Fast” – 最初のハードウェアコストをなるべく低く抑え、ビジネスが拡大したらシステムも拡張できることが前提です。主にバッチ処理用途で、ある程度のリアルタイム性も要求されます（数分間～1時間内）。データの規模は数十GBから数TBくらいの想定です。 主要なSQLエンジンとして、スケーラビリテ
I've received a lot of interest in Neo4j Mazerunner since first announcing it a few months ago. People from around the world have reached out to me and are excited about the possibilities of using Apache Spark and Neo4j together. From authors who are writing new books about big data to PhD researchers who need it to solve the world's most challenging problems. I'm glad to see such a wide range of
ロゴステッカーの作成計画も進行中です。近々イベント会場でお配りできるかも知れません。 チュートリアルおよび次回勉強会のお知らせ この度PyData.Tokyo初の試みとして、初心者向けのチュートリアルを3月7日（土曜日）に行います。また、次回勉強会はデータ解析に関する「高速化」をテーマにし、4月3日（金曜日）に開催します。詳細は記事の最後をご覧下さい。 Sparkによる分散処理入門 PyData.Tokyo オーガナイザーのシバタアキラ（@madyagi）です。 ビッグデータを処理するための基盤としてHadoopは既にデファクトスタンダードになりつつあります。一方で、データ処理に対するさらなる高速化と安定化に向けて、新しい技術が日々生まれており、様々な技術が競争し、淘汰されています。そんな中、Apache Spark（以下Spark）は、新しい分析基盤として昨年あたりから急激にユーザーを増
はじめに Spark, SQL on Hadoop etc. Advent Calendar 2014 15日目です。 3日目の記事でもSpark Streamingは紹介されていましたが、私のほうではより初心者向けの基本的な内容を記述しておきたいと思います。 Spark Streamingとは リアルタイムログ検索エンジンを考えてみる 実装してみる Spark Streamingとは Apache Sparkはインメモリで動作する柔軟なバッチエンジンです。 Spark Streamingはストリームで流れてくるデータに対してApache Sparkで書いたバッチが動作するものです。 誤解を恐れずにいうとSpark Streamingは主に以下の3つの機能を提供しています。 各種ストリームデータを取得するためのコネクタ(Receiver)を提供する ストリームデータをSparkのRDDのよ
バッチを高速にした後はリアルタイムの世界へ！ 現在、さまざまな業種の企業でビッグデータ分析の取り組みが行われている。ビッグデータへの最初の取っ掛かりは、既存のバッチ処理の高速化や、大量の業務データを用いた分析レポートの作成という企業が多いことだろう。そして、バッチ処理の高速化が一段落した次のステップとして、「リアルタイム処理」をテーマに掲げる企業も多いかと思われる。具体的には、 直近10秒間のトラフィックを集計したい。 直近10分間で自社商品がTwitterで話題になった回数を知りたい。 直近10時間での全店舗での来客数を集計したい。 といったリアルタイムなモニタリングを実現したくなるのではないだろうか？こういったモニタリング用の集計は、技術的には「ウインドウ集計（Time-Window Operation）」と呼ばれる。そこで本コラムでは、近頃、「ポストHadoop」として話題のApac
この記事は、CyberAgent エンジニア Advent Calendar 2014 の18日目の記事です。 本日12/18は@sitotkfmが担当いたします。 昨日は@yuichiro.nakazawa1さんの「ログ解析にNorikraを使ってみた」でした。 明日は@strskさんです。 さて、唐突な上に私事で大変恐縮ですが最近秋葉原オフィスの近くに引っ越しました。 場所は秋葉原の少し西なので通勤途中に両国を通過します。 相撲といえば今年大記録が生まれました。 「巨人、大鵬、卵焼き」の中央に座する歴史的横綱大鵬と並ぶ32度目の優勝！ そんな大横綱白鵬のブログが読めるのは アメブロだけ！ （PCでみると、、、すごく、、、黒いです、、、） さてCyberAgentのAdvent Calendarとしての義理を果たしたところで本題です。 私は秋葉原ラボに勤務しており、主にログの集積・解析シ
Job Scheduling Overview Scheduling Across Applications Dynamic Resource Allocation Caveats Configuration and Setup Resource Allocation Policy Request Policy Remove Policy Graceful Decommission of Executors Scheduling Within an Application Fair Scheduler Pools Default Behavior of Pools Configuring Pool Properties Scheduling using JDBC Connections Concurrent Jobs in PySpark Overview Spark has severa
Submitting Applications The spark-submit script in Spark’s bin directory is used to launch applications on a cluster. It can use all of Spark’s supported cluster managers through a uniform interface so you don’t have to configure your application especially for each one. Bundling Your Application’s Dependencies If your code depends on other projects, you will need to package them alongside your ap
Spark Streaming has been getting some attention lately as a real-time data processing tool, often mentioned alongside Apache Storm. If you ask me, no real-time data processing tool is complete without Kafka integration (smile), hence I added an example Spark Streaming application to kafka-storm-starter that demonstrates how to read from Kafka and write to Kafka, using Avro as the data format and T
Apache Sparkは、HDFS、Cassandra、HBase、S3など、様々なデータソースを元に分析を実行することができます。 CassandraのデータをApache Sparkで分析したい 以前、Cassandraについてブログを書きました。Cassandra Java Driverを使って、Cassandraからデータを取得し、Javaで分析することができます。 Cassandra Java Driverで、JavaからCassandraを操作する。 しかし、データ量が多くなると、処理に時間がかかるのが悩みです。 「Apache Mesosで構築したクラスタ上で、Apache Sparkの分散処理を実行する。」で、Apache Sparkによって分析処理が高速化できることが確認できましたので、これをCassandraのデータでも利用したくなります。 Spark Cassand
For the inaugural episode of Women Leaders in Technology on The AI Forecast, we welcomed Kari Briski – Vice President AI Software Product Management at NVIDIA. Kari shared the stories and strategies that inform her leadership style (like GSD or “getting stuff done”), what it means to trust your instinct, and the advice she gives to young women embarking on a career in technology and to women furth
Flexible Data Architecture with Spark, Cassandra, and Impala September 30th, 2014 Overview An important aspect of a modern data architecture is the ability to use multiple execution frameworks over the same data. By using open data formats and storage engines, we gain the flexibility to use the right tool for the job, and position ourselves to exploit new technologies as they emerge. This article
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
