[B! RDD] kimutanskのブックマーク

kimutansk id:kimutansk

RDDに関するkimutanskのブックマーク (5)

GitHub - databricks/spark-knowledgebase: Spark Knowledge Base
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
kimutansk 2015/02/27
Spark全般のTips集。Slideとかでなくリポジトリとしてある分、適度に確認が必要ですかねぇ。

spark

RDD

performance
リンク
Introducing DataFrames in Spark for Large Scale Data Science
4. From MapReduce to Spark public static class WordCountMapClass extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { String line = value.toString(); St
kimutansk 2015/02/27
内部的にRDDでのLogicalPlanを動的にCatalystで最適化して実行する存在がDataFrames、ということでしょうか・・

spark

RDD
リンク
Tuning and Debugging in Apache Spark
This talk gives details about Spark internals and an explanation of the runtime behavior of a Spark application. It explains how high level user programs are compiled into physical execution plans in Spark. It then reviews common performance bottlenecks encountered by Spark users, along with tips for diagnosing performance probl ems in a production application.Read less
kimutansk 2015/02/25
#apachespark AggregateByKeyを自前関数の代わりに使用、早い段階でFilter、パーティション数を適切に減らしてTaskを削減、シリアライザはKryo、Storage Level設定、Executerメモリサイズ、などなど

spark

RDD

performance
リンク
Apache Spark DataFrames for Large Scale Data Science
Unified governance for all data, analytics and AI assets
kimutansk 2015/02/23
RDDのAPIを通してDataFramesという新しい概念の操作が可能になりますか。確かにスニペットで書かれたようにデータの変換ができれば非常に扱いやすいですが・・

spark

RDD
リンク
2014 11-20 Machine Learning with Apache Spark 勉強会資料
2. 自己紹介 • 所属 – 株式会社リクルートテクノロジーズ – アドバンスドテクノロジーラボ • 現在の業務 – Apache Spark の機械学習ライブラリMLlib へのコントリビュート • バックグラウンド – 某SNS サービスの大規模データ分析基盤構築，サービスのデータマイニング，社内コンサルティングなど 2 3. Apache Spark コミュニティと協力して取り組んでいること • Distributed Divisive Hierarchical Clustering • Distance Functions (Breeze) • kNN • Bootstrapping (Bag of Little Bootstraps) • Canopy K-mean • Bregman Divergence on K-means 3
kimutansk 2015/02/12
RDDのパーティション数≒利用可能なCPUコア数については、パーティション細かくするのと、Executorのコア利用数増やすのと、どちらがいいんでしょうね。

Spark

RDD
リンク
1