[B! Scala][Spark] kimutanskのブックマーク

kimutansk id:kimutansk

ScalaとSparkに関するkimutanskのブックマーク (8)

Scala: sbt+scalatestテストを並列実行する - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
kimutansk 2015/11/17
逆に、Sparkのテストを行う場合には明示的に並列実行をfalseにしておかないとSparkContextの兼ね合いで問題が発生する、と。

scala

sbt

spark
リンク
Apache SparkをScalaTestで動かしたい - CLOVER🍀
このところ、SparkをStandalone ModeやYARNで動かしていましたが、もうちょっと機能的な感覚をつかみたいと思いまして。で、毎度Spark Submitしてもいいのですが、テストコードで動かせないかなぁ、と…。調べた感じ、やれないこともなさそうな雰囲気…。 Testing Spark Streaming Applications http://eng.tapjoy.com/blog-list/testing-spark-streaming-applications https://spark-summit.org/2014/wp-content/uploads/2014/06/Testing-Spark-Best-Practices-Anupama-Shetty-Neil-Marshall.pdf ちょっと、やってみましょう！追記）ドキュメントをよーく見ると、ここに
kimutansk 2015/11/06
SparkContextに対して記述したコードの結果を確認することはできると。あとはどういう風に関数切れば実際のSparkApplicationをユニットテストできるかですね。

spark

test

scala
リンク
ビズリーチの新サービスをScalaで作ってみた〜マイクロサービスの裏側 #jissenscala
7. マイクロサービスとは？ • サービスによるコンポーネント化：ライブラリではなく別プロセスで動作するサービスによってアプリケーションのコンポーネント化を実現している。 • ビジネスケイパビリティに基づく組織化：役割ごとにチームが構成されるのではなく、複数の役割が混在したチームがひとつのサービスを構築する。（コンウェイの法則！） • プロジェクトではなくプロダクト：コンポーネントは期限のあるプロジェクトとして開発されるではなく、継続的なプロダクトとして提供される。 • スマートエンドポイント、ダムパイプ：サービス間のメッセージは、HTTP経由でAPI呼び出しされるか、RabbitMQやZeroMQといった軽量メッセージングシステムによる通信で交換される。 • 分散ガバナンス：サービスごとに言語やデータベースなどは統一されず、個別に適切なものが選択される。 • 分散データ管理：
kimutansk 2015/02/23
Spark、記述の仕方や設定一つで内部動作とパフォーマンスも変わる・・というのはやはり悩みどころですか。で、Scalaプログラマはこのいかにも先進的なプロジェクトでも不足しますか

scala

spark
リンク
https://databricks-training.s3.amazonaws.com/slides/advanced-spark-training.pdf
kimutansk 2015/02/03
各RDDはpartitions、dependencies、compute、partitioner(optional)、preferred locations(optional)という要素をもつと。この観点で見ると実際理解は深まりそうですね。

scala

spark
リンク
Apache Spark and the Typesafe Reactive Platform: A Match Made in Heaven | @lightbend
I started my first Hadoop-based, Big Data projects four years ago. As an experienced Enterprise and Internet developer with a love of Scala, it was frustrating to find that writing Hadoop jobs was hard to do in the tedious, low-level MapReduce API. The powerful, functional programming operations we know and love in Scala’s collections were absent. The object orientation of Java at the time (before
kimutansk 2014/07/23
SparkがHadoopとの共存のためにJVM言語、言語の性質からScalaを選び、ReactivePlatformの上で発展したという話。実際Scalaはこの手の基盤と親和性高いとは感じます。

Akka

Scala

Spark
リンク
Big Data Analytics with Scala
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
kimutansk 2013/11/02
StormからSpark、Hadoopまで、Scalaで使えるラムダアーキテクチャ関連の要素の概要が触れられたスライド・・という感じでしょうか

scala

Storm

Spark
リンク
Building Apache Spark with Scala 2.10
kimutansk 2013/09/10
Apache Spark、きちんとScala新バージョン向けのツリーもあるんですね。ふむむ。

spark

scala
リンク
Charming Python: Functional programming in Python, Part 3
IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant techno logies such as generative AI, data science, AI, and open source.
kimutansk 2013/08/28
メモリ上に極力乗せて繰り返しアクセス可能なデータセットを使いまわすわけですか。Hadoop MapReduceとInfinispan MapReduceの中間＋RDDという特色が加わったようなノリですかね

spark

scala

bigdata
リンク
1