With Tableau 8, users gained the ability to color marks by multiple dimensions on a single axis with some automatic combined field magic. What happens though, when you want color by a dimension and a measure? In the past, I have separated out members of a dimension and allowed the specific measure I needed with a calculated field: Western Region Sales = IF [Region] = ‘West’ THEN [Sales] END This d
今更ではあるが今後AtCoderの問題を解く上で使ったライブラリとか手法とかを ここにまとめていこうと思う。python限定。 入出力 基本 i = input() x,y = map(int,raw_input().split()) 応用 複数行を一気に読んで、入出力のオーバーヘッドを無くせる。 （行数が多い時、稀にこれをしないとTLEになる。） lines = sys.stdin.readlines() 因みにローカルで実行するときは<ctrl-d>とかでEOFを検知させる必要が有る。 ローカルでの実行 クリップボードにテストデータ（テキスト）コピーしたあと、 以下で簡単に実行できる。 pbpaste| python test.py 問題が難しくて、テストデータを何回も使いそうだと思った場合は、 ファイルに書き出しておく。 pbpaste > dataset1 pbpaste > da
It’s always tough to pick my favorite visualization projects. I mean, it’s a challenge to pick and rank your favorite anything really. So much depends on what you feel like at the time, and there’s a lot of good work out there. Nevertheless, I gave it a go. These are my favorites for the year, roughly in order of favorite on down and based on use of data, design, and being useful. Mostly though, m
Hadoop本2版を買ったその一週間後にDeals of the day で半額セールやられて死にたくなったので腹いせに書く はじめに ここに書いてあるのは全部参考リンク・文献からひっぱってきただけで、ほとんど全部検証してない。間違いがあればなるべく早めに更新するよう努力はするが、鵜呑みにして何が起きても自己責任で。 Hive のクエリチューニングに関するメモ書きである。以下のことは「書いていない」 Hadoop自体のチューニング Hive のクエリチューニング以外の話 例えば、圧縮ファイルを Hive 上で扱うにはどうするかとか JOIN 一番左のテーブルに最も大きなテーブルを持ってくる 一番左のテーブルがMRでいう入力データとして流れる。インナーテーブルのデータはメモリに保持される。 同一 JOIN キー 通常は 1 JOIN = 1 MR ジョブだが、同一の JOIN キーを使ってい
元ネタはこちら Join Optimization in Apache Hive Hiveは0.7からjoinが最適化されています。どのように最適化されたのか上記の資料をひもといてみます。 いままでのjoin いままでのjoinはいわゆるソートマージジョインです。 mapフェーズでテーブルのデータを読み込んでjoinキー、joinバリューを出力し、shuffleフェーズでソート、reduceフェーズでjoinという流れです。 この場合shuffleフェーズのソート処理がボトルネックとなっていました。 そこで登場するのがMap Joinです。 joinの片方のテーブルのサイズがメモリに収まるほど小さいのであれば、mapperのメモリに読み込んでmapフェーズだけでjoinします。 こんな感じの構文で書きます。 select /*+mapjoin(a)*/ * from src1 x join
Hadoop Advent Calendar 2013 4日目の記事です tl;dr explainとjob historyを読め 1 reducerは悪 data skewは悪 前書き みんな大好きSQLでHadoop上での処理を実行できるHiveにはみなさん普段からお世話になっていることでしょう。ちょっと調べ物でググる度に目に入る愛らいしいマスコットが、荒んだ心に清涼な風をはこんでくれます。 ですがHiveのクエリ言語はSQLではなくHiveQLですし、実行エンジンもRDBのそれとは全く異なるMapReduceです。SQLのつもりでHiveQLを書いていると地雷を踏んでしまうことがまれによくあります。本エントリでは陥りがちなHiveQLの落とし穴を2つ紹介します。 例1 SELECT count(DISTINCT user_id) FROM access_log SQLに慣れた方であれ
“Data-Driven Thinking” is written by members of the media community and contains fresh ideas on the digital revolution in media. Today’s column is written by Eric Picard, CEO at Rare Crowds. There has been a quiet shift in the digital ad ecosystem over the past few years, although it isn’t clear to many people working in the space. When we think about the ecosystem these days, we typically look at
powered by Firebase What is GeoFire? GeoFire is a set of open-source libraries for JavaScript, Objective-C, and Java that allow you to store and query a set of items based on their geographic location. GeoFire uses the Firebase database for data storage, allowing query results to be updated in realtime as they change. GeoFire does more than just measure the distance between locations; it selective
UPDATE: The 2020 Marketing Technology Landscape is now available. Marketing is in a whirlwind of technological innovation. It’s thrilling, inspiring, and a little dizzying. Last year, I made the first version of a marketing technology landscape infographic to try to glimpse the “big picture” of this broad field. I’m pleased to now share with you the all-new 2012 version of this supergraphic above
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
