今更ではあるが今後AtCoderの問題を解く上で使ったライブラリとか手法とかを ここにまとめていこうと思う。python限定。 入出力 基本 i = input() x,y = map(int,raw_input().split()) 応用 複数行を一気に読んで、入出力のオーバーヘッドを無くせる。 （行数が多い時、稀にこれをしないとTLEになる。） lines = sys.stdin.readlines() 因みにローカルで実行するときは<ctrl-d>とかでEOFを検知させる必要が有る。 ローカルでの実行 クリップボードにテストデータ（テキスト）コピーしたあと、 以下で簡単に実行できる。 pbpaste| python test.py 問題が難しくて、テストデータを何回も使いそうだと思った場合は、 ファイルに書き出しておく。 pbpaste > dataset1 pbpaste > da
vagrant install とか pylearn2 install 済みの vm 作成など vagrant install する 手早く vagrant 環境を整えて*1 (ref:http://blog.papix.net/entry/2013/04/27/141608 )， github にある pylearn2 用の box を使って pylearn2 が実行出来る環境を作る *2 vagrant up する git clone https://github.com/ironchief/pylearn2_vagrant.git cd pylearn2_vagrant vagrant upを実行するだけだが，cpu によっては vt-x が使えなかったりするので*3， 下記のように 32bit OS を見るように Vagrantfile を編集する *4 diff --git a/
はじめに pylearn2というdeep learning libraryは、installしていくつかのサンプルを動かすだけなら割と簡単です。 ただ、いざ自分の用意したデータセットを使用してdeep learningさせようと思うと意外に大変。 というわけで可能な限り簡単に自分のデータセットを使ってGRBM(Gaussian restricted Boltzmann machine)を行うためのパイプラインを作成しました。 なんか間違ってたら適当に修正して下さい。 hoge_dataset.pyとgrbm.yamlはこちらのプログラムにいくつか私が変更を加えたものです。 私が作成したものではないパラメータ等ありますので、元のリポジトリもご参照下さい。 github.com 方法 pylearn2のinstallはいろんなところで書かれていますので割愛します。 自分のデータセットを作成 識
sklearnのランダムフォレストを使う。 前回の予測モデルは、線形モデルのロジスティック回帰。 今回は、ensembleモジュール内にあるランダムフォレストを試してみる。 あと、データを加工するときとか、評価するときの便利メソッドもいくつかメモ。 from sklearn import preprocessing from sklearn import ensemble import pandas as pd 最初にインポートするのは、preprocessingモジュールとensembleモジュール。 sklearn.preprocessing preprocessingモジュールは、生データを処理して、後々の解析に適した整形をしてくれる。 実際に、練習用csvを読み込んで使ってみる。 LabelEncoder()は、カテゴリカルデータを、数値(ラベル)で表現するメソッド。 train
大量のデータをまとめて、視覚的に表現すると、データが持つ特徴を直感的に理解できることがあります。今回は、データを視覚化する際に施される「正規化」について考えます。wikipediaの正規化の定義は以下のようになっています。 正規化（せいきか、英: normalization）とは、データ等々を一定のルール（規則）に基づいて変形し、利用しやすくすること。 この定義は非常に抽象度が高いですね。その理由についてwikipediaは以下のように述べています。 非常に多くの分野で使われている言葉で、分野によって意味も大きく異なるため、頻度が高い分野についてそれぞれ個別に説明する。 今回は、数量の正規化に話を限定します。しかし、数量の正規化に絞るだけでは、まだその意味がはっきりしません。正規化する方法が沢山あるからです。私の専門の心理学では、行動データとして得たものを多変量解析にかける前に正規化するこ
はじめに トレジャーデータはクラウドでデータマネージメントサービスを提供しています。 Treasure Data Service（トレジャーデータサービス）では，サインアップを行ったあとにデータにアクセスするための2種類の手段が得られます。 A. Treasure toolbelt（コマンドライン）からのアクセス toolbeltは，Windows，Mac，Linux にインストールできるコマンドラインツールです。コマンドライン上でTreasure Data Serviceに対するさまざまな操作が可能です。Emacsなどのエディタでクエリーを作成し，td query コマンドで実行します。また，データベースの参照や実行中ジョブの閲覧などのすべての操作が可能で，コマンドラインに慣れたエンジニアなら，手元のノートPCからさくっとデータ処理ができます。sedやawkでの前処理とも連携できるこのコ
Rでminpack.lmパッケージのnls.lm関数を使うとLevenberg-Marquardt法で非線形回帰分析を行うことができる。言いかたはマルカート法、マーカート法？、フランスの方のようなのでマーカール法とも言われているようだ。私はマルカートで覚えていた。Levenberg-Marquardt法は非線形最小二乗問題を解く手法として広く使われている。最急降下法・ニュートン法を組み合わせた方法で現在の解が正解から遠い場合は遅いが収束することが保証されている最急降下法と同じように動作し、正解から近い場合はニュートン法を実行するとのこと。 非線形回帰を行うことになった背景 最近ECサイトの分析を行うことが多く、よく言われているベキ乗則を随所に見かける。データ例 > head(d) X Y 1 2 9794688 2 3 5973376 3 9 2946944 4 10 2649600 5
2012年最もセクシーな職業だと言われているデータサイエンティストについて。 今回はこちら Harvard Business Review (ハーバード・ビジネス・レビュー) 2013年 02月号 [雑誌] 出版社/メーカー: ダイヤモンド社発売日: 2013/01/10メディア: 雑誌購入: 1人 クリック: 1回この商品を含むブログを見る Harvard Business Reviewからいくつか紹介と、 その考察について書いて行きたいと思います。 これまで何回かwebマーケティングについて書いて行きましたが、それを専門とする職業データサイエンティストに今注目が集まっているので上記の本を参考に色々見ていきます。 初めに言っておくと、データサイエンティストとしての素養はビジネスをやる上ではとても重要なことだと思っています。 その専門家ではなくとも、データをある程度解析できる。そんな能力が
あっ, どーも僕です。 Rでk-means法とその拡張の最後は, 改良k-meansです。 概要は前々回の記事をみてください。また, アルゴリズムは論文をみてみてください。フリーで入手できます。 さっそく, 結果ですが, クラスター数を3にしたときがこちら。相変わらずirisを使います。色がクラスタリングの結果で, 記号はSpeciesで分けています。うまくクラスタリングされたことがわかります。 改良k-meansはどうやらRで実装されていなさそうなので正しく実装できているかは, 論文と結果を比較してみました。比較したところ, 問題なしです。論文では, 3つのデータがクラスタリング失敗していますが, グラフをみると, オレンジの三角が2つと緑の十字がひとつあることがわかります。 k-meansを多変量正規分布で修正するだけで, こんなにもすごい結果がでるのですね。すごい。 で, 問題なしと
始まる前はどちらを優先するか悩んでたけど結果的に被らなかったorz... フリークアウトのオフィスかっこいい！ Ust職人もかっこいい！！ ※ LT資料追加 第33回 データマイニング+WEB＠東京 今回はセッション2/3がUst非公開。非公開セッションが後だったので前回のように無駄に拘束されなくて済んだのは良かったけどUstの画質が綺麗だっただけに非公開が残念。。。 以下、メモ。 第33回 データマイニング+WEB＠東京( #TokyoWebmining 33rd ) − 大規模データ活用・サービス開発 祭り−を開催しました - hamadakoichi blog ソーシャルゲームに対する協調行動研究の知見の適用 from m tkn 協調者 > 非協調者のギルドの方が成果が高いことが客観的に示されることが興味深い。今回はUstの録画が公開されているのでまた見直す。 Ustream.tv
さて、No.11の続きですが、TableauとR統合の設定をしていきましょう！ ところで、その前に、Tableauって何？って話ですが、、 ちょうど、こんなニュースが出ていましたので、そこから拝借します。 「無印良品」がアプリのビッグデータ解析に「Tableau」を導入 - Ameba News [アメーバニュース] 「データを解析/可視化/共有するBIソフトウェア」(以下省略) と記事にもあるように、いわゆるBI製品ですね。(もう御存知ですよね？笑) ただ、その操作性や視覚化機能は、他の製品よりかなり優れており、ユーザ企業には、まさに導入し易いBIだと思います。ニュースにもありますが、「Amazon Redshift」や「Hive」等にも接続出来、各種データソース接続のサポートが豊富です。 ちなみにですが、本題であるTableauとRの統合については、Tableau8.1から追加された機
内点法にもいろいろある。ここでやるのはもちろん一番簡単なやつ。 ・主アフィンスケーリング法 - 経営工学専攻 - 東京工業大学 http://www.me.titech.ac.jp/~mizu_lab/text/PDF-IP/IP2A-affine.pdf を見てPythonでナイーブに実装した。 ・行列演算はライブラリ任せ（これは速度面でも好ましい） ・本体はコメントを除けば20行足らず ・例外処理なし ・バグ放置 こんな感じで簡単に線形計画問題の最適解が求まります。 例題 以前の記事で商用ソルバを使って解いた問題をまた解く。 GurobiとPythonで数理最適化 - matsulibの日記 とりあえず前処理として標準形に変形する。 加えて、手続きの出発地点となる初期内点x0を与える必要がある。 下のコードでは x0=[20, 10, 2200, 1400, 670] としている。 ソ
田中マー、得意のスプリットに悩み「ほとんど最近落ちてない」 2014年06月03日08:00 Category : 野球ニュース | コメント( 72 ) Tweet 引用元: http://tomcat.2ch.sc/test/read.cgi/livejupiter/1401725159/1: 風吹けば名無し＠＼(^o^)／ 2014/06/03(火) 01:05:59.69 ID:MkNIedtG.net マー君、得意のスプリットに悩み「ほとんど最近落ちてない」 http://news.livedoor.com/article/detail/8892299/ なおメジャーのヘボバッターはクルクルの模様 ここまでのシーズンを振り返り、「バッターのレベルというのは高い。失投したボールは確実に打ちます」と答えている田中は、自身の球種に言及すると「現状だとスライダーのほうがいいですね。スプリ
さて、2年に渡り続けてきた（？）このブログも、これが最後の更新になります。 （注：更新頻度に関しては、決して触れないで下さい。） 8月1日より経団連所属企業中心に、一斉に選考活動が始まりましたね。来季は就職活動スケジュールの制約が撤廃されることを願います。 最後の更新なので、これから社会に入る学生の皆様に、伝えておきたいことをつらつらと。すでに進路が決まってる方は、期待に胸いっぱい膨らませ、目をキラキラ輝かせているでしょう。なので、敢えて残酷な現実の話をしたいと思います。 世の中には残念ながら、「あなたの挑戦」を非難する大人がたくさんいます。また「あなたの挑戦したけどうまくいかなかった結果」を嘲笑する大人はもっとたくさんいます。「あなたの成功」ですら妬む大人がたくさんいます。そして、その大人の陰口が、ソーシャルメディアを通じて直接あなたの耳に入ってきます。あなたの親友までもがその投稿に「い
1985年生まれ。灘中学・灘高校卒業後、ハーバード大学に進学。数学、物理学を専攻し最優等の成績で卒業。その後、ハーバード大学院にて博士課程修了。理論物理学者。現在、楽天株式会社執行役員、ビヘイビアインサイトストラテジー室室長。 常に「メタ」というか、一次元相対化した抽象的な視点から問題を解決しようとする癖が子どものころからありました。特定の問題に対しても、「それが起こること自体がダメだ」というのではなく、もっと仕組みというか、全体のつながりの中で解決していくべき、と考えるタイプでした。 一方で、自分自身の進路や身の振り方については、これでは説明が付きにくいかもしれません。「なぜハーバードに行ったのか」とよく聞かれるんですけど、実はあまり理由はないんですよ、今から考えても。 とにかく僕は徹底的に、自分にとって面白いか、エキサイティングか、強い興奮が得られるか、という視点で選んできたような気が
We've detected unusual activity from your computer network To continue, please click the box below to let us know you're not a robot. Why did this happen? Please make sure your browser supports JavaScript and cookies and that you are not blocking them from loading. For more information you can review our Terms of Service and Cookie Policy. Need Help? For inquiries related to this message please co
【野球】落合博満を雇う条件ｗｗｗｗｗｗｗｗｗｗ 2013年10月08日14:01 Category : 野球議論/野球雑談 | 監督/コーチ | コメント( 100 ) Tweet 引用元: http://hayabusa.2ch.net/test/read.cgi/livejupiter/1380626652/1: 風吹けば名無し 2013/10/01 20:24:12 ID:bundqZ+q ・監督としての年俸は推定1億＋出来高払い ・コーチやスコアラーの給与は落合が決めてそれを支払わなければならない (コーチに関しては最低2000万といわれている) ・コーチ人事など含めて全権委任(球団OBへの配慮などない) これはムリやろ・・・、むしろ中日が8年も我慢したほうがすごいレベル 203: 風吹けば名無し 2013/10/01 20:42:31 ID:mIkPh6yt >>1に間違えてる場
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
