Rubyの会社でPythonistaが三ヶ月生き延びた話
•
6 likes•3,682 views
@tokorotenによるRails勉強会でPythonの話をするテロ。データマイニングについてのゆるいお話。 以下のプレゼンと同様の内容になります。 http://www.slideshare.net/TokorotenNakayama/rubypythonista3
Rubyの会社でPythonistaが三ヶ月生き延びた話
- 1. PythonistaがRailsの会社で3ヶ月生き延びた話 ところてん 1
- 2. 自己紹介 @tokoroten 好きな言語はPythonとawk 画像処理、セキュリティ、自然言語処理、機械学習 2012年2月 ドリコム中途入社 前職は某通信会社研究所、会社を三年で辞めた若者 入社時点でRuby経験ゼロ うんこ部屋入社 http://onk.bz/data/2008-02-24/1000speakers2.html ソーシャルゲーム基盤開発本部 R&D&火消し&インフラ＆データ収集&データ解析 ＝高機能雑用
- 3. 本日のアジェンダ データ解析の仕事の紹介 データ解析の基盤の紹介 データ解析の仕事の流れ データ解析の恐怖 ソーシャルゲーム屋の仕事の速さ Rubyの会社でRubyを書かないお仕事 リクルーティング的な何か
- 4. ドリコムのデータ解析基盤 データ解析 Hadoop Hive MySQL Rubyでゴリゴリ Pythonでゴリゴリ VBAでデータ加工 詳しくは川上のプレゼンを参照 http://www.slideshare.net/drecom/nosql- 11668093
- 5. データ解析のお仕事の流れ１ 仮説ドリブン 「○○したユーザって× × な特性なのでは？」 ログを元に仮説検証する 成功しているサービス 失敗しているサービス →インセンティブデザインの見直し、導線の見直し 縦軸と横軸が何かは言えないです。ゴメンナサイ
- 6. データ解析のお仕事の流れ２ 依頼ドリブンの仕事 広告効果の計測 広告を打つための事前調査 条件Aユーザ群 条件Bユーザ群 マーケの仮説すげええ 縦軸と横軸が何かは言えないです。ゴメンナサイ
- 7. ソーシャルゲーム業界の速度の速さ 3月上旬 予備調査、実証 3月中旬 コンソールプロトタイプの実装 3月下旬 HTTPサーバの実装、API公開 4月上旬 負荷試験、アプリ組み込み 4月中旬 段階的にユーザ開放 4月下旬 ABテスト実施中
- 8. 運用の隣でデータ解析する 大量のログが目の前にある ドリコムがソーシャルゲームを始めてからの 二年分のログが解析しほうだい 動いているサービスが目の前にある 足りないと思ったら追加でログ収集 ABテストで評価試験 速度が速い 仮説構築からサービスインまで2ヶ月
- 9. 本当にあった怖い話１ Rubyで書かれたログ解析が遅い！ 1バッチ2時間コース 良く見たら三重ループの中でfopenしてた Pythonでフルスクラッチで書きなおし 全部オンメモリで持つようにした 1バッチ100秒に短縮 ( ﾟД ﾟ) 使用メモリ 10GB ログ解析怖い もうちょっとでOut of memoryだった… … HDFS上には7TBほどのログが… …
- 10. 本当にあった怖い話２ 来月リリースのアプリのために、 過去のアプリのログ解析しておいて コード書いてポチっとな ( ﾟД ﾟ) 推定処理時間９日 ゴールデンウィーク中に終わらんかった… まだ解析してます・・・ おかしい、まだ30%しか終わってない・・・ あと二週間くらいかかりそう・・・
- 11. 本日のアジェンダ データ解析の仕事の紹介 データ解析の基盤の紹介 データ解析の仕事の流れ 全部Python データ解析の恐怖 ソーシャルゲーム屋の仕事の速さ Rubyの会社でRubyを書かないお仕事 リクルーティング的な何か
- 12. Rubyが書けないで仕事できるの？ Rubyで正常系だけ書く 正常系はどの言語で書いてもだいたい同じ エラートラップとか、Railsの流儀が分からん 正常系の参考実装を書いて、 アプリエンジニアにリファクタリングを依頼 APIを公開してRailsから叩いてもらう APIベースだったらRailsからでも叩ける 将来Railsを捨てても安心（笑） スマホのネイティブアプリからも叩ける
- 13. Railsを書かないお仕事 Pythonで書かれたサーバが本番投入 名状しがたいサービスが本番投入中 分かる人にだけわかってほしいコード HTTP-JSONでAPIをRails側に提供 Railsの中に組み込まないで独立系として実装
- 14. Rubyの勉強：Ruby/SDLでゲーム開発（3時間） ゲームを作る 当たり判定 画像の描画 Viewとロジックの分離 分岐 敵 生存判定 ガベコレの挙動 Classの作り方 敵をたくさん出す 当たり判定の高速化 メモ化、辞書の利用 配列の使い方 ループの使い方、for each https://gist.github.com/1781444 http://www.nicovideo.jp/watch/sm16925689
- 15. 本日のアジェンダ データ解析の仕事の紹介 データ解析の基盤の紹介 データ解析の仕事の流れ データ解析の恐怖 ソーシャルゲーム屋の仕事の速さ Rubyの会社でRubyを書かないお仕事 リクルーティング的な何か
- 16. その他ドリコムのRubyを書かないお仕事 インフラエンジニア 鯖が落ちてたら直す DBエンジニア クエリがパンクしたら直す DBがパンクしたら直す フロントエンジニア UIがクソだったら直す
- 19. プログラミング遍歴 HR2、カルネージハート 小学生 N88BASIC 中学生 HSP 高校生 C、Verilog、C++、VBA、Forth 学部生 Python、JavaScript 大学院生 x86アセンブラ、 C++、 C＃、Awk 社会人 Python、Ruby なう
- 21. まとめ データ解析楽しいよ！ Rails書けなくてもなんとかなるよ！ ドリコムではRailsを書かない人も募集中 インフラエンジニア DBアーキテクト 機械学習、データサイエンティスト フロントUI/UXエンジニア 自然言語処理 採用ページのスキルセットは無視してOK 人事仕事しろ、ページ直せ
- 25. ところで、うんこ部屋って何？ 社内コミュニケーションにおける unk の可能性 ＠onk http://onk.bz/data/2008-02-24/1000speakers2.html うんこは社是、うんこは正義