この記事はKaggle Advent Calendar 2018の20日目の記事です。当初の予定ではPLAsTiCCコンペの振り返りをするはずだったのですが、時空の狭間に吸い込まれた結果0サブミットでフィニッシュしてしまいました。何ででしょうね。 そこで、代わりにKaggleで使える便利なスニペットまとめを書くことにします。 ちなみにもうひとネタあったのでいつか書きたいですが、修論があるのでいったん見送り…… LINEに通知を送る 処理にかかる時間を計測する Jupyter Notebookの場合 Pythonスクリプトの場合 LightGBMの学習結果をログに出す Google Spreadsheetに結果を記録する Google Spreadsheet側の設定 Pythonからアクセスする Notebook上でライブラリを毎回再読込する DataFrameのメモリを節約する まとめ L
Competing in kaggle competitions is fun and addictive! And over the last couple of years, I developed some standard ways to explore features and build better machine learning models. These simple, but powerful techniques helped me get a top 2% rank in Instacart Market Basket Analysis competition and I use them outside of kaggle as well. So, let’s get right into it! One of the most important aspect
Kaggleを取り掛かるまでにやったこととと、モチベーションの維持のために必要だったこと わたしの経験した、最初のKaggleの一歩と、実際にKaggleに対するモチベーションがそれなりに加熱するまでにやったことと、息切れしない心の持ち方です。 KaggleがDataScienceに携わるものの価値の可視化の基軸の一つになっていますが、まだ取り掛かれない or 心が折れそう人のために、私に必要だったきっかけと、私が行ったモチベーションコントロールを含めて記します。 まだまだkaggleは弱いですが、継続的に、日々の生活の中に組み入れるまでが大変でした。 目次 既存の機械学習関連の技術者にとってのKaggleの認識のあり方 すでに機械学習アルゴリズムを知っているがやるべきか 競技プログラミングは業務コーディングで役に立たないロジックが、Kaggleの業務のデータ分析との関係にも成り立つか 挑
最近、社内勉強会で機械学習についてエンジニアに説明する機会があり、その際にKaggleについても説明しました。一方で うーん、「Kaggler はパラメータチューニングやアンサンブル等の自明でインクリメンタルな改善『しか』できない」というような誤解はどうやって解いていけばいいんだろう。— im132nd (@im132nd) 2018年4月4日 という話もあり、(特にデータサイエンティスト以外の職種の人が)Kaggleをやる意義/メリットについてまとめてみました。ガッと勢いで書いたので、項目に結構被りがあります。なお、書いている本人はKaggleほぼ初心者であまり説得力がないです。Kaggle Masterの人がもっといいエントリを書いてくれるのを期待しています、議論の叩き台エントリです!! Kaggleをやる意義/メリット 様々なデータセットを触ることができる kernelでデータ分析の
こんにちは。tkm2261です。 今日は10/28に開催したKaggle Tokyo Meetup #3の模様をレポートします。 connpass.com このmeetupは@threecourseさんや@smlyさんが2年前ぐらいから始めて不定期で開催しており、 私もニートの有り余る労働力を活かして今回運営をして来ました。 開始前 今回はsmlyさんの勤め先であるアドバンステクノロジーラボさんに会場をお借りすることが出来ました。 いよいよKaggle Tokyo Meetup当日です！ 入り口入って右手のエレベーターで4Fです お待ちしております! pic.twitter.com/80r6soIJ9H— Takami Sato (@tkm2261) 2017年10月28日 渋谷の超良いところにあって、美術館の上という超良いところのオフィスでした。 今回、Youtubeのチャネル登録者数が
Transcript Deep Learning以外の⼿法で ユニクロコンに参戦してみた @mamas16k Kaggle Tokyo Meetup #3 Outline 0.はじめに 1.ユニクロコンペとは？ 2.結果 3.⼿法 4.上位の⼈の⼿法まとめ 0.はじめに • Twitter ID: mamas16k • 物理系の学部2年⽣ • 機械学習暦・プログラミング暦共に1年ぐらいの初⼼者 • データ分析系の企業でインターンしてました • ユニクロコンは初の機械学習コンペ 今回のKaggle Meetupの初⼼者枠なので、あまり真に受けずにた くさんマサカリを投げてくれると有り難いです＞＜ 1.ユニクロコンペとは？ • Kaggleではなく、オプトDSLで2017年4⽉ ~ 7⽉に開催 • スポンサー：Fast Retailing (ユニクロの親会社) • 服、靴下、ベルト等の画像を2
This document summarizes the 2nd place solution to an Instacart market basket analysis competition. The approach involved feature engineering using user, item, user-item interaction, and datetime features. Feature importance analysis identified key predictive features. Important findings provided insights like frequent reorders for fruits and a user's previous order predicting their next order. Th
Jack (Japan)
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事は将来的に自身のブログにも載せる予定（許可なき転載とかではない） #概略 データサイエンティスト、マシンラーニングエンジニアがどのように勉強を進めるべきか、始めるべきかという問いに対して、『Kaggleやれ』というのはよく聞く答えだ。 なるべく早い段階でKaggleのコンテストに参加するべきだというのは僕も個人的に賛成だ。 実際に、なぜ、Kaggleに参加すると勉強になるのかという点を実際にまとめていく。 #Kaggleとは？ Kaggleとはデータサイエンスのコンペティションサイトだ。賞金のかかっていたりいなかったりするコンペ
5. Kaggleの課題を見てみよう • Otto Group Product Classification Challenge • 商品の特徴（９３種類）から商品を正しくカテゴリ分けする課題 • 具体的には超簡単２ステップ！ 1. 学習データ（２０万個）から商品カテゴリを推定するモデルを作成 2. テストデータの結果をkaggleのサイト経由で提出 この課題で優勝したモデルが次のページである https://www.kaggle.com/c/otto-group-product-classification-challengeより図を引用 商品の特徴 推定される 商品カテゴリ 商品カテゴリ を推定する モデル 6. 商品カテゴリを推定する モデル ※LEVEL1のMODEL, FEATUREは以下の通り -Model 1: RandomForest(R). Dataset: X ・・・
KaggleのInstacart Market Basket Analysis1の上位陣解法についてまとめました． 参考になりそうでしたら幸いです． Instacart Market Basket Analysis1とは ユーザーが次に注文する商品の予測． データ構成2 ユーザー数: 20万 注文回数: 340万 商品数: 5万 全体の把握には記事2が参考になります． [2位] 2nd Place Solution Name: ONODERA Kaggle Discussion: https://www.kaggle.com/c/instacart-market-basket-analysis/discussion/38143 Code: https://github.com/KazukiOnodera/Instacart Writeup: http://blog.kaggle.com/2
まずは、素うどんのXGBoostにかけて、plot_importance, feature_importances_を確認する。しかる後に、各特徴量をF-SCOREの高い順にExploratory Data Analysis (EDA)を行い、データに対する感覚を掴む。特徴量の数が少ないのであれば、初めからEDA。 情報を含まないcolumnsを除く。[Kaggle Kernel: R, Python] 標準偏差が0の説明変数 (constant cols) を除く。 重複した説明変数 (duplicated cols) を1つだけ残して他を除く。 相関係数が1である説明変数の組 (perfectly correlated cols) を探し、1つだけ残して他を除く。 各列について、値が0である説明変数の数を数えて、合計値を追加の説明変数として加える (count 0 per row)。逆
2016年のファーストリテイリング(ユニクロ)の株価予測を題材にしたデータセットをKaggleに投稿しました。これから仲間とKernel作って結果を共有していきます。 みなさん、予測モデルもし作ってみて上手くいったら(上手く行かなくても)是非Kernelに投稿してみてください。 機械学習勉強会を毎日渋谷でやっているので、そこで仲間を集め問題解決に挑戦します。 これからFinTech Data Hackathon、Medical Data Hackathonを増やしていきます。 https://www.meetup.com/Machine-Learning-Meetup-by-team-ai/ Register as a new user and use Qiita more conveniently You get articles that match your needsYou can
【機械学習】スタッキングのキホンを勉強したのでそのメモ - verilog書く人の続きです。 実践、モデルのバリデーションなどについてです 。 ややこしいスタッキングですが、実装例は例えばこれ( vertebral/stacked_generalization.py at master · log0/vertebral · GitHub )とかがあり、参考にすれば実行できます。 しかしスタッキングされたモデル自体がscikit-learnのモデルと同じインターフェイスを持ってるほうがscikit-learnを普段使いしている人にはさっと試しやすいのではないかと思い、自分でも実装しました。 使用例 sklearnのirisデータセットで回帰します。スクリプトは( stacked_generalization/cross_validation_for_iris.py at master · f
[概要] 最近のkaggle のコンペのwinning solution で、stacked generalization がよく使われています。これの元になった論文は、1992 年のWolpert さんによるものです。 triskelion さんのブログKaggle Ensembling Guide | MLWave の中でもこの手法についての説明があります。 様々な学習器を上手く組み合わせて、より精度の良いモデルを作ろうというのが基本的な考え方です。具体的には次の図のような感じです。 level 0 は、元となるデータです。またこの場合における各学習器はgeneralizer と呼ばれています。level 0 のデータにgeneralizer を適用して生成されたデータがlevel 1 のデータとなります。 その後も、同様に名づけられています。 [過去のコンペ] まずは、多層パーセプト
Classify products into the correct category
リクルートデータ組織のブログをはじめました。※最新情報はRecruit Data Blogをご覧ください。 Recruit Data Blogはこちら top2%の私が教えるKaggleの極意, Bosch Production Line Performance 2017/02/15hosakak 最近イギリスで本場のフィッシュ＆チップスを食べられて感動しているエンジニアの保坂です。本場のフィッシュ＆チップスはHuge&Deliciousでした！ 突然ですが、皆さん「kaggle」をご存知でしょうか？ kaggleは、予測モデルの精度を競うデータ分析コンペティションが多数開催される分析コンペティションプラットフォームです。賞金がついた企業主催のコンペティションのほか、分析入門者向けの学習用コンペ、様々な手法を自由に試すことができるプレイグラウンドコンペなどが開催されています。 中には上位に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
