はてなブックマーク

私の周りでは、情報管理にesaを使っている方が非常に多いです。 esaは私も使っていますが、以下のようなメリットがあり、とても便利です。 WIPの状態でも公開できる 情報の検索がしやすい 更新の履歴が追える 顧客との打ち合わせの議事録もesaにまとめるチーム・会社も多いそうです。 齟齬をなくすため顧客にも議事録内容を共有する際に、わざわざesaの内容をWordファイルに編集し直したり、それをPDFに変換している、という声をある方から聞きました。 それが面倒で、最初からWordファイルに書くようになり、esaなどで共有されなくなってしまった、という状態になっているそうです。 それはかなり無駄だと思うので、自動でWordとPDFファイルを自動生成ツールを作ってみました。 構成概要社内の特定のPCにWebサーバを立てて、皆がそこにアクセスしてツールを使えるようにしたいなと思いました。 特にこだわ

タイトルの通り、「CNN（畳み込みニューラルネットワーク）って何よ」とざっくりと質問された時に、自分だったらざっくりとこう説明してあげる、というのをまとめます。 この記事で説明している内容は、以下を元にしているので、よろしければ是非。 Pythonと実データで遊んで学ぶ データ分析講座 作者:梅津 雄一,中野 貴広発売日: 2019/08/10メディア: 単行本（ソフトカバー） なお、スマホのAMPだと、数式がうまく表示されない可能性がありますので、こちらのリンクかPCから読んでいただけると。 まずニューラルネットって？畳み込みニューラルネットワークについて説明する前に、ニューラルネットワークも軽くおさらいしてあげましょう。 脳は入力を受け取ると、以下画像のように各神経細胞が反応しながら処理が次々と行われます。 ニューラルネットワークは、このような脳の神経伝達の働きを数理モデルとして落とし

久しぶりの記事更新です…。 というのも理由がありまして。 この度、『Pythonと実データで遊んで学ぶ データ分析講座』という書籍を発売することになりました！！ Pythonと実データで遊んで学ぶ データ分析講座 作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る 発売は、明後日です！（ギリギリの宣伝） 理論と実践、双方をバランスよく解説した一冊です。 これからデータ分析・機械学習といった分野を勉強したい方に、ピッタリの本に仕上がりました。 ぜひ、お盆で実家に帰る前に、購入してくださいませ。（実本でもKindleでも！） ということで、今回は、書籍の紹介をさせていただきます。 本書のターゲット本書は、主に これから機械学習の勉強を始めたい人 「AI」や「人工知能」というワードはよく聞

前回は、タイタニックの生存者データを使って、Pythonで決定木とランダムフォレストの実践をしてみました。 www.randpy.tokyo 今回はＲの実践編です！ 以前にTwitter APIを使ってWord Cloudとかしてみたので、その流れでツイートデータを使ってみたいと思います。 www.randpy.tokyo 対象にするのは、大好きなスピードワゴンのお二人のツイートデータです。 お二人のツイートを決定木を使って分析し、井戸田さんのツイートと小沢さんのツイートを分類してみます。 その後、ランダムフォレストを使って同じデータを分析し、分類の精度がどれほど変化するのか検証します。 決定木やランダムフォレストの理論編は、以下を参考にしてください。 かなり分かりやすく書けていると思います。 www.randpy.tokyo www.randpy.tokyo 流れとしては、 井戸田さんと

本記事は、Apps Script Advent Calendar 2017の5日目の記事です。 皆さんの中には、運営されているWebサイトにてGoogle Adsenseによる広告収入を得ている人もいるでしょう。 私自身、はてなProという有料版のブログを使っているため、「元を取ろう！」と考えてGoogle Adsenseを使っています。 「昨日はクリックされたかな？」 「今月は報酬いくらになったのかな？」 と結構気になってしまい、定期的にGoogle Adsenseの管理ページにいっては、 「あ…まだ0円…ですか……。」 と落ち込んでいる私ですが、この作業が結構面倒！！ せっかくならSlackを使って自動化してしまいましょう。 最近至るところで導入が進むSlackですが、外部サービスとの連携が非常に楽です。 今回はGAS（Google Apps Script）とSlackを連携させ、「昨

今回は、numpyを使う上での備忘録として、universal function(通称ufunc)について整理しておきたいと思います。 ufuncとは、何ぞやuniversal functionとは、numpy配列に含まれる全ての要素に対して、何らかの演算を行う関数です。 ufuncの良いところとして、 コンパイルされたC言語で実装されているので速い デフォルトで便利な関数が色々用意されている などが挙げられます。 ということで、全要素に対して何らかの処理をする場合は、for文などを使わずに、積極的にufuncの使用を検討してみましょう。 さっそく例題言葉で説明されても分かりづらいと思うので、実際に例を見ながら挙動を確認していきましょう。 まずはサンプルデータとして、(1×8)の1次元配列を作成します。 #coding:utf-8 import numpy as np a = np.ara

前回、巷で話題の「マジ卍」とはどんな意味なのか、word2vecで分析してみました。 Pythonにて、 Twitterデータ取得 MeCabによる単語分かち書き word2vecで分析 ということを行ったのですが、面白い結果になったと思います。 www.randpy.tokyo なお、word2vecって何？という方は以下をご覧ください。 www.randpy.tokyo さて、前回はPythonでしたが今回はR実践編です。 皆さん、人生とは一体何なのか、考えたことはありますか？（急にどうした） 私も20代後半に入り、人生について考えてみたのですが……さっぱり分かりません！ ということで、word2vec先生に質問してみましょう！ 今回扱うデータですが、元気をくれる曲をたくさん歌ってくれているAKB48と乃木坂46の歌詞を扱います。 歌詞データをスクレイピング MeCabによる単語分かち

さて、今回はPythonによるword2vecの実践編です！ word2vecって何？？という方は、こちらの記事を一読してから本記事に入って頂くといいかと思います。 www.randpy.tokyo (こちらとても高評価頂いております。ありがとうございます！！） 上のリンク先でも書きましたが、簡単にまとめると、word2vecを使うことで単語の意味をベクトル表現化することができます。 単語の意味をベクトル表現できると、 近い意味の単語を調べる 単語同士の意味を足したり引いたり といった嬉しいことが実現できます。 ということで今回は、タイトルにもある通りJK用語の代表格である”マジ卍”という言葉の意味を、word2vecに聞いてみたいと思います。 本当は"マジ卍"の意味を直接JKに聞きたいのですが、JKの知り合いも当然いないですし……まぁここは頭を使ってデータを使えばなんか分かるっしょという

Np-Urのデータ分析教室 オーブンソースデータなどWeb上から入手できるデータを用いて、RとPython両方使って分析した結果を書いていきます

久しぶりの記事更新です。 今回はかねてより書いてみたかったword2vecについて。 word2vecはとても面白い考え方なのですが、個人的には仕組みがちょっと捉えづらく、理解するのに結構時間がかかりました。 そこで今回は、過去の自分を救えるように、word2vecをできるだけ簡潔に、そして直観的に理解できるように解説していきます。 なお、word2vecについては以下書籍でよくまとまっているので、よろしければ是非！ Pythonと実データで遊んで学ぶ データ分析講座 作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る ※追記※ スマホのAMPだと、行列や数式がうまく表示されない可能性がありますので、こちらのリンクかPCから購読頂けますと幸いです。 word2vecを使うと何ができる

機械学習ではモデルを作って終わり、ということは無く、モデル作成後にテストデータを使って「本当に良いモデルなのか？」という評価を必ず行う必要があります。 では具体的にどのように評価をすれば良いのか？という話になりますが、今回は代表的な評価指標である ROC AUC ついて説明していきます。 この辺りについては、以下書籍でよくまとまっているので、よろしければ是非！ Pythonと実データで遊んで学ぶ データ分析講座 作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る ※追記※ スマホだと数式がうまく表示されない可能性がありますので、こちらのリンク、もしくはPCから購読頂けますと幸いです。 正解率の問題点と、偽陽性率と真陽性率ROC・AUCに入る前に、それらを計算するための性能評価値につい

本記事は、Shiny Advent Calendar 2017の21日目の記事です。 Shiny100本ノックもかれこれ第21弾となりました。 今回はDockerを使った環境構築周りについて、紹介します。 面倒な環境構築Shinyを使うために、多くの方は手元のPCにRやRstudioをインストールし、そしてShinyを始めとする必要なパッケージ群をインストールして…。 ということを行っていると思います。 しかし、この方法は結構面倒。例えば会社で途中まで実装していたものを、自宅のパソコンで引き続き作業する場合、同じ環境構築をする必要があります。 また会社ではできたはずなのに、自宅PCだと何か他のシステムとバッティングして、インストールできないパッケージが出てきたりすると、めちゃくちゃ大変です。 また会社の先輩が途中まで実装したものを引き継ぐ場合も、先輩のPCでは動いたのにこっちのPCでは動か

本記事は、Shiny Advent Calendar 2017の1日目の記事です。 これまでShiny100本ノック、ということでShinyの実装例を紹介してきました。 が、いきなり応用編に突入してしまいましたので今回は原点回帰！「Shinyって何なの？」について紹介していきたいと思います。 第一弾目でやれよ！という声が聞こえてきそうですが…まあ許してください。 ShinyとはShinyはR言語でwebアプリケーションを簡単に作るためのライブラリです。 Rを使って普段分析しているけど、 簡単なWebアプリケーションを作るために他の言語を勉強するのは面倒くさい Rで分析した結果を他の人にも共有したい 分析BIツールとして他の人に使ってほしい などなど、上記のような課題意識を持っている方に朗報となるのがShinyライブラリとなります。 Shinyのいいところを挙げると、 R言語のみで書ける（デ

本記事は、python Advent Calendar 2017の23日目の記事です。 今回はPythonを高速化するための、numbaとCythonについて紹介します。 Pythonを使っている方なら、for文処理が遅い、データの前処理が終わらないといった状況に一度は陥ったことがあると思います。 そんなときの一つの対策手段として、今回紹介するnumbaやCythonがあります。 なお、今回の記事は「numba？Cython？何それおいしいの？」という人向けの記事なので、既に利用している方はあまり参考にならないかもしれません。 なお、以下のような流れで進めていきます。 numbaとCythonの説明、導入方法と使い方について サンプルコードで速度比較 Cython ―Cとの融合によるPythonの高速化 作者: Kurt W. Smith,中田秀基,長尾高弘出版社/メーカー: オライリージ

本記事は、Shiny Advent Calendar 2017の19日目の記事です。 Shiny100本ノック第19弾！ 今回は、データ分析のあまり経験が無い人に、クラスタリングの面白さを体験してもらえるようなアプリケーションを作ってみます。 shinyapps.ioに上げてみました。試してみてください！（無料プランなので停止していましたらすいません…。） https://randpy-testserver.shinyapps.io/clustering/ 作った機能としては、 ファイルをアップロード どの列を元にクラスタリングするか選択 クラスタリングの手法を選択 プロット という流れで、任意のファイルのデータを元にクラスタリングを行うことができます。 なお、ソースコードはGithubにも置いてあります。 github.com 完成形イメージまずは、完成形のイメージを共有します。 基本画

本記事は、R Advent Calendar 2017の14日目の記事です。 これまで、R言語でロジスティック回帰やランダムフォレストなどを実践してきました。 Rは統計用のライブラリが豊富、Pythonは機械学習用のライブラリが豊富。というイメージがありますが、Rでも機械学習は可能です。 今回は、Kerasという深層学習を行うのに便利なライブラリを使って、画像分類に挑戦してみます。 車や船など10種類の画像を含むCifar10という超有名なデータセットを用います。 Cifar10について詳しくは、Cifar10をご覧ください。 また、今回は畳み込みニューラルネットワークを使って画像分類を行います。畳み込みニューラルネットワーク自体の説明は本記事ではしておりませんのでご注意ください。 ニューラルネットの基本的な考え方から畳み込みニューラルネットワークについては、以下の書籍で勉強するのが良いと

前回まで、決定木・ランダムフォレストの理論について勉強しました。 www.randpy.tokyo www.randpy.tokyo 今回はPythonで実際に動かしていきたいと思います。扱うのは、タイタニック号の生存者データです。性別や年齢など、どんな要素が生存率に影響を与えていたのか、分析してみます。 なお、Pythonによる決定木・ランダムフォレスト のコード例は、以下の書籍にも記載されてますので、参考にしてみてください。 Pythonと実データで遊んで学ぶ データ分析講座 作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る これは、kaggleという世界的なデータ分析コンペティションで提供されているサンプルデータですので、ご存知の方も多く少し面白みには欠けますが、決定木とラン

本記事は、Slack Advent Calendar 2017の6日目の記事です。 以前に www.randpy.tokyo にて、Google AdsenseのデータをSlackにポストするBotを作成しました。 今回はその続編ということで、Google アナリティクスのデータをSlackにポストするBot作りに挑戦してみましょう。 といっても流れはほぼ前回と同様で、今回もGAS（Google Apps Script）を使います。 完成形としては、以下のようなイメージです。 SlackからGASへ情報をポストする GAS側でSlackから受け取った情報を元に、Google アナリティクスからデータを取得する Slackへ情報を返す といった流れになります。 Slash Commandsの設定まずはSlash Commandsの設定を行います。 https://slack.com/apps

多くの企業で使われているチャットツールの「Slack」。今読んでくださっている皆さんの会社でも導入されていますでしょうか？ 色々な外部サービスと簡単に連携することができ、会社オリジナルのチャットツールへ進化できることが、導入が進んでいる理由の一つかと思います。 私はよくGAS（Google Apps Script）と連携させて、 Google アナリティクスAPIを叩いて、昨日のアクセス数を毎朝自動通知 Google Adwordsから広告運用の状況を通知 Gmailの情報（あるユーザーからのメール受信など）を通知 などなどGoogleのサービスをより便利に使えるようにしています。 そんな私ですが、本日仕事をしていましたら、 「Slack上で、Tex数式打ったときに表示してくれたら嬉しいな…」という声を聞きまして、早速GASにて作ってみました。 Slack + GAS + Google C

前回は、PythonからTwitter APIを叩き、スピードワゴンの小沢さんのツイートをWord Cloudを使って可視化してみました。 www.randpy.tokyo この辺りの処理はRでも簡単にできるぞー！ ということで、今回はRでTweet取得＆可視化に挑戦してみましょう。 このようなテキストマイニングについて詳しく知りたいという方は、以下の2冊がとても分かりやすくおススメです。 Rによるテキストマイニング入門 作者: 石田基広出版社/メーカー: 森北出版発売日: 2017/06/28メディア: 単行本この商品を含むブログ (1件) を見るRによるやさしいテキストマイニング: 機械学習編 作者: 小林雄一郎出版社/メーカー: オーム社発売日: 2017/09/21メディア: 単行本この商品を含むブログを見る また、今回は選挙が近く色々動きがあるので、 ・民進党代表：前原誠司さん（

今回はツイッターからツイートデータを取得し、それをWordCloudというライブラリを使って可視化してみたいと思います。 Word Cloud関連の記事は、既に多くあり特に目新しいものではないですが、可視化ツールとしてはなかなかインパクトがあるので、テキストマイニング関連の分析の一例として今回やってみました！ ちなみに、今回、好きな芸人の中の一人である、スピードワゴン小沢さんのツイートを取得して、可視化してみました。（勝手にごめんなさい。。。） 結果をまず先にお見せします！ 今回の流れWord Cloudでは、頻出する単語ほど、つまり特徴的な単語ほど大きな文字で表示されます。右下の「好き」「幸せ」「友達」という言葉がまず目に入りました。 小沢さんのツイートは、とても詩的で素敵です。そんな小沢さんの人柄、芸術性溢れたツイート内容がうまく可視化できているのではないかと思います！ さて、この図を

前回・前々回は、決定木と木の剪定方法について学習しました。 www.randpy.tokyo www.randpy.tokyo 決定木は、可読性が高いという点で実際に今働いている職場でもよく使われる手法ですが、問題点としては学習データに依存しすぎる点にあり、汎用的なモデルを作ることが難しいです。 今回は、そのような問題に克服するためのバギング・ランダムフォレストの手法についてやっていきます！ また関連する手法で、kaggleなどでよく使われるブースティングについては、また別途まとめたいと思います。 今回も「はじめてのパターン認識」を参考にさせていただきながら、なるべくわかりやすく説明していきたいと思いますー！ はじめてのパターン認識 作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本（ソフトカバー）購入: 1人 クリック: 7回この商品を含むブログ

機械学習の分野でよく使われる決定木について今回は説明していきます。 決定木は、回帰、分類問題に対して、非常によく使われる手法の一つで、あらゆる現場でよく使われているのではないかと思います。 アルゴリズム自体はとてもシンプルですし、R,Pythonにおいてパッケージも豊富というところもあり、 何よりも結果の可読性の高さが人気の一つの理由かと思います。 今回の進め方としては、以下のように進めていきます。 決定木って何？（ざっくり図から理解) 分割規則（不純度について） 決定木の理論面については、「はじめてのパターン認識」を参考にしていただくといいかと思います。 はじめてのパターン認識 作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本（ソフトカバー）購入: 1人 クリック: 7回この商品を含むブログ (5件) を見る 決定木とは 決定木は、条件分岐によ

記念すべきShiny100ノックの第1回を執筆してから3週間近くたってしまいました。 ちょっと忙しくて更新が止まってしまっていましたが、今後は週1本以上の更新ペースで頑張って執筆していくので、皆さま応援お願いします。 さて、前回は皆大好き（？）Google アナリティクスのAPIをShinyから叩いてデータを取得してみる、ということをやってみました。 www.randpy.tokyo これはGoogleが提供するQuery Explorerというツールを簡単にRで実現したものになります。 せっかくRを使っているので、第2回では前回やったデータ取得に加えてグラフ化までをやっていきましょう。 ちなみに、Google Data Studioをご存知でしょうか？ Google Data Studioとは、GoogleアナリティクスやGoogle Adwords などからAPI経由でデータを取得して

前回、前編・後編と2回に傾向スコアの考え方について学びました。 www.randpy.tokyo www.randpy.tokyo 今回は傾向スコアを使って実際に分析をしていきます。 これまでの実践編記事では、主にスクレイピングを使ってデータを集めていました。 今回は趣向を変えて、公開されているオープンソースデータを使って傾向スコアの実践をしていきます。 なお、こちらの記事のPython編も公開しました。 Pythonの方が興味あるぜ！って方はこちらご覧ください。 www.randpy.tokyo 扱うデータの説明 Rにはもともと傾向スコアを計算する用のlalondeというデータセットがあるのですが、それを使った記事が多く見られたので別のデータを使ってみることにしました。 http://biostat.mc.vanderbilt.edu/wiki/Main/DataSets こちらのサイト