「Rで欠損値埋めるのにいいパッケージないかな〜」と思って色々探してみたら、「simputation」という良さそうなパッケージを見つけました。 参考文献 紹介スライド 使い方 Rのhelp {simputation}の何がいいのか 書き方がシンプル {dplyr}と相性がいい impute関数が非常に便利 まとめ 参考文献 紹介スライド そもそもこのパッケージの事を知ったのは、下記のスライドがきっかけです。「こんな感じでコードがかけたら便利だなあ」みたいなものが的確に実装されている事がわかりました。 simputatoinで欠損値補完 - Tokyo.R #65 from gepuro Hayakawa www.slideshare.net 使い方 当然英語ではあるものの製作者（？）から提供されている具体例も非常にシンプルでわかりやすく、基本的な機能の使い方はこれで身につけられると思います
こんにちは。データサイエンスチームの t2sy です。 この記事は NHN テコラス DATAHOTEL：確率統計・機械学習・ビッグデータを語る Advent Calendar 2017 の20日目の記事です。 Rで実践！欠損データ分析入門【1】では BostonHousing データセットから欠損データを生成し、欠損データの可視化、MCAR検定、単一代入法と多重代入法による代入を R のコードを交えご紹介しました。引き続き、欠損データの代入に関する以下のCRANパッケージをご紹介します。 VIM missForest missMDA 準備として前回同様に米国ボストン市郊外における地域別の住宅価格のデータセット BostonHousing から MCAR/MAR を仮定できるような欠損データを作ります。 > data(BostonHousing, package = "mlbench")
こんにちは。データサイエンスチームの t2sy です。 この記事は DataScience by DATAHOTEL tech blog Advent Calendar 2017 の8日目の記事です。 2回に渡り、欠損データの可視化・検定・代入に関するCRANパッケージをご紹介します。 今回、ご紹介するCRANパッケージは以下になります。 VIM BaylorEdPsych imputeMissings mice 実行環境は R 3.3.2 です。 例として米国ボストン市郊外における地域別の住宅価格のデータセットである BostonHousing を扱います。BostonHousing データセットには以下のカラムがあります。 crim: 人口1人当たりの犯罪発生率 zn: 25,000 平方フィート以上の住居区画の占める割合 indus: 小売業以外のビジネスが占める面積の割合 chas
実践的データサイエンス はじめに データ分析のためにコンピュータを利用する際、RおよびPython言語のいずれかを使うことが多いと思います(Julia言語は高レベル・高パフォーマンスな技術計算のための言語で今後期待が膨らみます）。これらの2つの言語では、データ操作や可視化、データ分析、モデリングに使われるライブラリが豊富にあり、 どれを使うのが良いのか迷うような状況が続いていました。しかしその状態は落ち着きを見せ、成熟期を迎えつつあります。 R言語ではパイプ演算子の登場によりデータフレームに対する操作に大きな変化が生じ、tidyverseによるデータ読み込みからデータ整形、可視化までが可能になりました。またtidyverseのような、機械や人間の双方が扱いやすいパッケージが増えてきました。特にR言語の強力な一面でもあったデータ分析の操作はtidymodelsに代表されるパッケージがユーザの
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
別名「ワードクラウド」と紹介されることもある「タグクラウド」の作成が可能な「tagcloud」パッケージを紹介します。本パッケージは、他のタグクラウド作成パッケージよりもコマンドが単純かと思います。 参考までに、2015年1月から6月に「からだにいいもの」への検索キーワードをGoogle Analyticsより取得しタグクラウドで表現するコマンドを紹介します。意外とアニメでの検索流入が多いです。アニメからRが広がらないか模索しています。 Google Analyticsとの連携は下記「目次」を参考ください。 https://www.karada-good.net/rgoogleanalyticsindex/ 「tagcloud」パッケージのバージョンは0.6。R version 3.2.0でコマンドを確認しています。 実行コマンドに必要なパッケージのインストール下記コマンドを実行してくださ
R で Amazon Athena を活用する | Amazon Web Services
Amazon Web Services ブログ R で Amazon Athena を活用する データサイエンティストはしばしば、R から SQL クエリを投げるときに、その裏側のビッグデータ基盤のインフラ管理を気に掛けなければなりません。Amazon Athena はインフラ管理の必要がなく、標準 SQL で簡単に S3 上のデータを直接分析できる、インタラクティブクエリサービスです。R と Amazon Athena の連携によって、データサイエンティストはインタラクティブな分析ソリューションのための、強力なプラットフォームを手に入れることができます。 このブログポストでは、Amazon EC2 インスタンス上で動作する R/RStudio から Athena に接続します。 事前準備 Athena との連携を開始する前に、以下のステップを完了してください。 AWS アカウントの管理者
ニューロンの個数を2パタン。 データへの依存度を3パタン用意すると、2×3＝6パタンも試さなければなりません。 大変に面倒ですが、このハイパーパラメタを雑に設定すると予測精度が落ちてしまうこともよくあります。 めんどくさいですが、なるべくやったほうがいいです。 4．モデルを使って予測する これは簡単。単に予測をするだけです。 パッケージを使っていれば、たいていは予測用の関数が用意されています。 5．予測の評価をする 最後は評価です。 評価をすることによって、 ・どの手法の ・どのパッケージの ・どのパラメタを 採用すべきかを判断します。 で、一番予測精度がいいやつを使って予測することになります。 たくさんの手法、たくさんのパッケージ、たくさんのパラメタの組み合わせをしらみつぶしに評価する。 普通にこれをやろうと思うと、気が遠くなってしまいますね。 そこで登場するのがパッケージ「caret」
米Microsoftは12月7日、統計解析言語Rベースの商用データ分析プラットフォーム「Microsoft R Server 9.0」を発表した。Ubuntuのサポートや機械学習パッケージの導入、Spark 2.0のサポートなどが行われている。 Microsoft R Server（MRS）はオープンソースのRエンジン上にプロプライエタリ技術を加えたデータ分析プラットフォーム。Microsoftは2015年にR言語を開発するRevolution Analyticsを買収しており、買収前まで「Revolution R Enterprise」として提供されていたものの後継となる。デスクトップ向けの無償版「R Client 3.3.2」も同時に公開した。 Microsoft R Serverとしては8.0に続くメジャーアップデートとなる。Microsoftの様々な製品で試したという最新の機械学習
データを本格的に解析する前におこなっている「データの特徴を把握する作業」のコマンド紹介です。内容はデータの作成、ファイルの読み込み、データ構造、要約、分散、ヒストグラム、インタラクティブな散布図、データを作業フォルダにcsvで保存するコマンドです。 実行コマンドはR version 3.2.2で確認しています。 実行コマンド 詳細はコメント、コマンドのヘルプを確認してください。 [code language=”R”] ###データ例の作成##### n 出力結果 ・ヒストグラムで分布の確認 ・インタラクティブな散布図 快適な閲覧環境保持のため画像にしています。実際のコマンドではインタラクティブな散布図が出力られます。 Rで解析：インタラクティブな散布図作成！「pairsD3」パッケージ https://www.karada-good.net/analyticsr/r-77/を参照 少しでも
はじめに 統計解析の手法を学ぶのに、教科書を読むのは素晴らしい学習方法です。 しかし、教科書で理論的なことを学んだだけでは、統計手法を使いこなせるようにはなりません。 統計解析手法を身につけるには、実際のデータについて手法を適用し、パラメータを変えるなどの試行錯誤を行い、結果を考察するというような経験を積むことが大切です。 それでは実際のデータをどうやって手に入れましょうか？ 実験や調査をして実際のデータを得るのは大変でお金もかかります。 幸運なことに、世の中には適度なサイズの自由に使えるデータがたくさん存在します。 例えば、統計言語 R には、100以上ものデータセットがデフォルトで付属しています。 ただし、不幸なことに、それらのほとんどは英語で説明が書かれています。 英語は、いつかは乗り越えなければならない壁ですが、最初のうちはちょっと避けて通りたいところです。 というわけで、今日は、
何の話かというと RStudioではじめるRプログラミング入門 作者: Garrett Grolemund,大橋真也,長尾高弘出版社/メーカー: オライリージャパン発売日: 2015/03/25メディア: 大型本この商品を含むブログを見る 某編集長から上記の書籍が送られてきて、「これは、次はRの本を書けという指示か？？？？」と勘ぐってみたものの、筆者はPython派なので、「これと同じことは全部Pythonでもできるんだよー」と言いたくなって、このエントリーを書き始めた次第です。ちなみに、この本、Rの入門書としてはよくできているので、これのPython版ができたら、それはそれで役に立つ気もします。 なお、このエントリーでは、あくまでコードの部分だけを書き直して、RとPythonの差異についての説明だけを行ないます。コードそのものの説明については、上記の書籍をご購入ください。 環境準備 IP
Photo by Hermann Kaser こんにちは。谷口がお送りします。 ITエンジニアの方の中には「R言語を学習したい」という方も多くいらっしゃるかと思います。 R言語は、データ分析やデータ処理に特化したオープンソースのプログラミング言語です。システムを開発をする他のプログラムミング言語とは位置付けが異なり、統計解析機能が付いていて、解析処理やその結果をグラフィカルに表示することができます。 そのため、多量のデータ解析が求められるソーシャルゲームの解析や、リサーチ、データマイニング、アソシエーション分析が必要な業務の求人が増えています。 また近年データサイエンティストが注目されていることもあり、今後求人が増えることが予想されます。 そこで今回は、プログラミング未経験～初心者の方が、なるべくコストをかけずにR言語に触れられて、学習に役立てられるコンテンツを10件ご紹介していきます。
3. 使うデータ 3 名 前 チ ー ム 防 御 率 試 合 数 勝 利 敗 北 セ ー ブ 勝 率 投 球 回 被 安 打 被 H R 四 球 死 球 奪 三 振 失 点 自 責 点 菅 野 巨 人 3.12 27 13 6 0 0.684 176 166 10 37 5 155 70 61 藤 浪 阪 神 2.75 24 10 6 0 0.625 137.2 119 10 44 2 126 48 42 前 田 広 島 2.10 26 15 7 0 0.682 175.2 129 13 40 2 158 46 41 田 中 楽 天 1.27 28 24 0 1 1 212 168 6 32 3 183 35 30 摂 津 バ ン ク ソ フ ト 3.05 25 15 8 0 0.652 162.1 138 11 42 8 146 68 55 大 谷 日 ハ ム 4.23 13 3 0 0
こんにちは、買物情報事業部でサーバサイドの開発を担当している荒引 (@a_bicky) です。 今回のエントリでは R で A/B テストの結果検証を行う方法の一例について紹介します。 エンジニアでも自分の関わった施策の効果検証のために簡単な分析をすることがあるかと思いますが、そんな時にこのエントリが役立てば幸いです。 なお、次のような方は対象外です。 A/B テストや KPI の設計に興味のある方 この辺には全く触れません プログラミング初心者 わからない単語が大量に出てくるでしょう R で統計学や機械学習の手法をバリバリ使いたい方 世の中の “分析” の多くは集計処理がメインです Python, Julia など既に分析する上で使い慣れた言語・ツールがある方 今回のエントリ程度の内容であればわざわざ乗り換える必要もないでしょう OS は Mac を前提として説明するので、Windows
『楽しいR』は、フリーの統計解析ツール「R」を使ったビジネスデータ分析の入門書。 時系列データからどんなことがわかるのか？ データに異常値が含まれていないか？ 「男性」と「女性」といった質的変数を、量的変数に変えるには？ どんなコンテンツに注力すればコンバージョンにつながるのか？ といった、データの「扱い方」「読み解き方」を学べます。 相関分析、クラスター分析、ロジスティック回帰など、ビジネスの現場で必須とされる分析手法をわかりやすく解説。サンプルデータとコマンド一覧をダウンロードすれば、コマンドをコピペ入力するだけでデータ分析の世界を体験できます。 著者インタビューはこちらから。 データの扱い方・読み方がわかる！ 実践的なビジネスデータ分析の入門書『楽しいR』著者インタビュー 仕様 書名： 『楽しいR ビジネスに役立つデータの扱い方・読み解き方を知りたい人のためのR統計分析入門』 著者：
前編の記事に引き続きShinyについてご紹介します。前編の記事では「環境構築編」として、作成したアプリケーションをShiny Serverを使って公開するまでの方法をご紹介しました。今回、後編の記事は「アプリケーション作成編」です。Shinyアプリの実装方法を理解して、実際にShiny Server上で動くWebアプリケーションを作ってみましょう。 Shinyで作れるさまざまな分析レポート Shinyではニーズに合わせてさまざまなタイプの分析レポートが作ることができます。実際のサンプルをShiny公式ギャラリーページで確認してみることにしましょう。まずは以下にアクセスしてみてください。 Shiny公式ギャラリー 公式のギャラリーページでは以下のような、さまざまなバリエーションのShinyアプリを一度に見ることができます。 このページのサンプルアプリを一通り見ておくことでShinyで作れるレ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
