日々変動する株価データを題材にPythonにおけるデータ分析のいろはを学んでいく本連載。最終回はローソク足とともにこれまでに計算したオシレーターなど一式を1つのグラフで表示する方法や過去の株価データを基にした株価予測の方法を解説します。
分析に関するatm_09_tdのブックマーク (30)
-
atm_09_td 2021/09/29
-
Pythonで利用できるSQLのリネージュ分析ツール「SQLLineage」を試してみた | DevelopersIO
こんにちは！DA(データアナリティクス)事業本部 サービスソリューション部の大高です。 データウェアハウスにおいて、データを「あるテーブル」から「あるテーブル」へSQLで投入するときに「データの流れを知りたい」というケースがあります。これは一般的に「データカタログ」と呼ばれる製品の中の機能として存在する「データリネージュ」と呼ばれるものになります。 この「データリネージュ」に関して、Pythonで利用できるSQLリネージュ分析ツールとして「SQLLineage」というツールを見つけたので、試してみたいと思います。 前提 今回利用する環境は以下のような環境です。 MacOS Python 3.9.7 pyenv と Poetry を導入済み 事前準備 まずは適当なフォルダを作成して、Pythonの仮想環境を作成します。 私はpoetryを利用しているので、以下のように作成していますが、適宜必
-
GCPのサービスを活用してSlackのやりとりを分析してみよう | DevelopersIO
CX事業本部@大阪の岩田です。以前「AWSのサービスを活用してSlackのやりとりを分析してみよう」というテーマでLTさせて頂いたことがあるのですが、GCPでも似たようなことができないか挑戦してみました。 構成 今回構築する環境です。 Cloud Scheduler → Cloud Pub/Sub → Cloud Functionsという流れでSlackの会話履歴をスクレイピングするプログラムを起動し、指定されたチャンネルの前日分の会話履歴を収集。収集したデータをJSON Lines形式でCloud Storageに保存し、Big Queryの外部テーブル経由で分析するという構成です。 環境構築 さっそく順を追って環境を構築していきましょう Secret ManagerにSlackのトークンを保存 Cloud FunctionsからSlackのAPIを呼び出すためにSlackのトークンが必
-
Elasticsearch 入門。その１ | DevelopersIO
はじめに prismatix事業部の中村です。 私が開発に携わっているEC/CRMのWebAPIプラットフォーム prismatix では検索サービスを提供しており、その内部では Elasticsearch を利用しています。 今回イチから Elasticsearch を勉強する機会がありましたので、構築方法や使い方を書いていこうと思います。 Elasticsearchとは Elastic社が提供している Elastic Stackというプロダクト群に含まれる、分散処理が可能検索及び分析エンジンです。 Elastic Stack には、下記のプロダクトが存在します。 Elasticsearch ： 心臓部となるJSONベースの検索/分析エンジン Kibana : 検索、可視化用のUI Beats ： アプリやインフラの統計情報等のデータ収集ツール Logstash ： データ収集パイプライ
-
今起きている革命、「因果革命」とは - Qiita
みなさまは"The Causal Revolution" (因果革命)という言葉を聞いたことがあるでしょうか？ 私は今月(2021年6月)に初めて知りました。Google Trendsでもデータ不足によりトレンドが表示されません。 つまりまだ全然マイナーな概念で、聞いたことがないほうが自然かと思われますが、これは「来る」と確信したため本記事を投稿しました。この確信の根拠の箇所を記事中で太字で書いた他、最後にもまとめたため、本記事を読む価値がありそうかの判断には先にそちらを読んでもらってもいいかもしれません。しかしながら、因果革命ないし統計的因果推論は学ぶ価値のある分野です。本記事を読まなくても下記に挙げた書籍を未読の方はぜひ一読してみてください。Qiitaでも因果推論についての記事はいくつもあります。しかし、私が感動した点を明示化した記事は見当たらなかったため本記事を投稿しました。 この記
-
動作が重く共有しづらい「Excel」分析はもう卒業 データ視覚化に役立つ5つのOSSを紹介
動作が重く共有しづらい「Excel」分析はもう卒業 データ視覚化に役立つ5つのOSSを紹介：視覚化のイメージやサンプルプログラム付き 先が見通せないビジネス環境で、最新かつ信頼できるデータから洞察を得る重要性はさらに高まっていますが、表計算ソフトウェアは大容量かつ最新のデータを分析するのに不向きです。そこでデータの視覚化に役立つ5つのOSSをまとめて紹介します。
-
【レポート】社会人のためのデータサイエンス入門 ~ Week1 統計データの活用 ~ | DevelopersIO
仕事のパフォーマンスには金銭的な報酬を出すのが一番だという研究結果を出すために、過去に行われた研究をまとめた研究者の方がすごいですよね… 近頃は末端冷え性がひどい、新卒エンジニアのたいがーです?末端冷え性の改善方法、どなたか教えてください… 弊社 クラスメソッドの新卒エンジニアは、10月現在も新卒研修中です。研修期間では様々な部を周り、その部の業務を体験するという形の研修をさせていただいております。おそらく大抵の企業ではここまで長い研修はあまり例がないかもしれませんが、私はいろいろな部署に関して学ぶことができ、とても楽しいです。今後の予定として、12月にDA(データアナリティクス)事業本部での新卒研修を控えています。 私は社内Slackに分報チャンネル#times-tigerを作成しており、もちろん私も書き込んだり、いろんな方が書き込んでくださったりしています。ある日、そこにDA部所属のと
-
-
エアコンが冷えすぎる問題をIoTで分析してみる - bohemia日記
こんにちは。ぼへみあです。 今年の夏は暑かったですね。エアコンが大活躍だったわけですが、多くの家庭で 「設定27度なのにエアコン冷えすぎてない？」と感じる人がいたと思います。 個人差の場合もありますが、うちの場合は計測してみると、明らかに冷えすぎていました。 エアコンの制御の仕組み エアコンはリモコンで設定温度を27度とかにして信号を送ると、その温度になるように稼働します。 エアコンの中に気温を計測するセンサがあり、部屋の気温を設定温度に近づけようと動きます。 以下は26度設定でエアコンをつけた場合の気温の推移です。計測方法などは後述します。 この場合、24.7度付近でギザギザしながら安定していることが分かります。 このときのエアコンの消費電力をグラフにすると、このようになります。 エアコン消費電力 稼働していないときは消費電力がほとんど0になり、稼働しているときは150W程度消費している
-
B'zの歌詞をPythonと機械学習で分析してみた 〜LDA編〜 - 下町データサイエンティストの日常
1. 本Part概要 前PartではB'zの歌詞を「TF-IDF」を用いた分析を行いました。 本Partではトピックモデルの一つである「LDA」を用いた分析についてお話しします。 pira-nino.hatenablog.com 2. LDAとは 2.1 LDAのイメージ 先に簡単な説明をしてしまいます。 LDAは「たくさんの文書データから単語のグルーピングを行う」モデルです。 このグループ1つ1つを「トピック」と呼びます。 例えば、大量のニュース記事にLDAを適用する例を考えます。 ニュース記事データにLDAを適用した例 LDAでは「各トピック（トピック数は予め指定）における各単語の所属確率」が算出されます。 理論的なことはさておき、文書データから単語をいくつかのグループに自動で分けてくれる手法 との理解で大丈夫です。 よく勘違いされることとして以下の2点を示します。 トピック数（いくつ
-
【Day-14】株価や仮想通貨で使える、5つのテクニカル分析を解説&Pythonで実装してみた - プロクラシスト
データ分析ガチ勉強アドベントカレンダー 14日目。 時系列データでまず思いつくのは、株価のチャートですよね。 また、最近はやっている仮想通貨。私も最近coincheckに入金しました。 ビットコイン取引所 "coincheck" やっぱ、実際にお金が絡むとちゃんと勉強しようって言う気になる！笑 せっかくチャートを見るわけだし、その見方について勉強しておこうと思いました。 そしてせっかくなので、自分で実装してどういう仕組みなのかまで知っておこうと思いました。 理系だからね、分からないものを使うのは嫌だからね。 というわけで、Python(主にPandasとMatplotlibを用いながら)でテクニカル指標についてやっていきます。扱うデータは三年分の日経平均株価。 指標について知りたい人も、自分で実装してみたいという人もどうぞ。 テクニカル分析とファンダメンタル分析 実装において ローソク足
-
-
反応、感想、そして批評－－受け手にとってより良きリアクションを生むために | タイム・コンサルタントの日誌から
わたし達は、消費社会に生きている。普段は職場で生産にかかわる仕事に従事していても、家に帰れば、消費者としてふるまう。いや、ちょっと昼飯を外に食べに行く時でさえ、消費者に戻るのだ。そうして毎日、お金を出して何かを買う。買うのはモノだったり、劇場での視聴だったり、旅行という体験だったりする。そして買ったモノや体験を、なぜかわたし達は、口に出して人に伝えたがる。考えてみれば、不思議な習性である。消費してそれで終わり、にしてもいいはずなのに、良きにつけ悪しきにつけ、何か一言いいたくなるのだ。 もっともわたし達は、自分でお金を払わない物事に対しても、あれこれと批評を口にする。TVで見る番組は、広告代という形で間接的に費用を払っているとしても、新聞で読む世の中の出来事、親戚の結婚式の体裁から、ゴミ出しの時に合う近所の奥さんの性格まで、すべて品評の俎上にのせられる。App Storeでは有償アプリも無償
-
非エンジニアにもわかるR言語で何ができるか？【データマイニング】 その２ | Sanow Labs blog（サノウラボブログ）
GMOアドパートナーズ(株)がソーシャルメディア・Web広告戦略を提供するラボサイト!Web広告のトレンドや、SEO/SEM、ソーシャルメディアの最新手法の紹介から、ニュース、インタビュー記事等を掲載していきます。実績を通じて得た経験や専門的且つ、実践的なテクニックを活かして、他社の先を行く実効性のあるマーケティング戦略論を提供します。はじめに 「風が吹けば桶屋が儲かる」 この言葉の意味をご存知でしょうか。何故、風が吹くと桶屋が儲かるのでしょう。 大風で土埃が立つ →土埃が目に入って盲人が増える →盲人は三味線を買う →三味線に使う猫皮が必要になり、猫が殺される →猫が減れば鼠が増える →鼠は桶をかじる →桶の需要が増え桶屋が儲かる ある事象の発生により、一見すると全く関係がないと思われる物事に影響が及ぶという日本古くから伝わることわざです。また、現代でも連関規則の有名な例とし
-
データサイエンティストに必要な3つのスキル | quipped
久しぶりにタイトルで釣りにいっているが、ブラウザの「戻る」ボタンを押さないでくれw ... ... ... （よし、まだ「戻る」ボタンを押してない！） ぼく自身、データサイエンティストだったことはないが、一応大学では数学を勉強していたし、金融でクオンツトレーダーもやっていたし、人生3回分（と言ったら言い過ぎか）くらいのSQLクエリは書いている。なので、これから書くことは、本屋に立ち並ぶ歯の浮く様なビッグデータ談義よりは、普遍的な価値があると自負できる。 もう一つ本題に移る前に、「データサイエンティスト」という呼称について感じる両価的な感情について軽く説明したい。 ぼくは幸いにも優秀な同僚や友人に恵まれていて、彼らの中には、データ分析屋さんでありながら、データを集めてきて（広義の）データウェアハウスに突っ込むという非常に面倒くさい一連の作業もちゃっちゃか出来る奴が2、3人いる。そういうマルチ
-
業績上昇局面に入ったトヨタに、ニッサンやスズキは追尾できるのか
1959年生まれ。栃木県在住。都市銀行勤務を経て92年に公認会計士2次試験合格。09年12月〜13年10月まで公認会計士試験委員（原価計算＆管理会計論担当）。「高田直芳の実践会計講座」シリーズをはじめ、経営分析や管理会計に関する著書多数。ホームページ「会計雑学講座」では原価計算ソフトの無償公開を行なう。 ------------ファイナンスの基礎知識が満載！------------ ★高田直芳ホームページ『会計雑学講座』★ 公認会計士・高田直芳 大不況に克つサバイバル経営戦略 大不況により、減収減益や倒産に直面する企業が急増しています。この連載では、あらゆる業界の上場企業を例にとり、どこにもないファイナンス分析の手法を用いて、苦境を克服するための経営戦略を徹底解説します。 バックナンバー一覧 「不思議な表現だなあ」と思うものに、2013年5月まで、日米の金融市場で飛び交った「緩和の縮小の後
-
Webデータ分析＆データサイエンスで役立つ統計学・機械学習系の分析手法10選 - 銀座で働くデータサイエンティストのブログ
追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 追記 回帰分析（特に線形重回帰分析） 独立性の検定（カイ二乗検定・フィッシャーの正確確率検定） 主成分分析(PCA) / 因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析（バスケット分析・相関ルール抽出） 計量時系列分析 おわりに おまけ1：「素性ベクトル＋分類ラベル」なるデータ前処理 おまけ2：グラフ理論*10 {igraph}パッケージでグラ
-
「分析眼」が欲しい人へ - デマこい！
「分析眼がある」とは、要するに「違いを認識する力」と「共通点を抜き出す力」のそれぞれを充分に持っていることだ。よく似たものを前にして「では違いはどこにあるのか？」と考える力。ぜんぜん似てないものを前にして「では共通点はどこにあるのか？」と考える力。そのどちらが欠けても、分析の眼は曇る。 私たちは、分析しながら生きている。 先月の売上目標が未達なら、その原因を分析する。予想外のヒット商品を目撃したら、成功要因を分析する。カネ儲けの世界だけではない。毎朝、目が覚めるたびに肌で感じる湿度を分析し、空の色を分析し、傘を持っていくべきかどうか判断する。相手の好みを分析して、美術館に行くべきかテーマパークに行くべきかを判断する。昼食はどうしよう、お弁当を作っていったらヘンだろうか……と、相手との距離感を分析する。いざ相手を目の前にしたら、声色や表情を分析して、好意の有無を見抜こうとする。私たちの脳みそ
-
はじめての人にもわかる「アナリティクス」講座一覧
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
-
Vensim：システムダイナミクス : 分析技術とビジネスインテリジェンス
4月29 Vensim：システムダイナミクス カテゴリ:分析技術 システム科学は様々な自然現象や社会現象の複雑さに焦点を当てる。20世紀の学問を高度に専門化・分化させ得た要素還元主義の補完的・批評的立場をとるもので、その表現手段の一つがシステムダイナミクスだと認識している。システムダイナミクスの代表事例は、経済成長の限界をエネルギーの観点から洞察した成長の限界など。Vensimは価格的にもマニュアル的にも個人での導入の敷居が低いように感じた。 システムダイナミクスの特徴は、因果構造を視覚的に表現できること、その中にループ構造（鶏と卵）が含められること、因果の時間遅れを表現できることである。このような特徴を利用すれば、たとえば、新規顧客（フロー）、既存顧客（ストック）、顧客流失（フロー）などを広告効果や口こみ、製品ライフサイクル、競合動向などと絡めてモデル化しシミュレーションしたくなる方は多
公式Twitter
- @HatenaBookmark
リリース、障害情報などのサービスのお知らせ
- @hatebu
最新の人気エントリーの配信
キーボードショートカット一覧
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Copyright © 2005-2025 Hatena. All Rights Reserved.
設定を変更しました