はてなブックマーク

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋アドバイザーのうっちー（@hanon52_）です。 datatech-jp Advent Calendar 2023 の25日目の記事です。 本記事では、外部組織にデータ分析を委託するためのインフラ設計について、いくつかの論点を紹介します。 この内容は、Google Cloud Next Tokyo’23 におけるゆずたそさんの発表「データ分析の授業における Google Cloud の活用事例」を聞いた後に行ったディスカッションがベースになっています。 対象読者 外部組織にデータ提供を行っている、あるいは検討しているエンジニ

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋（@kazaneya_PR）代表 ゆずたそ（@yuzutas0）です。 この記事は、Google Cloud Champion Innovators Advent Calendar、BigQuery Advent Calendar、datatech-jp Advent Calendar 2023 24日目の記事となります。 2023年11月に、Google Cloud Next Tokyo ‘23 というカンファレンスで「大学におけるデータ分析の授業」について話をしました。 この記事は発表内容の文字起こしとなります。講演スライ

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋（@kazaneya_PR） 共同代表の竹信です。 本稿は datatech-jp Advent Calendar 2023 22日目の記事になります。 本稿でお伝えすること SaaS含むITツールのオペレーション設計の視点から、データ活用・データマネジメントの考え方を組織に落とし込んでいくアプローチについて紹介します。 参考:ビジネスプロセスの教科書をもとに筆者が図式を追加し、作図 重要だが、投資されづらい「データマネジメント」 昨今、データ分析・エンジニアリングの広がりとともに、データマネジメントにおいてもさまざまなツール

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋 データエンジニアの濱田（@hrkhjp）です。 datatech-jp Advent Calendar 2023 の4日目の記事です。 本記事では、 Digdag / Embulk と、任意のバージョンの Python の両方をインストールした Docker イメージを作成する方法について解説します。 想定する要件 Python の Docker 公式イメージ以外のイメージをベースにする Digdag と Embulk を使うため、Java 8 が必要になる そのため、ベースイメージに eclipse-temurin:8-j

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 こんにちは、風音屋 データエンジニアの妹尾です。 本記事ではdataform の SCD パッケージと dbt の snapshot 機能を比較検証した内容をご紹介します。この記事は、BigQuery Advent Calendar 2023 の 15 日目の記事です。 dataform の SCD パッケージと dbt の snapshot 機能について 両者とも、 SCD（Slowly Changing Dimension） Type2 というデータの変更履歴を取得するための手法に則って実装されています。 データ分析をする上で、

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 この記事は Google Apps Script Advent Calendar 2023の 20 日目の記事です。 風音屋の兼業エンジニアの樋口（@toiroakr）です。 風音屋は主にデータにまつわるコンサルティングを提供していますが、それに伴った業務効率化の支援も行っています。 そのため、社内での業務改善にも積極的に取り組んでいます。 この記事では、業務委託メンバーの請求作業とその支払フローの改善についての取り組みを紹介します。 課題 風音屋代表の yuzutas0 からある日飛んできた依頼 上の画像の依頼に加えてヒアリングを

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋（@kazaneya_PR）アドバイザーの笹川です。 本稿は datatech-jp Advent Calendar 2023 14日目の記事です。 本稿では、データ活用において重要な概念である「データ品質」の分類と管理プロセスについて紹介します。 関係者がデータ品質の全体像を把握できる分類方法（「データ品質の5つの分類」） 5つの分類に沿ってデータ品質担保に向けた活動（テスト / 監視など）を整理するためのテンプレート データ品質の現状を把握し、継続的に改善するためのプロセス 一方、改善方法の具体例については、個別の事例やツ

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 こんにちは、風音屋 データエンジニアの妹尾です。 この記事は、datatech-jp Advent Calendar 2023 15 日目の記事です。 ディメンショナルモデリングを採用する場合、アクセスログやGA4のファクトテーブルは、どのように設計すれば良いのでしょうか。 この疑問について風音屋でディスカッションをしました。 本記事では、ディスカッションした内容をご紹介します。 社内ディスカッションの様子 ディスカッションの様子 アドバイザーの皆様の協力もあり、課題を整理し、対応方針を洗い出すことができました。 @tvtg_24さ

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋 兼業エンジニアの “宮地克弥”（@int_tt） です。 データ分析基盤を構築するのに必要な不可欠なものとしてデータレイクが挙げられます。AWS を利用して構築する際には Amazon S3 の利用が推奨されています。 【公式参照】AWS 上でのデータレイク - Amazon S3 データレイクでデータサイロを排し、大規模で簡単な分析を可能にする Amazon S3 はデータレイク以外にも静的コンテンツ置き場として幅広い用途で利用されています。 安価かつ簡単に利用することが出来る一方、設定を 1 つ間違えると情報流出に繋がる

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋アドバイザーの渡部徹太郎(@fetarodc) です。 Snowflakeを触っていると「Snowpark」という単語にちょくちょく遭遇することでしょう。 風音屋の社長も、取引先から「Snowparkって何なの？」「Snowparkってどうなの？」と聞かれることが増えているそうです。 このブログではSnowpark for Pythonができること、できないことを具体的に紹介することで、 皆さんのSnowparkに対する漠然としたイメージをシャープにします。 Snowparkとはなにか Snowparkはプログラミング言語の開

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋の兼業データアナリスト、星野（@mochigenmai）です。 Google Workspace 利用者であれば、BI ツールとして Looker Studio を使う機会も増えてきたのではないでしょうか。 無料で簡単に利用でき、社内外に共有できる Looker Studio は、組織内の誰かが使い出すと、いつの間にか色々な場所で見かけるようになっています。 しかし、Looker Studio を大規模に利用していくと様々な問題に出くわします。 例えば、Looker Studio を利用していく中で「作成者の退職でレポートが壊

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 はじめに こんにちは。廣瀬智史 (@satoshihirose) と申します。 Looker の LookML は便利ですよね。LookML はデータモデリングを抽象化してコードによる管理を可能にし、利便性を向上させました。 LookML については Google Cloud の LookMLの紹介 で次のように説明されています。 LookML は SQL データベース内のディメンション、集計、計算、データの関係を記述するための言語です。Looker は LookML で記述されたモデルを使用して、特定のデータベースに対する SQL

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 兼業データアナリストの星野（@mochigenmai）です。 この記事では dbt 開発で使える SQL スタイルガイドを導入した話について紹介します。 SQL スタイルガイドを導入した背景 現在 dbt を利用したデータパイプライン開発が活発になってきています。 データパイプラインは「信頼性の高い分析」を効率的かつ迅速に実現するために構築します。 そのため、データの信頼性を担保する仕組みは積極的に導入したほうが良いと考えられます。 今回は以下のような点でデータの信頼性を担保できると考え、 dbt 開発環境に SQLFluff (L

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 兼業データアナリストの星野（@mochigenmai）です。 今回 dbt を利用したデータパイプラインの開発時に、SQLFluff(Linter) を動作させる GitHub Actions を構築しました。 GitHub Actions で SQLFluff を動作させる手順は kazaneya/sqlfluff-dbt-starterkit に公開しているので、よかったら活用してみてください。 この記事では GitHub Actions の環境構築時に発覚した情報漏洩リスクの原因と対策を dbt compile の仕様と合わせ

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋 アドバイザーの “たけっぱ”（@takegue） です。 データを整備できる人材が見つからない、採用できない――。 データ活用を考える多くの企業がぶつかる問題です。 どうすればデータエンジニアに来てもらえるのか。 そもそも「データの整備」はデータエンジニアだけの仕事なのか。 風音屋代表の “ゆずたそ”（@yuzutas0）さん と僕のデータエンジニア2人で考えてみました。 ※この記事は、YouTube動画「データマネジメント.fm」の第2回目「データ整備の人材獲得」 を書き起こし、加筆・修正したものです。 書き起こし・編集：

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋 アドバイザーの “たけっぱ”（@takegue） です。 Webサーバやアプリケーションなどのログが何らかのトラブルで欠損する「ログ欠損」は、データエンジニアが現場でよく遭遇するトラブルです。 しかし本などを見ても、意外と解決方法は載っていません。 そこで風音屋の創業者である “ゆずたそ”（@yuzutas0）さん と、ログ欠損が発生した際、データエンジニアとしてどのような対応をしているかを語り合いました。 ※この記事は、YouTube動画「データマネジメント.fm」の第1回目「ログ欠損が発生した際にどういった対応をしている

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋アドバイザーの山田雄（@nii_yan）です。 データ活用においてセキュリティ対策が最重要トピックであることは言うまでもありません。 風音屋でBigQueryの導入支援を行うにあたって、どのようなセキュリティ対策を行っているのかをご紹介します。 この記事の全体像 この記事は2つのパートに分かれています。 最初に、BigQuery導入プロジェクトを始めるにあたって、セキュリティ観点でどのようなコミュニケーションが必要になるかを説明します。 次に、一般的な情報セキュリティ対策である「抑止」「予防」「検知」「回復」の4つの観点にもと

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋の共同代表 @mizuki_takenobu です。 この記事ではアクセス解析ツール「Google Analytics 4」（以下GA4）のデータをSQLで扱う方法をサンプルコードとともに紹介します。 背景 2023年7月のUniversal Analytics（以下UA）の終了にあたり、デジタルマーケティング担当の方々からGA4の相談を受けることが増えています。 UAとGA4ではデータの種類や定義が異なりますし、コンソール上で試行錯誤するには限界があります。 BigQueryで柔軟に集計するニーズが高まっています。 弊社では

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 こんにちわ。風音屋アドバイザーの@nii_yanです。 風音屋の創業者であるゆずたそさんやアドバイザーの渡部徹太郎さんが執筆した書籍『実践的データ基盤への処方箋』の輪読会を行いました！ (私も本書のレビュアーとして名前が記載されています！) レビューで少しだけお手伝いさせていただいた 実践的データ基盤への処方箋 献本いただきました！ありがとうございますmm まだすべては読めてないので、これから読むのが楽しみな本です。https://t.co/0G3hn13yd5 pic.twitter.com/nUk1CZykyH — yu yam

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋アドバイザーの渡部徹太郎(@fetarodc) です。 このブログではAirflowをソースコードから起動する方法を説明します。 ソースコードから起動できると、デバッガを刺してデバッグしたり、一部書き換えて動作を検証したりと、色々便利です。 環境 macOS BigSur(11.6.4) Python 3.9.7 virtualenv 20.7.2 Airflow 2.1.3 Docker 20.10.12 Airflowのインストール 作業ディレクトリの準備 作業するディレクトリを作成し、環境変数 WORK_DIR に登録し