このデータをBigQuery DataFramesで扱います。内容としては{project_id}.data_set_test.jp_weatherのデータを使ってPandasで行う一般的な分析操作を行います。コードは以下になります。 import os import bigframes.pandas as bpd bpd.options.bigquery.project = os.environ.get("GOOGLE_PROJECT_ID") bpd.options.bigquery.location = "asia-northeast1" df1 = bpd.read_gbq("{project_id}.data_set_test.jp_weather") # df1 = bpd.read_gbq("SELECT * FROM {project_id}.data_set_test.j
先日、統計ダッシュボード機能(β)をリリースしました。記事をひとつでも公開している場合、Zennにログインすればどなたでも統計情報を表示できます。執筆頻度の確認や閲覧回数の参考にお役立てください。 本稿ではどのように実現したかについて課題とともに記録します。 TL;DR 投稿ページの表示イベントは Google Analytics から BigQuery へ連携しており、イベントデータ（BigQuery）と記事データ（Cloud SQL）をどうJOINさせるかが課題 外部接続でBigQueryからCloud SQLつなぐことにした 統計データ読み出し時、BigQueryを直接使うとクエリ毎に課金されてしまうため、BigQuery BI Engine を使うことにした スケジュールクエリを使い、BI Engineの容量に収まるように集計データを最小限にまとめる チャートは Chart.js
本記事はBigQuery Advent Calendar 2022に寄稿した記事となります。 17日目はBigQueryに直接関する内容ではなく、BigQueryで取り扱うSQLの構成について語らせていただきます。 ☕️Ice Break Who are you? / お前は何者だ？ 初めましての方は初めまして。ご存知の方はお久しぶりです。 @kazuya_araki_jpと申します。事業会社でデータ関連の職に就いている者です。 詳細はnoteの方が詳しいのでそちらをご覧ください。 Recent state / 最近何している？ 本業がﾄｯﾃﾓﾄｯﾃﾓｲｿｶﾞｼｶｯﾀYO! 法人準備中。 Splatoon 3 Introduction / 導入 ここ最近に限らずですが、BigQueryを扱う上でSQLの書き方に悩み続けています。 というのも、大昔(少なくとも私がSQLおよびデータベースを知
BigQueryのコストを抑えろ！ DeNAが取り組む「BQドクター」の実態 1年で1600万円を削減見込み（1/2 ページ） 米Google Cloudが提供するクラウドデータウェアハウス「BigQuery」。くら寿司やヤフーなど、さまざまな企業がデータ分析に活用している。ディー・エヌ・エー（DeNA）もその1社で、数百以上のプロジェクトに取り入れるなど、全社的に活用しているという。 ただ、DeNAではBigQueryの活用に課題を抱えていた。社内におけるBigQuery活用の統制・管理が徹底できていなかったことだ。特にコスト管理や、事故による予算超過を防ぐ仕組みが確立できていなかったという。 一方、DeNAでは対策も進めている。同社では「BQドクター」と題し、BigQueryの課題改善に向けた取り組みを実施している。コスト管理の仕組み作りなどを進めた結果、2022年度は年間で約1600
社内のデータマネージメントにBigQueryの監査ログを活用する話しです。 datatech-jp Casual Talks #3で発表。 https://datatech-jp.connpass.com/event/252062/ 資料内のリンク 1. データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog https://tech-blog.monotaro.com/entry/2022/03/04/090000 2. データレイク構築後の四方山話 #DPM / 20190905 https://speakerdeck.com/yuzutas0/20190905 宣伝 Twitter : https://twitter.com/__hiza__ Team Blog: https://note.com/mercari_data Meet
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
