はじめに 旧BigQuery構成と課題点 新GCP Project/BigQuery構成 承認済みビューの設定 結果 終わりに はじめに enechainのデータプラットフォームデスクで2年目エンジニアをしている菱沼です。 本記事では、社内ユーザに対する閲覧権限をBigQueryの承認済みビューを用いて改善した例をご紹介します。 事業規模の拡大に伴い、各種データへのアクセス権限整備の重要性が増し、BigQuery上のデータも厳密な権限管理が求められるようになりました。 今回は、我々が抱えていたBigQueryアーキテクチャの権限管理上の課題と、その課題に対する取り組みについて具体的にご紹介します。 ぜひ最後までお付き合いください！ 旧BigQuery構成と課題点 データプラットフォームデスクで構築しているデータ基盤の1つに、 外部データソースから取得したデータを収集・蓄積するためのETLパ
はじめに 成功よりも失敗を学ぶ方が再現性が高く成果を出しやすい これは私がアウトプットをする上で常に心がけていることです。 あなたは普段自分の経験や体験を記事として発信しているでしょうか？ おそらく多くの人ができていないはずです。 今回は私が過ごしてきたエンジニア人生4年の中で、特に大きかった失敗談をまとめて紹介していきます。 それぞれの失敗談の詳細はリアルタイムに記事を投稿しているので、ぜひ気になった方は最後にリンクを載せていますので確認いただけると良いかと思います。 この記事はQiita Engineer Festa 2024 〜しくじりエンジニア！私みたいになるな！～の登壇内容を記事にまとめたものになります。 失敗こそアウトプットせよ 「成功よりも失敗を学ぶ方が再現性が高く成果を出しやすい」という言葉の通り、成功は人それぞれバックグラウンドが違っていたり、運も絡んでいるので再現性は低
G-gen の杉村です。BigQuery のオンデマンドクエリの利用量にフタをする、つまりスキャンデータ量に上限を設けて突発課金を防止する工夫について紹介します。 はじめに 割り当て (Quota) の設定 Query usage per day 設定手順 割り当て画面へ遷移 対象の割り当てをフィルタ 編集ボタンをクリック 割り当てを設定 新しい割り当ての確認 動作確認 クエリのサイズ上限設定 クエリ単位での上限設定 設定手順 (コンソール) クエリ設定を開く 詳細オプションの設定 動作確認 設定手順 (bq コマンドライン) 課金が想定を超えてしまった場合の検知 はじめに BigQuery の課金体系にはオンデマンドと Editions の2つから選択できます。前者はスキャンしたデータ量に応じた従量課金です。後者は確保するコンピュートリソースの量に応じた課金で、オートスケールの幅 (上限
※この投稿は米国時間 2021 年 10 月 27 日に、Google Cloud blog に投稿されたものの抄訳です。 ポケモンを捕まえたことはありますか？Pokémon GO は何百万人もの人がプレイする人気ゲームですが、非常に優れたスケーラビリティを実現しています。このブログでは、Pokémon GO のエンジニアリング チームがどのようにこの大規模なサービスを管理し、維持しているのか、その舞台裏を紹介しています。Niantic Labs のシニア エンジニアリング マネージャーで、 Pokémon GO のサーバー インフラストラクチャ チームを率いる James Prompanya 氏に、この大人気ゲームを支える アーキテクチャについてお話を伺いました。動画をご覧ください。 Priyanka: Pokémon GO とは？ James: これは典型的なモバイルゲームではあ
WCSC31(第31回 世界コンピュータ将棋選手権)の決勝に進出した8チームのうちDL勢はPALのみ。昨年末の電竜戦で優勝したGCTは、そこから+R250ぐらいになっているにも拘らず予選落ち。強くなっているとは何だったのだろうか？ 長い時間での伸び WCSC31の持ち時間(15分1手5秒加算)は、電竜戦の持ち時間(10分1手2秒加算)よりもずいぶん長い。長い持ち時間になった時に従来型の将棋ソフト(NNUE勢)と、DL勢とでは、どちらが有利なのだろうか。 私が以前計測した時は、電竜戦優勝modelのGCTで3000ノード(RTX 3090で0.05秒ぐらいに相当)と240ノード(RTX 3090で4秒ぐらいに相当)に増やした時の伸びは、NNUEを同じだけの倍率だけ探索量を増やした時と同じ程度であった。 // 将棋ソフト、長時間の対局は、Deep Learning系に軍配が上がるのか？ : h
Cloud Runを使ってApache + Laravelのアプリケーションをデプロイする方法です。（Cloud SQLについては触れていません） Cloud Runについては過去にnoteを書いてますので見てみてください。 デプロイの流れ分かりやすいようにざっくりイラスト化してみました ファイル構成srcディレクトリにはLaravelのプロジェクトコードが入っています。 Dockerfileの作成CloudRunはDockerComposeではなくDockerfileを簡単にデプロイするサービスなので、同じコンテナにLaravelとApacheの環境を作ります。 イメージはcomposerとphp-apacheを利用します。 FROM composer:latest as build WORKDIR /app COPY . /app FROM php:7.3-apache COPY ph
概要 前回構築したGCPのデータ分析環境にJupyter等を入れてブラウザでアクセス出来るようにし、分析を実行できる環境を構築する方法のメモです。 rf00.hatenablog.com Anacondaのインストールと、ファイヤーウォールの設定のみで簡単に可能です。 Anacondaのインストール まずはインストールする対象のインスタンスをSSHで接続します。 今回は画像の用にCompute Engie>VMインスタンスの画面から「SSH」をクリックしブラウザからアクセスします。 ダウンロード用のフォルダを作って、そこにanacondaのインストール用ファイルをダウンロードします。 mkdir downloads cd downloads wget http://repo.continuum.io/archive/Anaconda3-4.0.0-Linux-x86_64.sh bash
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 BigQuery サンドボックスを有効にする BigQuery サンドボックスでは、制限付きの BigQuery の機能を料金なしで試すことができるため、お客様のニーズに適合するかどうかを確認できます。BigQuery サンドボックスでは、クレジット カード情報の登録、請求先アカウントの作成を行うことなく、BigQuery を体験できます。請求先アカウントがすでに作成されている場合でも、無料枠で BigQuery を料金なしで使用できます。 BigQuery サンドボックスの使用を開始する Google Cloud コンソールで [BigQuery] ページに移動します。 [BigQuery] に移動 ブラウザで次の URL を入力して、Google Cloud コンソールで BigQu
フィードバックを送信 Jupyter ノートブックで BigQuery データを可視化する コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このチュートリアルでは、Vertex AI Workbench のマネージド Jupyter ノートブック インスタンスで、Python 用の BigQuery クライアント ライブラリと pandas を使用してデータを探索し、可視化する方法について説明します。データ可視化ツールは、BigQuery データをインタラクティブに分析して、データから傾向を特定し、分析情報を伝達するのに役立ちます。このチュートリアルでは、Google トレンドの BigQuery 一般公開データセットに含まれるデータを使用します。 目標 Vertex AI Workbench を使用してマネージド Jupyter ノートブック インスタン
JavaScriptのConsole APIには、ロギングで良く使うconsole.log以外に、console.infoやconsole.errorなど、ログに「情報」や「エラー」といった色をつけるメソッドがあります。 一方、Google Cloud Platform(GCP)のログビューアの「重大度(SEVERITY)」という概念があり、ログごとに「INFO」や「ERROR」などの意味合いを持たせることができます。 では、Console APIとGCPの「重大度」はどのような関係になっているのでしょうか？ 実験してみたので、この投稿ではその結果をお伝えしたいと思います。 結論 先に結論を示します。JavaScriptのConsole APIのメソッドの違いは、基本的にGCPの重大度に影響しません。ただし、console.warnとconsole.errorがErrorオブジェクトをロギ
本稿では、Google Could Platform(GCP)のGoogle Cloud Functions(GCF)で、Node.jsのロギングライブラリwinstonを使ったログの記録方法を説明します。 この投稿で学べること winstonをGoogle Cloud Functionsの関数に組み込む方法 winstonのメソッドの呼び出し方 winstonでオブジェクトの値をロギングする方法 winstonで記録したログの読み方 この投稿では説明しないこと winstonを使ってStackDriverにロギングする方法 winstonを使ってStackDriverに「重要度」をつけながらロギングする方法 winstonとStackDriverを組み合わせると、より自由度が高く分析しやすい構造でロギングすることが可能なりますが、この投稿ではそれについては説明しません。winstonを単
前回、Google Functions: console.infoやconsole.errorなどとログビューアの「重大度」の関係性という記事を投稿しました。そこではconsole.errorやconsole.infoなどのConsole APIでは、GCP上のログの重要度(severity)は、DEFAULTかERRORの二択になるということを説明しました。 GCP上の重要度はこの2つしか無いわけではなく、以下の9つのレベルがあります。 この投稿では、Google Cloudのロギングクライアントライブラリを使って、Cloud Functionsでも重要度を指定したロギングをする方法を説明します。 この投稿で学ぶこと Google Cloud Function & Node.jsで@google-cloud/loggingを使って重要度をつけたログを記録する方法 そして、その面倒くささ。
United States Dollar (USD)Australian Dollar (AUD)Brazilian Real (BRL)Canadian Dollar (CAD)Swiss Franc (CHF)Czech Koruna (CZK)Danish Krone (DKK)Euro (EUR)Great Britain Pound (GBP)Hong Kong Dollar (HKD)Indonesian Rupiah (IDR)Israeli New Shekel (ILS)Indian Rupee (INR)Japanese Yen (JPY)South Korean Won (KRW)Mexican Peso (MXN)Malaysian Ringgit (MYR)Norwegian Krone (NOK)New Zealand Dollar (NZD)Polish Zl
※この投稿は米国時間 2020 年 4 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。 ほとんどのソフトウェア デベロッパーがご存じだと思いますが、API 設計には RPC と REST の 2 つの主要なモデルがあります。モデルに関係なく、ほとんどのモダン API は、なんらかの方法で同じ HTTP プロトコルにマッピングすることによって実装されます。また、RPC API 設計では、RPC モデルの範囲から外れずに HTTP から 1 つまたは 2 つのアイデアを採用することが一般的になっています。これにより、API 設計者に提示されるオプションの範囲が広がりました。この投稿ではこれらのオプションについて説明し、どれを選ぶか決める際に役立つガイダンスを提供します。 gRPC は RPC API を実装するためのテクノロジーで、HTTP 2.0 をその基盤
公式ドキュメント 対象 ・ターミナル、テキストエディタ(vimなど)の扱いができる方 ・音声ファイルを自動で書き起こししたい方 料金 最初の60minは無料です。 また、音声ファイルから、翻訳された音声の長さに基づいて算出されるそうです。 詳しくは公式ドキュメントをご覧ください。 https://cloud.google.com/speech-to-text/pricing?hl=ja 向いている音声 ・複数人ではなく、1-2人の音声 ・雑音が少なく、はっきりと聞き取れる音声 当方の環境 ・Mac（catalina 10.15.3） #事前準備 1 まず、GCPアカウントを作成し、コンソールにログインし、適当なプロジェクトを作成する → クレジットなど、支払い情報も登録しておくこと 2 ナビゲージションメニューから、「APIとサービス」を選択しダッシュボードに入ってください。 3 認証情報
概要 GCPにあるGAEに対してアクセスする場合、認証のためにIAPをつけることが多いハズ その際にrequest clientに対して認証情報を付ける方法についてまとめる サービスアカウントを作る サービスアカウントは以下の通りに作成できる https://cloud.google.com/iam/docs/creating-managing-service-accounts?hl=ja 先程のサービスアカウントをIAPのアクセスユーザとして追加する 先程のサービスアカウントに対してGAEに対する権限を付ける。（IAP-secured Web App Userとして先程のサービスアカウントをつける。 コードのサンプル実装 dependencies { implementation "org.jetbrains.kotlin:kotlin-stdlib-jdk8" // https://m
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
