タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
概要 troccoの生みの親で、現プロダクト責任者をしている @hiro_koba_jp です。 troccoアドベントカレンダー2022の1記事目書いていきます！（みんなも参加してね） データ分析やデータエンジニアリングにおいてETL(Extract Transform Load)という言葉を耳にしたことがある方は多いのではないでしょうか？ 一方、「ETLではなくELT（音楽グループではない）が主流になりつつある」といったような論調も増えてきました。 この記事では、ETLとELTの違いや、なぜELTにシフトしつつあるのか、この先どうなるのか（予想）について、私なりの見解を書いてみようと思います。 一昔前まではETLパターンが多かった Redshiftが登場した2013年頃、人々はデータレイク層はS3上で構築し、データウェアハウス層〜データマート層はRedshift上に組む人が多かったよう
DataEngineeringStudy #13に10Xの瀧本が登壇した際の資料です。
こんにちは。CData Software Japanリードエンジニアの杉本です。 以下の記事でも紹介されている通り、データレプリケーション・ELTツール「CDataSync」の Starter ライセンスで全データソース（現在約200種類以上）の利用が可能になりました！ www.cdatablog.jp 試しにデータソースの一覧のフルページキャプチャをしてみたところ、壮観ですねー！ www.cdata.com 通常SaaSなどのクラウドサービス上のデータはExcel・CSVエクスポート機能やAPI連携の開発を行わなければ、データをまるっと取ってくることができませんが、このCDataSyncを使うことで手軽にRDBやDWHにデータを複製して活用することができるようになります。 今回の記事ではCDataSync 無償版ライセンスの取得方法から簡単な使い方まで、ざっくりとお伝えしたいと思います。
大阪オフィスの玉井です。 今回はMeltanoというツールをご紹介します。 Meltanoとは？ 公式から引用すると「DataOps時代におけるEL(T)ツール」だそうです。 … …私の個人的な感覚で説明しますが、絶妙な位置づけのEL(T)ツールです。やることはELT（メインはEL）なのですが、とにかく位置づけが絶妙なのです。 Meltanoの絶妙なポジション データをE（抽出）してL（ロード）する…という仕組みを行いたいとき、ざっくり分けると、下記のどちらかを選ぶと思います。 手動で開発する（Pythonなど） そういうサービスを導入する（Fivetranなど） 前者は何でもできますが、人と時間のコストが半端じゃないです。後者はめちゃくちゃ楽ですが、ちょっとカスタマイズしたいみたいな時に、あまり身動きがとれません（融通が効きづらい）。 Meltanoは上記の中間に位置する感じです。コード
この記事はABEJA Advent Calender20日目、及びSnowflake Advent Calender23日目の記事になります。 はじめに 各々の技術について大雑把に紹介 Snowflake Snowpark Airbyte 環境構築 Airbyte Google Analytics Google Search Console Snowflake Connection Snowpark 今回の処理 結局Snowparkが使えると何がいいか 最後に はじめに こんにちは@Takayoshi_maです。今日はGoogle Analytics(UA) → Airbyte → Snowflake (Snowpark for Python)という流れでデータの抽出、加工を行います。 各々の技術について大雑把に紹介 Snowflake Snowflake社（ティッカーコード: SNOW）
このポストについて#このポストは datatech-jp Advent Calendar 2023 の18日目の投稿です。 web の記事で見かけた dlt というツールが気になったので調べてみた。 dlt の概要について書いていく。 What is dlt?#https://dlthub.com/ dlt とは “data load tool” の略。 雑に言うとデータパイプラインにおける ELT の Extract と Load を行う ものとなっている。 主にベルリンとニューヨークに拠点を持つ dltHub 社によって開発されており、OSS の Python ライブラリとして提供されている。 次のような特徴を持つ。 プラットフォームではなくあくまでライブラリであることが強調されているつまり Airflow, GitHub Actions, Google Cloud Functions
こんにちは！シンプルフォームの山岸です。 当社では現在、Snowflake をベースとするデータ基盤への移行に向けて、機能・非機能それぞれについて検証・構築を進めています。今回は、機能要件の中でも特に重要な要素である ELT アーキテクチャについて、具体的な実装とともにご紹介できればと思います。 アーキテクチャ 早速本題ですが、移行後のデータ基盤として以下のような ELT アーキテクチャを構築しました。 プロダクト環境として product1, product2 ... のような複数の AWS アカウントが存在しているようなケースを想定します。各環境のプロダクト用 Aurora データベースを、Snowflake 環境上のスキーマとして再現します。 Snowflake 環境にデータを取り込んだ後のモデリングは dbt で行います。Staging 層から実際に利用されるテーブルを再現する部分
こんにちは佐々木です。 それでも続くデータ分析基盤の設計シリーズの第四弾です。と思っていたのですが、その前に1個書いていたので、第五弾でした。今回は、データの民主化の概念と、ELTです。ELTと書くと、ETL（Extract/Transform/Load）の誤字でしょと言われることが多いのですが、ELT（Extract/Load/Transform）です。 データ分析基盤におけるETL処理と、AthenaにおけるUpsertの実現方法について データ分析基盤構築の肝は、データレイクとDWHの分離 データレイクはRAWデータレイク・中間データレイク・構造化データレイクの３層構造にすると良い データ分析基盤における個人情報の扱いについて データの民主化とは？ まずはじめに、データの民主化の概念の説明です。「データの民主化」あるいは「アナリティクス（分析）の民主化」とも言われます。これは、データ
Join dlt+ Early Access to upgrade your data platformThousands of companies run dlt in production, but when it comes to upgrading their Pythonic data platforms, many end up building essential components in-house to meet requirements. To address this challenge, we introduce dlt+ concepts such as Project, Cache, Iceberg, and AI workflows that are designed to be easy to use and loved by the dlt commun
※ こちらはミツモアAdvent Calendar 2021の12/20分の記事です。 こんにちは、ミツモアCTOの柄澤（@fmy）です。今回は、ちょうど1年半前ぐらいに整備したミツモアデータ分析基盤についてご紹介いたします。（記事にするのが遅くなってすみません） 全体像 ミツモアのデータパイプラインの全体像は以下のようになっています。 ミツモアのデータパイプライン このパターンはETL（Extract / Transform / Load）ではなくELTと言われ、ExtractとLoadを行ったのちに、データウェアハウスの中でTransformを実施する戦略となっています。BigQueryに代表される今日のデータウェアハウスは膨大なデータを保持し、大量の並列処理を可能とする能力があるので、一旦データウェアハウスにあらゆるデータを入れたのちに、自由にデータの変換処理をする方が筋が良いように
社内のデータを分析・活用する際は「ETL」、もしくは「ELT」を利用すると効率化を図れます。しかし、ETLとELTの違いが分かりにくくて困っていませんか。 そこでこの記事では、ETLとELTの違いや使い分けについて解説します。また、利用する際のポイントもあわせて紹介するため、参考にしてください。 まずは、ETLとELTの違いをそれぞれの特徴をもとに説明していきます。 ETL：さまざまなデータを抽出・変換してデータベースに統合 ETLとはさまざまなデータを利用しやすい形に変えて保管する工程のことです。この際、「Extract（抽出） Transform（変換） Load（書き出し）」の手順でデータを処理します。ETLという名称は、その頭文字から取られています。 社内で利用するデータは事業が長期化するほど膨大な量になります。また、保有するデータの形式や場所も別々になりがちで、スムーズに有効活用
CData Drivers あらゆるSaaS / DB へのリアルタイム連携を実現する高機能コネクタ。
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ヤマハは、「Every Little Thing」（以下、ELT）とコラボレーションした「なりきりマイク feat.ELT 持田香織 スペシャルルーム」を、ビッグエコー（第一興商）の3店舗で提供すると発表した。10月11日までの期間限定で、人の歌声を別人の歌声にリアルタイム変換する新技術「TransVox（トランスヴォックス）」の実証研究との位置付け。
別居するも、子どもが心配で2020年5月に家に戻った 2018年9月、A子さんは伊藤の同意を経て1度目の別居に至った。別居先の賃貸マンションの名義人は伊藤。伊藤はA子さんの別居先も把握している状況だった。前出の知人が語る。 「A子さんは子どもを伊藤さんの家に置いて別居していましたが、ほぼ毎日のように会っていました。朝夕のご飯を作りに自宅に通い、保育園の送迎や、夜、子どもの入浴や歯磨きを済ませて、別居先に戻るという生活を続けていました。その時のA子さんは仕事はしていたもののそこまでの経済力はなかったので、子どもたちは連れていけなかったそうです。別居費用は特にもらわず、子供の塾代、ご飯代は領収書を見せたら払ってもらえたそうです。足りない分は自分の貯金を取り崩して生活していた。 結婚について語る伊藤「結婚して子どもを育てて、その子を成人させてっていうとかなり経済的な負担がある」（YouTubeチ
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに はじめまして。 NTTデータ デザイン＆テクノロジーコンサルティング事業本部 デジタルテクノロジー＆データマネジメントユニット の nttd-nagano です。 Informatica（インフォマティカ） のクラウドデータマネージメントプラットフォームとして、「Intelligent Data Management Cloud」（※1。以下IDMCと記載）というものがあります。 今回は、そのIDMCのデータ統合サービス「Cloud Data Integration」（※2。以下CDIと記載）の機能「プッシュダウン最適化」機能
こんにちは！シンプルフォームの山岸です。 皆さん、ETL / ELT のワークフローエンジンには何を利用されているでしょうか？ Apache Airflow や、その AWS マネージドサービスである Amazon MWAA を利用されている方も多いかと思います。もしくは TROCCO や Fivetran のようなマネージドなワークフローツールを利用されているかもしれません。 当社では多くのワークフローで AWS Step Functions (SFN) を利用しています。今回、Snowflake への ELT ワークフローを SFN で実装してみたので、本記事ではその内容についてご紹介できればと思います。 背景・課題感 背景 少し前に、「Snowflake × dbt で構築する ELT アーキテクチャ」というタイトルの記事を投稿しました。詳細な説明はそちらに譲りますが、AWS 環境か
Amazon Redshift マテリアライズドビューで ELT と BI クエリを高速化 | Amazon Web Services
Amazon Web Services ブログ Amazon Redshift マテリアライズドビューで ELT と BI クエリを高速化 Amazon Redshift のマテリアライズドビュー機能は、Amazon QuickSight などのビジネスインテリジェンス (BI) ツールからのダッシュボードクエリといった反復または予測可能なワークロードで、大幅に高速なクエリパフォーマンスを実現するために役立ちます。これは、ETL (抽出、変換、ロード) データ処理も高速化およびシンプル化します。マテリアライズドビューは、頻繁に使用される事前計算を保存し、それらをシームレスに使用して後続の分析クエリでの低レイテンシーを達成するために利用できます。 この記事では、マテリアライズドビューを作成する、データ取り込み後にビューを更新する、および BI ワークロードを高速化する方法を説明します。
“Data is the new oil” — a statement that has underscored our approach to data management over the past decade. We’ve dedicated ourselves to gathering, processing, and analyzing vast volumes of data to fuel our journey towards becoming a data-driven organization. However, with the rise of ChatGPT, collecting over 1 million users in just 5 days, the landscape has shifted. This phenomenon has sparked
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
