こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy の seya (@sekikazu01)と申します。 弊社では今 LLM をプロダクトに活用しているのですが、実際にユーザに提供するクオリティのものを作る・運用しようとすると様々な課題が立ちはだかってきました。 そんな数々の課題を解くために LangSmith というツールが活躍してくれた、また今後の活用・発展にもかなり期待ができるため、本記事ではそんな LangSmith について解説していきます。 LLM を使ったプロダクト開発において課題を感じている方々の参考になれば幸いです。 出てきた課題 まず LangSmith 自体の解説に入る前に、我々が直面した・ほぼ間違いなく今後するであろう課題たちをサラッとご紹介しようと思います。 大まかには次のような課題がありました。 プロンプトがアプリケーションコード内に書か
MLOpsはSoftware2.0のためのDevOpsであり、顧客自身のデータから半自動で顧客体験を改善できるようにします。これまではMLOpsと既存のSoftware1.0のためのDevOpsは独立していましたが、組み合わせることでSoftware2.0の弱点である確率的な挙動を抑制しより安定したサー…
最近こちらのサイトを参考にfeature storeに関して勉強してみたので、今回はそのメモです。 www.featurestore.org Why：なぜ必要か？ 機械学習の実運用時の困りごと 実験環境と本番環境を揃えたい 過去のある時点の状況を再現したい 特徴量に関する車輪の再発明をなくしたい 歴史的経緯 What：Feature Storeとはなにものか？ 求められる要件 共有性 学習系と推論系の一貫性 Feature Engineeringと透明性 バージョン管理と再現性 ガバナンスとアクセスコントロール バッチとオンライン処理 How：どうやって実現する？ 標準的なFeature Storeの構成 Serving Storage Transformation Monitoring Registory その他、主なプロダクト群 OSS Feast Hopsworks Rasgo マネ
はじめにこんにちは、SAIG/MLOpsチームでアルバイトをしている板野・平野です。 今回は「LLM開発のためにMLOpsチームがやるべきこと」というテーマで、従来のMLOpsとの違い・ツール・構成例等について調査・整理しました。 LLMとはLarge Launguage Model（大規模言語モデル）の略であり、ここでのLLM開発とは、「LLM自体の開発」および「LLMを活用したシステム開発」の両方を含むものとします。LLM開発のフローについては以前にLLM開発のフローで詳細を説明しているので、ぜひ併せてご覧ください。 まず、MLOpsとは「機械学習モデルの実装から運用までを円滑に推進するための手法や考え方」のことです。AIの社会実装が増えるに伴い、MLOpsチームを設ける企業も増えてきました。また、最近ではLLMやその関連技術が急速に発達してきており、今後LLMを用いたアプリケーション
こんにちは、データエンジニアの@masaki925 です。 この記事はMLOps Advent Calendar 2020 の19 日目の記事です。 MLOps には、その成熟度に応じて3つのレベルがあると言われています。 MLOps レベル 0: 手動プロセス MLOps レベル 1: ML パイプラインの自動化 MLOps レベル 2: CI / CD パイプラインの自動化 私の所属するチームでは現在ここのレベルを上げるべく取り組んでいますが、その中でデータサイエンティスト(以下、DS) とデータエンジニア(以下、Dev) の協業って難しいよな〜と思う事例があったので紹介したいと思います。 想定読者は以下のような方です。 これからMLOps を始めようとしている方 既存プロジェクトがあり、ML 等を使ってエンハンスしていきたいと考えている方 異文化協業に興味がある方 ML ワークフロー
東京都立大学大学院で非常勤講師として、「機械学習プロジェクトの開発について(MLOps) 〜推薦システムを題材に〜」というテーマで講義をしました。９０分×３コマの集中講義で、演習も含めたものです。 自分が学生だった頃に、社会人の方の資料や講義がとても参考になってありがたかったので、講義資料を公開します。少しでも推薦システムやMLOpsの参考になりましたら。
皆さんこんにちは。スリーシェイク代表の吉田です。 今回より生成AIを、金融業界や製造業、医療業界など各事業ドメイン固有の課題解決にどう使われているのか、具体的なユースケースを提示しながら、それを実現するアーキテクチャについて解説していきます。この連載を通して、これまで生成AIを実際のシステムに組み込むイメージが湧かない方への第一歩として手助けになれば幸いです。 第1回は、生成AI自体の一般的な得意不得意を踏まえながらユースケースを解説します。 生成AIが得意とする処理とは？ 生成AIが得意とするのは、「専門性のない一般的な知識をベースにした」テキスト生成、コード生成、画像認識や画像生成が挙げられます。RAG（Retrieval-Augmented Generation）やプロンプトエンジニアリングにより固有ドメインに特化させることは可能ですが、教師あり学習データを前提としたMLやDeep
こんにちは。CADDiのAI LabでMLOpsエンジニアをやっている中村遵介です。 MLOpsチームは今から3ヶ月前に立ち上がったばかりの新しいチームなのですが、その前身としてAPI基盤を作っていた時期があったので、そこで得られた知見を書いていこうと思います。 背景 CADDiのAI Labは2021年の12月に立ち上がった今月1才になったばかりの組織です。その若さにも関わらず、日々有用なMLモデルが作成されていっています。 そのような中で、「新しく作ったMLモデルを素早くユーザにデリバリーしたい」という話が上がるようになりました。ここでいうユーザとはCADDi社員や社内システム、公開アプリケーションなどを指します。 そのため、AI Lab内で簡単に使用できるAPI基盤を作成することにしました。具体的には以下の体験を作ることを目指しました。 開発者に提供するAPIデプロイ体験 推論コード
本記事はMLOps Advent Calendar 2020の13日目の記事です。 こんにちは。昨年本番環境のComposerでやらかしちゃった人です。今年は比較的平穏に機械学習を使用したサービス開発・運用に携われています。 携わっているサービスの1つで「MLOpsに必要な情報BigQueryに全部おいてみた」ところ想像以上に便利だったので、その方法について共有させてい頂ければと思います。 なお本記事でのMLOpsは 予測モデル/ハイパーパラメータのバージョン管理・デプロイ履歴管理 推論結果の精度監視 + 入力データの傾向監視 を指しています。 特に今年はコロナでビジネス環境が日々絶えず変化しているため、これらの施策がサービス品質担保に大きく貢献してくれました。 背景 毎日一回24時間先までバッチで未来予測し、結果をAPIサーバーにキャッシュする単純なMLサービスに携わっています。なお、予
このブラウザ バージョンのサポートは終了しました。サポートされているブラウザにアップグレードしてください。
2020年7月から医療スタートアップのUbieで機械学習エンジニアをしています。ようやく入社から半年くらいが経ちましたので、ここ最近やっていた仕事として、機械学習プロダクトの精度向上のためにシステム全体をフルスクラッチでかつ一人で実装し直した話をしたいと思います。 機械学習は既に様々な会社でプロダクトに組み込まれ始めていると思いますが、サービスとしてのリリースや長期運用、そして今回お話する継続的な精度向上とリファクタリングについては、公開されている知見はまだまだ少ないと思います。もし同じような境遇の機械学習エンジニアの方への参考になれば幸いです。 tl;dr 精度向上のために、機械学習プロダクト全体をフルスクラッチで書き直した 開発スピードを上げるためには、既存のコードを流用するより新規で書き直すほうが良いような特殊な状況だった 機械学習タスクの実装は、可視化やテストなどを活用しつつ小さく
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーでデータエンジニア兼マネージャーをしている安藤です。 社内で利用しているAIプラットフォームの構築、提供を担当しています。 ヤフーには100を超えるサービスがあり、各サービスのデータ＊1が蓄積されています。ヤフーではこれらのデータをマルチビッグデータと呼んでいます。マルチビッグデータを利用し、ユーザの利便性やサービスの質向上のため、AI、機械学習の導入が増えています。 今回は、社内で急速に利用が進んでいる内製のAIプラットフォームを紹介します。 ＊1 この記事で取り扱っているデータは、プライバシーポリシーの範囲内で取得したデータを個人が特定できない状態に加工しています。 AIプラットフォーム開発の目的 AIプラッ
StreamlitはPythonだけでwebアプリを作ることができるツール（ライブラリ）です。フロントに関する知識がほとんど不要なため、簡単なダッシュボードやデモアプリを作るのに適しています。公式のページでは様々なサンプルアプリが公開されています。 ところで機械学習（特に深層学習）モデルでは、例えば画像1枚あたり数秒の推論時間がかかることもあります。Streamlitは機械学習のデモアプリ用途としても適していると思いますが、推論に時間がかかる場合にいちいち推論完了を待つのは退屈かもしれません。ここではPythonのwebフレームワークであるFastAPIを組み合わせることで、推論を非同期で行う画像認識アプリケーションを作ります。 コードはこちらに配置しました。 アプリ内容 StreamlitによるGUIは以下のようになります。画像をアップロードし、「Submit」ボタンを押すことで画像認識
DeNA には優秀な Kaggler が多く在籍しており、機械学習の課題発見や高精度なモデリングに大きな強みを持っています。一方で機械学習モデルのプロダクション化は Kaggler の開発サイクルと比べて時間がかかりがちです。 そこで、DeNA では Kaggler が自身の得意分野に注力しつつ自…
※この投稿は米国時間 2024 年 8 月 31 日に、Google Cloud blog に投稿されたものの抄訳です。 生成 AI アプリケーションは誰が管理すべきでしょうか。AI 関連の所有権はデータチームが持つことが多いものの、生成 AI アプリケーションに固有の要件はデータチームや AI チームの要件とは明らかに異なり、DevOps チームとの類似点が多いこともあります。このブログ投稿では、これらの類似点と相違点を探り、生成 AI アプリケーション独自の特性を扱う新たな「GenOps」チームの必要性について検討します。 「データからモデルを作成する」ことを目的とするデータ サイエンスとは対照的に、生成 AI は「モデルから AI 対応サービスを作成する」ことに関連しており、既存のデータ、モデル、API の統合に関与するものです。このように見ると、生成 AI は従来のマイクロサービス
DeNA / MoT共同のAI技術共有会で発表した、Airflow入門資料です。
こんにちは！LayerXバクラク事業部 OCRチーム ソフトウェアエンジニアの秋野（@akino_1027）です。 この記事では、バクラクシリーズの機能であるOCRのテスト基盤について紹介していきます。 ※本記事は LayerX Tech Advent Calendar 2022 11日目の記事となります。 背景 バクラクでは手入力ゼロを目指すべく、 OCR機能（文書の読み取り機能）を提供しています。 以下、OCRで書類が読み取られる様子 www.youtube.com OCR機能は「手入力不要」という価値に直結するため、OCR精度を常に高い水準で保っておく必要があります。 安心してコード変更を取り込めるように 今まで読み取れてたのに読み取れなくなった書類はないか 新たに読み取れるようになった書類はどれか を確認する仕組みが必要でした。 OCRテスト基盤の開発 そこでOCR精度を担保するた
PyData.Tokyo Meetup #23での発表資料です
MLOpsという言葉からは運用という印象を受けますが、MLOps製品の機能やMLOpsカンファレンスの発表内容をみると、印象とは異なります。本スライドではなぜMLOpsがバズワードなのか紹介しますRead less
パターン認識・メディア理解研究会（PRMU）2021年10月開催にて発表した資料です。 https://www.ieice.org/ken/program/index.php?tgs_regid=afad0a06f26b0ba058f7a46268673bddbbff4c3927f68a0206a4d…
LLMOps基盤のシステムアーキテクチャ目次− 目次 − 対象読者 − TL;DR − 背景：LLMアプリケーション運用の課題 − LLMOps基盤のシステムアーキテクチャ −− 主なコンポーネントと役割 −− Langfuseを採用した理由 − 評価ドリブンなリリースライフサイクルの全体像 − オンライン評価プロセス −− 1. ログ・トレースデータの保存 −− 2. 評価とアノテーション − オフライン評価プロセス −− プロンプト実験 −− LLMアプリケーション統合実験 − 今後の展望 − 終わりに − 参考文献 こんにちは！Eureka AI Teamで、Pairs（ペアーズ）のMLOps Engineerをしているnariです。 こちらは、Eureka（Pairs） Advent Calendar 2024 の10日目の記事です。 本日は、私たちが構築した「LLMOps基盤」と
クックパッドでデータにまつわるあれやこれやをずっとやってる佐藤です。分析・調査に仮説検証にデータパイプラインにと色々やってました。ちなみに先日はCyberpunk2077休暇をとるなどという呑気なことをしていたら、この記事でやりたかったことがほぼできそうなサービスがAWSから発表されて頭を抱えながら書いています。 そのログはどこまで信頼できるのか クックパッドではサービス改善のためにWebサイトやアプリからログを収集して開発を行っています。これらのログは集計された後、ダッシュボードの形で可視化されてサービス開発者たちの意思決定を支えています。 クックパッドのログ基盤はログ送信側（クライアントサイド）もログ格納側（DWHサイド）も十分に整っており、いつでも必要であれば簡単にログを送信・集計するだけの仕組みができあがっています。 アプリログにおける大雑把なログ収集の図 （注:例として上図を載せ
「もう悩まない！機械学習モデルのデプロイパターンと戦略」を解説する動画を公開しました！ | Amazon Web Services
Amazon Web Services ブログ 「もう悩まない！機械学習モデルのデプロイパターンと戦略」を解説する動画を公開しました！ 「ML Max。こんばんは。」 ということで今回はシックなナレーションから始まりました、機械学習の価値を最大化するための解説動画、ML Enablement Series (※)の、 Amazon SageMaker 推論 Part3（前編）もう悩まない！機械学習モデルのデプロイパターンと戦略【ML-Dark-05】【AWS Black Belt】 を公開しました。 ※ ML Enablement Series とは、機械学習プロダクトにかかわる全ての人向けの機械学習の知識をお届けする Light パートと、機械学習のマネージドサービスを活用して MLOps を推進したいエンジニア向けの Dark パート から構成されており、週１回を目安に Light と
1. Mobility Technologies Co., Ltd. GOの機械学習システムを支える MLOps事例紹介 開発本部 AI技術開発部 MLエンジニアリンググループ 鈴木 隆史 2. Mobility Technologies Co., Ltd. 自己紹介 2 鈴木 隆史 | Takashi Suzuki 開発本部 AI技術開発部 MLエンジニアリンググループ ● 2019年DeNA入社 機械学習の実験基盤やパイプラインの設計開発を担当 ● 2020年Mobility Technologies転籍
こんにちは。メルカリの画像検索チームでTech Leadをしています葛岡です。 今回は、メルカリのMLシステムの中で一、二を争う複雑なシステムである画像検索の基盤を再設計し、経済的にも技術的にもみんなが幸せになったお話をしたいと思います。 画像検索ってなぁに？ その名の通り、画像をベースに視覚的に似ている商品を検索する機能です。この機能は２年ほど前にリリースされていて、すでにiOSバージョンのメルカリではご利用いただけます。 当時のシステムはブログ記事になっているので、ご確認ください。 再設計？なにそれ？おいしいの？ さてこの機能を支えるシステムですが、当時開発されて以来、大きな再設計などは特になく、つい最近まで運用されていて、画像検索やその他のメルカリサービスでも内部的に呼ばれていて、プラットフォーム的な立ち位置を担っていました。 画像検索は定期的に新しい画像インデックスを構築するのです
はじめに こんにちはGunosy Tech Labの森本です。現在MLOps基盤を再整備しています。そこで調査した海外Tech企業の事例やMLOpsのフレームワークを紹介します。 Gunosy Tech LabのMedia MLチームではニュースアプリ（グノシー、ニュースパス、ルクラ）やクーポンアプリ（オトクル）の推薦アルゴリズムの改善を中心に機械学習を活用してアプリのサービス改善を日々行っています。過去にはチームが独立しており開発者も少数であったことから各チームがJupyter Notebook等でオフライン実験を行い、良い結果のものは本番環境に適用するためプロダクションコードを書き、レビューを行い、本番環境でA/Bテストするという流れでした。最近は開発者の人数も増え横断的にアプリのサービスを改善しているので、より効率的なMLOps基盤が求められています。 はじめに MLOpsとは 実現
機械学習システムデザインを読んだ。世界基準の機械学習システム開発の要点を理解するにはこれ一冊読めば大丈夫 2024-07-02 機械学習システムデザイン ―実運用レベルのアプリケーションを実現する継続的反復プロセス を読み終えたので、感想を記しておく。 自分は6年半のプロダクション環境下での機械学習システム開発経験、バックエンド開発経験がある中でのレビューとなる。 転職後は機械学習エンジニアのポジションとして働くので、Chip Huyenさんが2022-06-21 に出版した書籍であるDesigning Machine Learning Systems: An Iterative Process for Production-Ready Applicationsが2023/9/1に日本語訳されていたので良い機会なので読んでみた。4h30mぐらいで全てを読むことができました。 全体的な感想と
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo!広告にてデータアナリストをしている國吉です。 ヤフーでは、「Yahoo!広告」という広告出稿サービスを提供しており、それに付随して、広告を出稿するクライアントを支援するためのソリューションを提供しています。本記事では、私が開発に携わっている「Yahoo! JAPAN 予測ファネル」（以下、予測ファネル）という広告配信ソリューションについてご紹介します。予測ファネルを開発するにあたっては、ビッグデータを用いて機械学習モデルの作成と推論をするため以下の課題がありました。 学習時のメモリリソースの確保、推論時間の短縮が必要 ソリューションのリリース後には数多くのモデルが作成されモデルの管理が煩雑になる 本記事では
はじめに MLOps 成熟度モデル というものをご存知でしょうか。〇〇成熟度モデルというのは他の概念(例：DevOps)についても定義がされており、人、プロセス、テクノロジを定性的に評価するためのフレームワークになります。 近年 機械学習(ML)による意思決定・アプリケーションの高度化が一般化しており、実運用が進められていますが、MLシステムの運用は DevOps のプラクティスだけでは難しいため、ML特有の課題に対処するための MLOps という概念が生まれました。 MLOps 成熟度モデルとは、組織・チームが人・プロセス・ツールの観点から MLOps に対してどの程度成熟しているかを判断するためのフレームワーク になります。このモデルを元に成熟度を計ることで、立ち位置を把握し MLOps の改善につなげることが可能です。 MLOps 成熟度モデルは、Google Cloud、Azure
はじめに こんにちは。検索基盤部の倉澤です。 私たちは、ZOZOTOWNの検索機能の改善に取り組んでいます。ZOZOTOWNのおすすめ順検索ではランキング学習を用いた検索機能の改善に取り組んでおり、A/Bテストにて効果を測定しています。 ランキング学習やElasticsearch Learning to Rankプラグインについては過去の記事で紹介していますので、併せてご覧ください。 techblog.zozo.com techblog.zozo.com 私たちは、機械学習モデルの開発からデプロイまでの一連の処理を実行するワークフローの構築にGoogle Cloud Platform（GCP）のVertex AI Pipelinesを利用しています。 本記事では、Vertex AI Pipelines採用前の運用とその課題点について説明し、次にVertex AI Pipelinesで構築し
近年、機械学習（ML）やディープラーニング（DL）といったAI関連技術をプロダクトへ応用し、新たな価値を生みだそうという動きが加速しています。その中で、従来の「DevOps」の考え方を、機械学習向けに発展させた「MLOps」という新しい概念が生まれ、注目を浴びています。MLOpsが注目される背景には、どのような課題があるのか。そして、実際に現場でMLOpsに携わる人々は、何を目指し、どんな取り組みを行っているのか。ヤフーとLaunchableで、それぞれMLOpsをリードしている2人のエンジニアに語っていただきました。 機械学習システムの普及を契機に関心が高まる「MLOps」 黒松：ヤフーの黒松です。私は大学時代に、ビッグデータを研究テーマにしており、OSSとして当時注目されていたHadoopなどを扱っていました。卒業後は富士通研究所に入り、基盤研究の一環として、機械学習のための基盤を作り
はじめに こんにちは。MonotaROで機械学習エンジニア兼、Tシャツのモデルを務めている新卒3年目の長澤です！ 最近は健康のためにスポーツをしているのですが、そのスポーツの疲れで日々が辛くなってきました。観戦と自分で身体を動かす方の割合(重み)をバンディットを使ってうまく最適化していきたいこの頃です。 今回は、自分がここ1,2年(2023~2024)で取り組んできたMonotaROにおけるMLOpsの取り組みについて、実例を交えながら紹介します。MLOpsの実例はあまり世の中に出回っていないので、一つの事例として読んでもらえれば嬉しいです。 はじめに この記事で紹介すること この記事で紹介しないこと MonotaROにおける機械学習エンジニア パーソナライズドランキングとは MLOpsに取り組むにあたっての背景と課題 MLOpsのプロジェクトスタート時 MLOpsとりあえず始めてみる期
こんにちは，コミューンで一人目の機械学習（ML）エンジニアとして働いている柏木（@asteriam_fp）です． 入社して５ヶ月ほど経ちましたが，今回漸く最近の取り組みを紹介できそうです．ML エンジニアは僕一人なので，専らの相談相手は ChatGPT 君の今日この頃です笑 はじめに コミューンでは，企業とユーザーが融け合うコミュニティサクセスプラットフォームである commmune を提供しています．今回のブログは先日のプレスリリースでも発表された投稿レコメンド機能を commmune に導入したので，その機能を裏側で支えている機械学習基盤に関する内容を紹介します． エンドユーザーに対して提供される機械学習システムを導入するのは初めての試みになり，まさにゼロからの出発なので，これから徐々に大きく育てて行く予定です！ はじめに コミュニティプラットフォームにおける機械学習の可能性 投稿レコ
This document summarizes research on generating adversarial examples to fool AI systems. It discusses 3 key papers: 1. Goodfellow et al. (2015) which introduced the concept of adversarial examples and showed they are common for deep learning models. 2. Carlini & Wagner (2018) which generated audio adversarial examples targeting speech recognition systems. They added imperceptible noise to audio to
この記事は、Merpay Tech Openness Month 2020 の17日目の記事です。 こんにちは。matchanです。 今回は、機械学習チームの取り組みのひとつ、不正検知システムに機械学習を導入した話の紹介になります。（不正検知システムについてはこちらの記事もご覧ください。） はじめに これまでメルカリ・メルペイでは、サービスが拡大・成長していくに伴い取引数が増加してきました。一方で、不正検知数も増加していき、それに伴うオペレーション負荷も増加していくという状況が課題になっていました。サービスの拡大・成長は今後も続いていきます。限りあるリソースを考えれば、オペレーション負荷が単調に増加していくままではいけません。 単純に検知数を削減するという対策では、不正検知システムのクオリティの低下になります。そこで、検知数を削減しつつも疑わしい取引を検出でき、オペレーション負荷の低減と検
連載目次 MLOpsコミュニティーは「全ての機械学習モデルが現場で実運用化される世界」を目指して2020年夏に始まりました。月1回程度の頻度での活動を目指し、勉強会やワークショップ、ディスカッションなどを行うことで、今後のAI技術の発展に非常に重要な、MLOps（機械学習の実運用化）の普及に貢献していきます。 このレポートでは、2020年8月に行われた第1回勉強会の様子をお伝えします。300人以上の参加者がリモートで参加し、大盛況のイベントとなりました。当日の様子はツイッターでも盛んにつぶやかれ、こちらにそのまとめがあります。 なぜ今MLOpsなのか by シバタアキラ はじめに、オーガナイザーチームの一人である、DataRobot Japanのシバタアキラから、なぜ今MLOpsが注目されているのかをお話しました。まず300人以上にGoToWebinarのアンケート機能を使って質問しました
アマゾン ウェブ サービス（AWS）が、2020年9月8～30日に開催したオンラインのユーザーイベント「AWS Summit Online」に、東大発のAI（人工知能）ベンチャーであるアイデミー 社長の石川聡彦氏が登壇。「製造業におけるIoT×AI/ML基盤の構築とその運用事例」をテーマに講演を行った。本稿は、この石川氏の講演内容に、別途行った取材の情報を追加して構成した。 「MLモデルができた後から長い戦いが始まる」 2014年6月設立のアイデミーは、製造、金融、SIerなど企業向けを中心に50社以上に同社のAI技術が採用されている。これら採用企業の内、実に6割が製造業となっていることから、製造業が重視するIoT（モノのインターネット）とAIの活用に関するさまざまな知見やノウハウを持つ。 石川氏はまず、AIの主要技術となっているML（機械学習）で重視すべき「MLOps」について説明した。
これまで私がAIに対するテストで経験したことから得た知見です。 どういった問題があって、どういった対応をしたかを4つのChapterで説明しています。 This is the knowledge I have gained from my experience with testing AI thu…
こんにちは。ECプラットフォーム部データエンジニアの遠藤です。現在、私は推薦基盤チームに所属して、データ集計基盤の運用やDMP・広告まわりのデータエンジニアリングなどに従事しています。 以前、私たちのチームではクエリ管理にLookerを導入することで、データガバナンスを効かせたデータ集計基盤を実現しました。詳細は、以前紹介したデータ集計基盤については以下の過去記事をご覧ください。 techblog.zozo.com 本記事では、データ集計基盤に「データバリデーション」の機能を加えて常に正確なデータ集計を行えるように改良する手段をお伝えします。 データバリデーションとは バリデーション導入後のデータ集計基盤 ジョブネット構築 テンプレートによる効率的なDAGの作成 DAG間の依存関係の設定方法 バリデーションDAGのタスク構成 まとめ データバリデーションとは データバリデーションとはデータ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
