Location via proxy:   [ UP ]  
[Report a bug]   [Manage cookies]                

並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 358件

新着順 人気順

パイプラインの検索結果1 - 40 件 / 358件

タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。

パイプラインに関するエントリは358件あります。 aws開発軍事 などが関連タグです。 人気エントリには 『パイプライン指向JSON処理プログラミング言語 jq - 檜山正幸のキマイラ飼育記 (はてなBlog)』などがあります。
  • パイプライン指向JSON処理プログラミング言語 jq - 檜山正幸のキマイラ飼育記 (はてなBlog)

    jq(https://stedolan.github.io/jq/)の紹介では、「JSON処理のワンライナー〈一行野郎〉としてめちゃくちゃ便利!」とアピールするのが定番です。もちろんそれは本当で、「めちゃくちゃ便利!」です。が、実は jq は、ワンライナー記述にとどまらない、かなり本格的なプログラミング言語です。 JSON処理のためのDSL〈Domain Specific Language | 領域特化言語〉なので、汎用言語ではありません。しかし、汎用言語が備えている言語機能の一部(関数定義、モジュールシステムなど)を jq も持っています。また jq は、独特で楽しいプログラミング・パラダイム -- “パイプライン指向”に基づいて設計されています。 この記事では、ワンライナーを超えた jq の使い方と、プログラミング言語としての jq の特徴を紹介します。長い記事になってしまったので、一

      パイプライン指向JSON処理プログラミング言語 jq - 檜山正幸のキマイラ飼育記 (はてなBlog)
    • AWS上で開発環境一式、コードリポジトリからテンプレートコード、IDE、CI/CDパイプラインまでを丸ごと提供する「Amazon CodeCatalyst」が正式サービスに

      AWS上で開発環境一式、コードリポジトリからテンプレートコード、IDE、CI/CDパイプラインまでを丸ごと提供する「Amazon CodeCatalyst」が正式サービスに Amazon Web Services(AWS)は、クラウド上でアプリケーションの初期コード、インフラ設定、ソースコードのリポジトリ、コードエディタ、ビルド/テスト/デプロイを実行するCI/CDパイプライなど、アプリケーションの初期設定から開発、デプロイ、そしてチームコラボレーション機能の一式をまとめて提供するサービス「Amazon CodeCatalyst」の正式サービス化を発表しました。 参考:[速報]AWS上で開発環境一式、フレームワーク、初期コード、IDE、ビルド環境、CI/CDなど提供する「Amazon CodeCatalyst」発表。AWS re:Invent 2022 複雑で手間がかかるクラウド開発環境を

        AWS上で開発環境一式、コードリポジトリからテンプレートコード、IDE、CI/CDパイプラインまでを丸ごと提供する「Amazon CodeCatalyst」が正式サービスに
      • 第723回 複雑なコマンドパイプラインを簡単に組み立てる方法 | gihyo.jp

        パイプライン処理とは GUIは非常に直感的です。はじめて使うアプリであっても、なんとなくそれなりに動かせてしまうという点で、優れたインターフェイスと言えます。しかし効率を突き詰めると、軍配が上がるのはGUIよりもCLIでしょう。本連載の読者であれば、UnixライクなOSのCLIが持つパワーについては当然ご存知かと思います。 とはいえ、古典的なUnixコマンドの多くは、単体ではそれほど強力なものではありません。というのも、ひとつひとつのコマンドはシンプルに、特定の用途においてのみ上手く動作するよう設計されていることがほとんどだからです。こうしたコマンド群に無限のシナジーを与えるのが「パイプライン処理」です。標準入出力を通じて複数のコマンドを直列に繋げることで、複雑な処理をインスタントに組み立てることができるパイプラインは、まさにUnix哲学の体現であり、CLIの真髄はここにあると言ってもよい

          第723回 複雑なコマンドパイプラインを簡単に組み立てる方法 | gihyo.jp
        • 独首相 ロシア産天然ガス パイプライン稼働手続き停止する考え | NHK

          ドイツのショルツ首相は22日、ロシアのプーチン大統領が、ウクライナ東部の親ロシア派が事実上、支配している地域の独立を一方的に承認したことを受けて、ロシア産の天然ガスをドイツに送る新たなパイプライン「ノルドストリーム2」の稼働に向けた手続きを停止する考えを示しました。 ショルツ首相は記者会見で、ウクライナ情勢について「状況は根本的に変わった」と指摘し、稼働に必要な手続きを停止するよう担当部局に指示したことでパイプラインは稼働できなくなると説明しました。 「ノルドストリーム2」をめぐってはウクライナ情勢が緊迫する中で、アメリカがロシアに対する制裁として稼働の停止を繰り返し強調し、ロシアとの経済的な結びつきの強いドイツの対応が問われていました。

            独首相 ロシア産天然ガス パイプライン稼働手続き停止する考え | NHK
          • ロシア ドイツ結ぶパイプラインガス漏れ 破壊工作の見方強まる | NHK

            ロシアとドイツを結ぶバルト海の天然ガスパイプラインで起きたガス漏れについて、ヨーロッパ側では、破壊工作が原因ではないかという見方が強まり、警戒感が広がっています。 バルト海の海底を経由してロシアとドイツを結ぶ天然ガスパイプライン、ノルドストリームについて、デンマーク軍は27日、3か所でガス漏れが確認されたと発表し、デンマークの外相は28日、「ガス漏れは爆発によるもので意図的な行為だ」と述べました。 また、EU=ヨーロッパ連合の外相にあたるボレル上級代表も「意図的な行為」との見方を示し、ドイツのランブレヒト国防相も声明で「破壊工作の疑いがある」としてデンマーク側の調査に協力する姿勢を示すなど、破壊工作が原因ではないかという見方が強まっています。 さらに、ドイツの有力誌シュピーゲルは、アメリカのCIA=中央情報局がパイプラインが攻撃されるおそれがあるとドイツ政府に事前に警告していたと伝えている

              ロシア ドイツ結ぶパイプラインガス漏れ 破壊工作の見方強まる | NHK
            • ロシア軍 “ハリコフのガスパイプライン爆破” 現地メディア | NHK

              ウクライナのメディアは、27日午前1時半ごろ、ロシア軍が、北東部のハリコフのガスパイプラインを爆破したと伝えました。 ウクライナの政府機関がSNSに投稿した映像では、夜空に炎と煙が高く上り、大きく広がる様子が映っていて、大規模な爆発が起きた様子がうかがえます。 けが人の情報は明らかになっていません。 ロシア軍 ウクライナのインフラ施設に相次ぎ攻撃 また、首都キエフから南に30キロほど離れた都市では、27日未明、大規模な爆発がありました。 地元の州知事は、SNSを通して現地の石油貯蔵施設に対してロシア軍から攻撃があったと明らかにしました。 周辺には空軍の飛行場があり、そこでもロシア軍との戦闘が続いているということです。 また、ウクライナ政府の原子力関連機関によりますと、27日の未明、キエフ市内にある放射性廃棄物の貯蔵施設にロシア軍のミサイルが撃ち込まれたということです。 ウクライナのメディア

                ロシア軍 “ハリコフのガスパイプライン爆破” 現地メディア | NHK
              • ロシア ドイツに天然ガスを送る主要パイプラインの供給を停止 | NHK

                ロシアからドイツに天然ガスを送る主要なパイプライン「ノルドストリーム」は、11日から定期的な点検を理由に供給を停止しました。 ロシア側が経済制裁を科すドイツに揺さぶりをかけるため、点検終了後も供給を再開しないのではないかとの懸念が広がっています。 ノルドストリームはロシアからバルト海の海底を通ってドイツにつながる現在、ヨーロッパ最大規模の天然ガスパイプラインです。 このパイプラインを運営するロシアの国営ガス会社ガスプロムは、11日から定期的な点検を理由にロシアからドイツに向けた天然ガスの供給を停止しました。 点検は今月21日までの予定だとしています。 このパイプラインを巡っては、先月、ロシアからの供給量がおよそ60%削減されました。 ドイツ政府は暖房需要が増える冬に向けて十分な量を備蓄できないとして、国民や企業にガスの節約を求める異例の事態となっています。 こうしたことから、今回の定期点検

                  ロシア ドイツに天然ガスを送る主要パイプラインの供給を停止 | NHK
                • ノルドストリーム、3本のガスパイプラインが損傷 「前例ない」

                  9月27日、ロシアと欧州を結ぶ天然ガスパイプラインを運営するノルドストリームは、3つのパイプラインが同じ日に損傷したと発表した。写真は「ノルドストリーム1」の関連施設。ドイツ・ルプミンで3月撮影(2022年 ロイター/Hannibal Hanschke) [モスクワ 27日 ロイター] - ロシアと欧州を結ぶ天然ガスパイプラインを運営するノルドストリームは27日、3つのパイプラインが同じ日に損傷したと発表した。こうした事例は「前例がない」としており、復旧の見通しは立っていない。

                    ノルドストリーム、3本のガスパイプラインが損傷 「前例ない」
                  • 米最大の石油パイプライン停止 サイバー攻撃で - 日本経済新聞

                    【ニューヨーク=後藤達也、中山修志】米石油パイプライン最大手のコロニアル・パイプラインは7日、サイバー攻撃を受けて全ての業務を停止したと発表した。メキシコ湾岸から米北東部までの大動脈で、東海岸の燃料消費の半分近くのシェアを占める。停止が長引けば国民生活や経済活動にも影響を及ぼす可能性がある。コロニアルは8日午後(日本時間9日未明)に声明を更新し、「(データ流出などと引き換えに金銭を要求する)ラ

                      米最大の石油パイプライン停止 サイバー攻撃で - 日本経済新聞
                    • 工場自動化シム『shapez 2』正式発表。“圧倒的に好評”の前作から3Dグラフィックへと進化、多層的な工場建設やパイプライン輸送など新要素導入 - AUTOMATON

                        工場自動化シム『shapez 2』正式発表。“圧倒的に好評”の前作から3Dグラフィックへと進化、多層的な工場建設やパイプライン輸送など新要素導入 - AUTOMATON
                      • Go言語でポータブルなCI/CDパイプラインが定義可能に。「Dagger」がGo SDKを発表

                        CI/CDパイプラインをポータブルにする「Dagger」をGo言語に対応させる「Go SDK」が発表されました。これによりGo言語でどこでも動くポータブルなCI/CDパイプラインの定義が可能になります。 Introducing the Dagger Go SDK: a new way to develop your CI/CD pipelines as code, and run them in containers anywhere. https://t.co/7riHAwUSMO pic.twitter.com/mEwrZySbLp — dagger (@dagger_io) October 25, 2022 CI/CDがローカルPCでもGitHubでもCircleCIでも実行可能 Daggerはソフトウェアのビルド、テスト、デプロイを行う一連のCI/CDパイプラインをポータブルにする

                          Go言語でポータブルなCI/CDパイプラインが定義可能に。「Dagger」がGo SDKを発表
                        • Airflowはすごいぞ!100行未満で本格的なデータパイプライン - Qiita

                          はじめに ワークフローを作成、実行、監視するためのプラットフォーム「Airflow」が、近年人気を集めていて、多くの企業に利用されています。Airflow Summit 2022 のようなグローバルイベントも開催されるようになり、世界中から2000人以上のコントリビュータ(私もその1人)が貢献しているアツいプロジェクトです。 この記事で Airflow を使う意味と主要コンセプトを説明します。最後に、100行未満で実装できる本格的なデータパイプラインの実例をお見せしたいと思います。 Airflowとは 概要 Airflowは ワークフロー を作成、実行、監視するためのプラットフォームです。ここで言う「ワークフロー」は、依存関係にある複数の タスク を、下図のように繋いだ形で、パイプラインとして実行していくものと思ってください。 Airflowを使うと、より早く、よりロバストなワークフローが

                            Airflowはすごいぞ!100行未満で本格的なデータパイプライン - Qiita
                          • AWS知見共有会でTerraformのCI/CDパイプラインのセキュリティ等について発表してきました + GitHub新機能Push rulesについて - LayerX エンジニアブログ

                            先日2024/04/16にタイミーさんのオフィスで開催された、AWS知見共有会というイベントで発表してきました。この会のテーマは「運用のスケーラビリティとセキュリティ」ということで、私は「コンパウンドスタートアップのためのスケーラブルでセキュアなInfrastructure as Codeパイプラインを考える」というタイトルで発表してきています。 イベントの動画もあります。 私の発表は 1:43 ぐらいからです。 この発表については資料と動画を見ていただければ!という感じで特に付け加えることもなかったのですが、イベントの開催後にGitHubから発表された新機能Push rulesがとても便利で、新たなベストプラクティスとなるインパクトがあると思ったので、この記事で紹介します。 Push rulesとは つい昨日発表された機能で、現在はpublic betaという状態です。なので、仕様変更と

                              AWS知見共有会でTerraformのCI/CDパイプラインのセキュリティ等について発表してきました + GitHub新機能Push rulesについて - LayerX エンジニアブログ
                            • ニアリアルタイムで同期される検索基盤 ~パイプライン構築編~ - コネヒト開発者ブログ

                              皆さん,こんにちは!MLエンジニアの柏木(@asteriam)です. 今回は前回のエントリーに続いてその後編,パイプライン構築の話になります. tech.connehito.com はじめに 再掲になりますが,我々は以下の構成で今回の検索基盤を構築しています. 検索エンジン:Amazon OpenSearch Service データベース:Amazon Aurora データ同期(ETL):AWS Glue ワークフロー・パイプライン:AWS Step Functions・Lambda・EventBridge 後編は,検索エンジンに定期的に安定してデータを同期するために構築しているワークフロー・パイプラインに関する内容になります(下図の全量データ同期パイプラインの部分). 検索基盤全体のアーキテクチャー概略図 もう少し具体的には,OpenSearchのindexの管理方法について説明した後に

                                ニアリアルタイムで同期される検索基盤 ~パイプライン構築編~ - コネヒト開発者ブログ
                              • MLOps: ML における継続的デリバリーと自動化のパイプライン  |  Cloud Architecture Center  |  Google Cloud

                                デジタル トランスフォーメーションを加速 お客様がデジタル トランスフォーメーションに乗り出したばかりでも、あるいはすでに進めている場合でも、Google Cloud は困難な課題の解決を支援します。

                                  MLOps: ML における継続的デリバリーと自動化のパイプライン  |  Cloud Architecture Center  |  Google Cloud
                                • Trivy + AWSによるコンテナイメージ脆弱性検査パイプラインの構築 - クックパッド開発者ブログ

                                  技術部セキュリティグループの水谷(@m_mizutani)です。最近はPCゲーム熱が再燃しており、今はCities: Skylinesに時間を溶かされ続けています。 クックパッドでは レシピサービス の継続的なサービス改善の他にも、生鮮食品販売プラットフォームの クックパッドマート やキッチンから探せる不動産情報サイト たのしいキッチン不動産 をはじめとする新しいサービス開発にも取り組んでいます。さらに内部的なシステムも多数あり、動かしているアプリケーションの数は300以上に及びます。これらのアプリケーションには多くのOSSパッケージが利用されており開発を加速させますが、同時にOSSパッケージのアップデート、とりわけ脆弱性の修正にも向き合う必要があります。 これまでクックパッドでは(重大な脆弱性が見つかった場合を除いて)各サービスを担当するエンジニアが事業や開発の状況にあわせてパッケージの

                                    Trivy + AWSによるコンテナイメージ脆弱性検査パイプラインの構築 - クックパッド開発者ブログ
                                  • MLOps: 機械学習における継続的デリバリとパイプラインの自動化 を翻訳してみた - Qiita

                                    表1(翻訳者により追加) MLOpsにおいて、DevOpsから追加された項目 以下では,予測サービスとして機能するMLモデルのトレーニングと評価の代表的な手順を説明します. MLのためのデータサイエンスの手順 どのMLプロジェクトでも、ビジネスユースケースを定義して成功基準を確立した後、 MLモデルを本番環境にデリバリする過程には次の手順が含まれます。 これらの手順は手動で完了することも、自動パイプラインで完了することもできます。 データ抽出: MLタスクのさまざまなデータソースから関連データを選択して統合します。 データ分析: 探索的データ分析 (EDA) を 実行して、MLモデルの構築に使用可能なデータを把握します。 このプロセスにより、次のことが起こります。 モデルが期待するデータスキーマと特性を理解します。 モデルに必要なデータの準備と特徴量エンジニアリングを特定します。 データの

                                      MLOps: 機械学習における継続的デリバリとパイプラインの自動化 を翻訳してみた - Qiita
                                    • 1230kmのパイプラインも作ったが…ロシア依存だったドイツが超強気に急変した本当の理由 ウクライナ戦争は「エネルギー政策の大転換」の言い訳に

                                      エネルギー部門の高騰は石油だけではない。現在、ドイツの平均的な家庭のエネルギー代は、前年比でなんと5割も増えている。特に天然ガスの市場価格は、前年比でほぼ2倍。ドイツでは地域暖房に天然ガスを使っている自治体も多く、平均家庭のガス代の負担は、日本円にすると年間で約10万円の増加になるだろうという。 さらに石炭も需要の急増で、価格は現在、前年比でほぼ3倍に達し、それら石炭やガス価格の影響をもろに受けた電気代が暴騰中である。ドイツでは通常、多くの電力会社が1月から新料金に切り替えるが、今年の電気代はすでに平均6割も上がっている(特に新電力が、天井知らずの値上げになっている)。しかし、それでも間に合わず、例外的に4月に再値上げを計画している会社もあるという。 「極度のロシア依存」のツケがきている ドイツではたいてい、電気代は前年の実績から弾き出された金額を12等分して毎月支払い、翌年に、実費との差

                                        1230kmのパイプラインも作ったが…ロシア依存だったドイツが超強気に急変した本当の理由 ウクライナ戦争は「エネルギー政策の大転換」の言い訳に
                                      • SQL パイプライン開発に便利な Dataform 7つのお気に入りポイント - FLINTERS Engineer's Blog

                                        こんにちは。河内です。 最近はデータ基盤の構築も取り組んでいたりします。 社内では他の DWH が使われている事例がありますが、今回の基盤ではデータソースとの親和性や価格面などを考慮し BigQuery で行くことにしました。 BigQuery 上で多くのデータを順次変換してデータを生成するために何らかのワークフローエンジンが必要でした。 社内の他のシステムではワークフローエンジンとして Digdag を採用している例が多いですが、このシステムでは Kubernetes 上でサービスを運用しているため、当初(2020年12月)は Argo Workflow 上でクエリを順次実行することを構想していました。構想中に Dataform が Google に買収され、無料で使えるようになったというニュースが飛び込んできたため、触って感触が良いことを確かめた後、Dataform を使っていくことに

                                          SQL パイプライン開発に便利な Dataform 7つのお気に入りポイント - FLINTERS Engineer's Blog
                                        • リバースETLはデータパイプラインの何を変えるのか - satoshihirose.log

                                          はじめに リバース ETL という概念が提起されて、そのための SaaS も生まれており、面白いと思うので所感をまとめる。 Reverse ETL ? 自分が最初に Reverse ETL という言葉に触れたのは、Redpoint Ventures の Astasia Myers が 2021-02-23 に書いたこの記事だった。 Reverse ETL — A Primer. Data infrastructure has gone through an… | by Astasia Myers | Memory Leak | Medium 彼女はどんなものをリバース ETL と呼んでいるかというと Now teams are adopting yet another new approach, called “reverse ETL,” the process of moving dat

                                            リバースETLはデータパイプラインの何を変えるのか - satoshihirose.log
                                          • dbtで始めるデータパイプライン構築〜入門から実践〜

                                            事業会社においてBIやレポート用の分析を担当しているが以下のような状況に該当する人に向けたデータパイプライン構築の入門のための資料です 🧑🏻‍🦱「BigQuery等のView機能を活用しているが、データの流れを追うのが困難な状態になってしまっている、クエリの実行に時間がかかりBIツールが使いづらい」 👩🏻「専任のデータエンジニアがおらず、前処理をpython等で処理したりするのがリソース調整的に大変」 👱🏻‍♂️「ロードされたデータに重複があったり、過不足があったりしてデータの品質が担保できていない」 🧑🏻‍🦰「Digdagやluigiといったデータ変換ツールの独自の仕様を理解しきれておらず使いこなせていない」 ※現時点ではBigQueryを中心に記事を構成してあります、SnowflakeやAmazon Redshift等の様々な分析基盤でもdbtは対応可能です

                                              dbtで始めるデータパイプライン構築〜入門から実践〜
                                            • ECS用のCDパイプラインに対する考察

                                              それでは、1パターンずつ構成を確認していきます。 1. 全部GitHub Actionsでやる GitHub Actionsでパイプライン全体を構築する場合は、以下の図のような構成になります。 ちなみに、GitHubのDeploymentsを使用することで、Slackと組み合わせてのChatOpsや、任意のコミットのデプロイを実行などいろいろと便利になります。 ですが、Deployments APIをパイプラインで利用するには、Actionsのトリガーの条件を変えたり、ECSへのデプロイの成否に応じてAPIを使ってDeploymentのステータスを更新したりする処理が必要になり、少々パイプラインが複雑化してしまいます。 なので、今回の趣旨とちょっとずれているため、各パターンには記載していません。 では、以下で処理を順に説明していきます。 Image Build 図中の Build Imag

                                                ECS用のCDパイプラインに対する考察
                                              • AI Platform Pipelines (Kubeflow Pipelines)による機械学習パイプラインの構築と本番導入 - ZOZO TECH BLOG

                                                ZOZOテクノロジーズ推薦基盤チームの寺崎(@f6wbl6)です。ZOZOでは現在、米Yale大学の経営大学院マーケティング学科准教授である上武康亮氏と「顧客コミュニケーションの最適化」をテーマに共同研究を進めています。 推薦基盤チームでは上武氏のチームで構築した最適化アルゴリズムを本番環境で運用していくための機械学習基盤(以下、ML基盤)の設計と実装を行っています。本記事ではML基盤の足掛かりとして用いたAI Platform Pipelines (Kubeflow Pipelines) の概要とAI Platform Pipelinesの本番導入に際して検討したことをご紹介し、これからKubeflow Pipelinesを導入しようと考えている方のお役に立てればと思います。記事の最後には、推薦基盤チームで目指すMLプロダクト管理基盤の全体像について簡単にご紹介します。 上武氏との共同研

                                                  AI Platform Pipelines (Kubeflow Pipelines)による機械学習パイプラインの構築と本番導入 - ZOZO TECH BLOG
                                                • 米石油パイプライン企業へのサイバー攻撃についてまとめてみた - piyolog

                                                  2021年5月7日、米国の石油パイプライン企業Colonial Pipelineはランサムウエアによる影響をうけ業務全体を一時停止する措置を講じたことを発表しました。停止された輸送サービスは12日に再開され、15日までに供給網全体が復旧されました。ここでは関連する情報をまとめます。 予防的措置でパイプライン全停止(2021/5/7) 被害に遭ったのはメキシコ湾岸の精製業者から米国南東から北東(NY港、NY空港まで)にかけ約8,850㎞のパイプラインを運用する会社。ガソリン、ディーゼル、ジェット燃料など1日に250万バレル(米東海岸で消費される半分近くのシェア 約45%)を輸送している。 サイバー攻撃は米国時間で5月6日に始まり、ランサムウエアによりColonial Pipeline社内の一部のITシステムが影響を受けた。同社が攻撃事実に気づいたのは7日。わずか2時間で100GB近いデータ窃

                                                    米石油パイプライン企業へのサイバー攻撃についてまとめてみた - piyolog
                                                  • メキシコ湾に「炎の目」が出現 海中パイプライン火災

                                                    (CNN) メキシコ湾の石油掘削施設付近で火災が起き、海上に巨大な炎の輪が出現した。メキシコの国営石油企業ペメックスによると、約5時間半後に鎮火した。 巨大な輪はSNS上で「炎の目」と呼ばれ、オレンジ色の溶岩にも似た画像が拡散した。 現場は同国南東部カンペチェ沖にあるペメックスの海上掘削施設付近。同社によると、海中パイプラインからのガス漏れが原因で、2日午前5時15分ごろに出火した。施設から避難した人や負傷者はいなかったという。 ロイター通信によれば、メキシコの安全規制当局は「石油漏れは起きなかった」とツイートしたが、海上で何が燃えたのかは説明していない。 ロイター通信によれば、ペメックスは直径約30センチのパイプラインの栓を閉めたと述べ、原因を調査すると表明した。同社の施設では過去に何回も大規模な事故が起きている。

                                                      メキシコ湾に「炎の目」が出現 海中パイプライン火災
                                                    • Python FastAPIで構築する実用的データ統合パイプライン: 天気・交通APIを例にしたジェネレータ活用術 - Qiita

                                                      はじめに こんにちは、皆さん。今回は、FastAPIを使用して天気予報APIと交通情報APIを作成し、それらから取得したデータを効率的に統合する方法について、Pythonのジェネレータを使用したアプローチを紹介します。この例を通じて、複数のデータソースを組み合わせることで、日常生活の計画をより効率的に立てる方法を学びましょう。 目次 はじめに 環境準備 FastAPIを使用した天気・交通APIの作成 ジェネレータを使用したデータ統合 動作確認と日常生活への応用 パフォーマンスと拡張性 まとめ はじめに 日々の生活において、天気予報や交通情報は私たちの行動計画に大きな影響を与えます。本記事では、これらの情報を提供する2つのAPIを作成し、それらからのデータを効率的に統合して活用する方法を紹介します。 環境準備 まず、必要なライブラリをインストールします: from fastapi impor

                                                        Python FastAPIで構築する実用的データ統合パイプライン: 天気・交通APIを例にしたジェネレータ活用術 - Qiita
                                                      • 検索エンジンPyTerrierを使った日本語検索パイプラインの実装 - エムスリーテックブログ

                                                        エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。検索とGoが好きです。 今回は社内でPyTerrierを採用して文書検索BatchをPythonで実装したので、PyTerrierの紹介とPyTerrierで日本語検索を実装する方法を紹介します(日本語でPyTerrierを扱う記事は多分初?)。 PyTerrierとは 弊社でのPyTerrier利用 PyTerrierで日本語検索 Phrase Queryの注意点 まとめ We're hiring !!! PyTerrierとは Terrierのロゴ PyTerrierは、Pythonでの情報検索実験のためのプラットフォームです。 JavaベースのTerrierを内部的に使用して、インデックス作成と検索操作を行うことができます。基本的なQuery RewritingやBM

                                                          検索エンジンPyTerrierを使った日本語検索パイプラインの実装 - エムスリーテックブログ
                                                        • GitHub Actions と AWS CodeBuild テストを使用して Amazon ECS の CI/CD パイプラインを作成する | Amazon Web Services

                                                          Amazon Web Services ブログ GitHub Actions と AWS CodeBuild テストを使用して Amazon ECS の CI/CD パイプラインを作成する  Amazon Elastic Container Service (Amazon ECS) は、フルマネージド型のコンテナオーケストレーションサービスであり、コンテナ化されたワークロードを大規模かつ簡単に運用できます。  また、Amazon Route 53、AWS Identity and Access Management (IAM)、Amazon CloudWatch などの他の主要な AWS のサービスと統合します。  コンテナの管理に使用しているプラットフォームに関係なく、コンテナ化されたアプリケーションにとって効果的かつ効率的な CI/CD パイプラインを確立することは重要です。 この投

                                                            GitHub Actions と AWS CodeBuild テストを使用して Amazon ECS の CI/CD パイプラインを作成する | Amazon Web Services
                                                          • SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム(前編) - コネヒト開発者ブログ

                                                            皆さん,こんにちは!機械学習エンジニアの柏木(@asteriam)です. 今回はタイトルにもあるようにモデルの学習からデプロイまで一気通貫した機械学習パイプラインをSageMakerとStep Functionsで構築し,新しく検閲システムを開発したお話になります. こちらのエントリーで紹介されている機械学習を用いた検閲システムの技術的な内容になります. ※ 検閲システムの細かい要件や内容については本エントリーでは多くは触れないのでご了承下さい. tech.connehito.com はじめに 今回のエントリーは内容が盛り沢山になっているので,前編と後編の2つに分けて紹介することにします. 前編:SageMaker TrainingJobを用いたモデル学習を行い,SageMaker Experimentsに蓄積された実験結果をS3に保存するまでの話 前回紹介したテックブログ「SageMak

                                                              SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム(前編) - コネヒト開発者ブログ
                                                            • 精度の高い日本語OCRを実現する技術 LINE BRAIN OCRのパイプラインを解説

                                                              日本語におけるOCR Hwalsuk Lee氏:ここまでテキスト検出のお話をしてまいりました。これからは日本語におけるテキスト認識についてお話ししようと思います。 先ほど言いましたように、日本語というのはテキスト認識において、英語に比べると何百倍ものたくさんの文字を扱う必要があります。 そのため、たくさんのテキスト認識の論文を検証いたしました。 Scene Text Recognition(STR)とは何でしょうか? STRというのは、文字列を画像パッチ入力から認識するタスクです。 この場合は「UNITED」という文字列を認識するということになります。 STRについてはこれまでいろいろな研究がされてきました。ですが我々がその評価内容を見たとき、たくさんの問題を発見しました。STR手法の比較においてどんな問題があるのでしょうか。 こちらは先行研究の手法のリストです。このリストをご覧いただくと

                                                                精度の高い日本語OCRを実現する技術 LINE BRAIN OCRのパイプラインを解説
                                                              • RAG評価ツールの "RAGAS" を使って、RAGパイプラインの性能を測定する - Qiita

                                                                はじめに こんにちは、KDDIアジャイル開発センターのはしもと(仮名)です。 LLMで何かしたい勢のみなさま、検索拡張生成こと RAG (Retrieval Augmented Generation)、やってますか? 自社で持っているデータを使ってエンタープライズサーチを実現したい、それができればきっと無敵。そう考えて色々やろうとしているんじゃないでしょうか。私です。 RAGを使って意図した出力を得られるようにするには、十分なデータセットを準備したりパラメータを変更しながらチューニングをするなど、地道な作業が必要となります。 開発ライフサイクルにおける評価・テストステップで有効な、評価用フレームワーク RAGAS を使ってみましたので、本記事ではそれについてまとめます。 RAGASとは RAGパイプラインを評価/テストするためのフレームワークです。 パイプラインを構築するためのツールは多く

                                                                  RAG評価ツールの "RAGAS" を使って、RAGパイプラインの性能を測定する - Qiita
                                                                • 1秒動画のつくり方 ― 「家族アルバム みてね」における動画エンコードパイプラインとその最適化事例 | gihyo.jp

                                                                  なお上記の「大量配信」とは、「⁠1~3月分の四季版を4月15日から配信開始し、1週間で全家族に配信完了する」などのように、「⁠新しい期間の1秒動画をはじめて配信してから、その時点で条件を満たす全家族への配信が完了するまで」の期間を指します。1秒動画の生成・配信の大部分はこの大量配信期間に行っていることから、これを「大量配信」と呼んでいます。 生成⁠・配信の流れ 1秒動画の生成・配信は、図1のとおり(1)対象家族抽出、(2)素材選択、(3)動画エンコード、(4)配信、の4段階で実現しています。以下ではその詳細を説明します。 図1 1秒動画の生成・配信の流れ (1)対象家族抽出 1秒動画の生成・配信処理は、基本的にはバッチ処理として毎日実行しています。そのはじめに行うのは、「⁠その日、どの家族に、どのバージョン・どの期間の1秒動画を生成・配信するか」を取り出す対象家族抽出です。この処理は四季版

                                                                    1秒動画のつくり方 ― 「家族アルバム みてね」における動画エンコードパイプラインとその最適化事例 | gihyo.jp
                                                                  • 「Kubernetes Native」なCI/CDとは何か――クラウドネイティブ時代に至る歴史、主要ツール、パイプラインとフローの在り方

                                                                    「Kubernetes Native」なCI/CDとは何か――クラウドネイティブ時代に至る歴史、主要ツール、パイプラインとフローの在り方:Cloud Nativeチートシート(5) Kubernetesやクラウドネイティブをより便利に利用する技術やツールの概要、使い方を凝縮して紹介する連載。今回は、Kubernetesの利用を前提とした「Kubernetes Native」なCI/CDについて踏み込んで説明します。

                                                                      「Kubernetes Native」なCI/CDとは何か――クラウドネイティブ時代に至る歴史、主要ツール、パイプラインとフローの在り方
                                                                    • [GDC 2024]CPUを使わずにGPUが自発的に描画するパイプライン「Work Graph」がDirectX 12に正式採用

                                                                      [GDC 2024]CPUを使わずにGPUが自発的に描画するパイプライン「Work Graph」がDirectX 12に正式採用 ライター:西川善司 セッションタイトルを訳すなら,「ようこそ,未来のGPUプログラミングモデル『GPU Work Graph』へ」 米国時間2024年3月18日に行われたGDC 2024の技術セッション「Advanced Graphics Summit: GPU Work Graphs: Welcome to the Future of GPU Programming」において,AMDとMicrosoftは共同で,DirectX 12の新機能「Work Graph」を発表した(関連リンク)。本稿では,Work Graphとは何で,どのような利点をもたらすのかを解説したい。 セッションを担当したMicrosoftのShawn Hargreaves氏(Dev Man

                                                                        [GDC 2024]CPUを使わずにGPUが自発的に描画するパイプライン「Work Graph」がDirectX 12に正式採用
                                                                      • GitHub Actions の self-hosted runners を AWS ECS で動かして、CI / CD パイプラインを作る - エクサウィザーズ Engineer Blog

                                                                        DevOps エンジニアの 根本 征 です。 7月からエクサウィザーズ にジョインし、CI / CD パイプラインの改善や自動テストの布教などを行っています。 今回は GitHub Actions の self-hosted runners を AWS ECS 上に構築し運用してみたので、その試行錯誤について紹介したいと思います。 GitHub Actions と self-hosted runners self-hosted runners を Docker で動かす self-hosted runners を AWS ECS で動かす アプリケーションを AWS ECS へデプロイする Workflow を作る おわりに GitHub Actions と self-hosted runners GitHub Actions は GitHub ユーザーであれば現在多くの方がご存知・ご活用

                                                                          GitHub Actions の self-hosted runners を AWS ECS で動かして、CI / CD パイプラインを作る - エクサウィザーズ Engineer Blog
                                                                        • Unityの描画パイプラインをURPに移行しました - Mirrativ Tech Blog

                                                                          こんにちは、ミラティブUnityエンジニアの牧野です。 ミラティブアプリの3Dアバター(エモモ)の描画にはUnityを利用しており、その描画パイプラインをURPに移行した内容を紹介していきます。 はじめに URP (Universal Render Pipeline) とは以下のような特徴を持った、描画パイプラインの公式テンプレートです。 モバイル端末や家庭用ゲーム機、PCなど幅広いプラットフォームに最適化されている ShaderGraphやPost-processingなど、アーティスト向けのワークフローを提供している learning.unity3d.jp 移行前はビルトインレンダーパイプラインでしたが、以下のような理由でURPに移行ことにしました。 Unity本体のバージョンと独立して管理できるため、本体更新によって見た目が影響を受けるのを抑えられる 内部実装が確認でき、必要に応じて

                                                                            Unityの描画パイプラインをURPに移行しました - Mirrativ Tech Blog
                                                                          • パイプライン爆破 ウクライナ軍が計画、CIAも事前に把握か 米紙

                                                                            バルト海のデンマーク領ボーンホルム島沖で確認されたパイプライン「ノルドストリーム2」でのガス漏れの様子。デンマーク軍提供(2022年9月27日提供、資料写真)。(c)AFP PHOTO / DANISH DEFENCE 【6月7日 AFP】米紙ワシントン・ポスト(Washington Post)は6日、天然ガスをロシアからドイツに輸送するパイプライン「ノルドストリーム(Nord Stream)」で昨年起きた爆発について、欧州の情報機関が3か月前にウクライナの特殊部隊による爆破計画を察知し米中央情報局(CIA)と情報共有していたと報じた。 同紙は、今年流出した米機密文書を分析。その結果、欧州のある情報機関が昨年6月、CIAに対し、ウクライナ軍の総司令官直属の潜水部隊がパイプラインの爆破を計画していると伝えていたとしている。どの国の情報機関かは特定されていない。 昨年9月16日に発生したノルド

                                                                              パイプライン爆破 ウクライナ軍が計画、CIAも事前に把握か 米紙
                                                                            • AWSで構築するCDパイプラインとその改善

                                                                              TechBrew in 東京 〜CI/CDパイプライン改善の取り組み〜 ( https://findy.connpass.com/event/309537/) 登壇資料

                                                                                AWSで構築するCDパイプラインとその改善
                                                                              • AWS AmplifyでのフルスタックアプリケーションのCI/CDパイプラインの構築 | Amazon Web Services

                                                                                Amazon Web Services ブログ AWS AmplifyでのフルスタックアプリケーションのCI/CDパイプラインの構築 この記事は、Complete guide to full-stack CI/CD workflows with AWS Amplifyを翻訳したものです。 AWS Amplify は、1) 条件付きバックエンドデプロイ、2) ビルド時のaws-exports.js の自動生成、3) 異なるAmplify アプリケーション間でのバックエンドの共有といった3つの新しい機能をAmplify のCI/CD ワークフローに追加しました。これらの機能を使用することで、より柔軟にフルスタックアプリケーションをデプロイすることが可能です。 AWS Amplify は、フルマネージドな CI/CD およびホスティングサービスを提供し、開発者は Git リポジトリを接続するだけ

                                                                                  AWS AmplifyでのフルスタックアプリケーションのCI/CDパイプラインの構築 | Amazon Web Services
                                                                                • AWS CDKを用いたセキュアなCI/CDパイプラインの構築 / Build a secure CI/CD pipeline using AWS CDK

                                                                                  JAWS-UG CDK支部 #16 ~CDK Conference 2024 Extra~ https://jawsug-cdk.connpass.com/event/328676/

                                                                                    AWS CDKを用いたセキュアなCI/CDパイプラインの構築 / Build a secure CI/CD pipeline using AWS CDK

                                                                                  新着記事