こんにちは、ちょっと前に 3 ヶ月半の育児休業から復帰したくらさわです。 なんと今日で生まれてちょうど半年です！早い！！ こちらの記事は Gunosy Advent Calendar 2021 の 16 日目の記事です。 昨日の記事は yamaYu さんの『EKS Managed Node Group でカーネルパラメータを変更する 』でした。 今回は Visual Studio Code (以下 VS Code) の拡張機能を開発した話 + α を書きたいと思います。 タイトルが全てです。 はじめに 作成した拡張機能 拡張機能作成の流れ セットアップ Yeoman と VS Code Extension Generator をインストール Yeoman を実行 プロジェクトを開く コード contributes.commands activationEvents activate 関数

広告技術部のUT@mocyutoです。 こちらの記事はGunosy Advent Calendar 2021の4日目の記事です。 昨日は内田さんの その設定、pyproject.tomlに全部書けます - Gunosyデータ分析ブログ でした 今回はApache Hudiを用いたユーザデータ基盤の刷新を紹介します。 背景 仕組み 課題 対応策 データの持ち方を変える Apache Hudiとは 構成 Glue + PySpark Athenaによる抽出 移行し終えて 背景 Gunosyの広告システムではユーザに対して最適な広告を届けるために、接触済みのユーザに対して何度も同じ広告を出さないようにする仕組みを提供しています。 例えば、すでにある広告Aをクリックしたユーザには広告Aは再度配信しないのような設定です。 仕組み この仕組みを実現するためには以下のようなアーキテクチャになっていました

はじめに Baikal について Baikal を支える技術と工夫 AWS アカウント Terraform ワークフロー基盤 Athena Lake Formation アーキテクチャ Extract & Load データ生成元 AWS アカウントにある RDS からデータ抽出 データ生成元 AWS アカウントにある DynamoDB からデータ抽出 社外の API からデータ抽出 Transform workspace に配置されたデータの変換 データ生成元 AWS アカウント内の生ログ変換 ウェアハウス内での加工 Share 今後の課題 開発の一部を他チームへの委譲 データ異常検知 BI ツールの導入 はじめに DRE チームの hyamamoto です。 新卒の方々が入社されて 4 ヶ月ということで、時の流れの速さを感じています*1。なお、現在、新卒の方々でリレー方式でブログを書いて

広告技術部のUT@mocyutoです Gunosyではニュース記事を配信運用するメディア部門とアプリ上などに広告を配信運用する広告部門があります。 （本記事では「メディア」とはグノシーやニュースパスなどのサービスを指し、「広告」はそのメディアに出す広告を指します。） 今回は広告部門が運用している広告システムのスケールの仕組みについて紹介します。 課題 解決策 仕組み スパイクスケーリング スケジュールスケーリング スケールのロジックを記述 まとめ 課題 メディア側のシステムは各サービスごとにチームが分かれており、それぞれ別のシステムで稼働しています。 しかし、広告側のシステムは単一のシステムで動いており、各メディアの広告配信すべてを担っています。 そのため、サービスが増えるごとにトラフィックが増える仕様になっています。 特に速報などのプッシュ通知をメディアが送信すると一気にユーザはアプリを

広告技術部の石田です。 RSGT2021での学びをきっかけに、私たちのチームでは一日の業務をモビングとフラクタルという方法で行うようになりました。 しかし、ひとくちにそう言われても具体的なイメージが湧かない人も多いのではないでしょうか。 この記事では、モビングとフラクタルの二つをわかりやすく解説します。 特にフラクタルはなじみの薄い用語なので、まずフラクタルについて図を使って説明した後にモビングの解説をします。 フラクタルを図で解説 それではまずこちらの図をご覧ください。 フラクタルで過ごす一日の流れ フラクタルとは元々は幾何学の概念で、全体とそれを構成する部分が自己相似(再帰)となるものをいいます。 フラクタルスプリントは一日をひとつのスプリントに見立て、その中を同じような構造を持った小さなスプリントで構成します。 私たちのチームでは30分の短いスプリントを一日中繰り返すこと、そして最初

はじめに Github Help Wantedでissueを選ぶ OSSのコントリビュート方法を確認する 実装 既存コードの動作確認 機能実装 プルリクを出す マージされる 最後に はじめに こんにちは。広告技術部のjohnmanjiroです。普段は広告配信のAPIや管理画面を作っています。 今回は最近自分が始めたOSS活動のやり方について紹介しようと思います。 issueを見つけたその日にプルリクを出し、約１週間後にマージされました。 「OSS活動始めたいけど、別に普段使ってる中でバグを見つけたりもしてないし、貢献したい明確なOSSもない、どうしよう🤔」そんなOSS活動未経験者の参考になれば幸いです。 ちなみに自分自身、活動を始めたばかりのペーペーです。 Github Help Wantedでissueを選ぶ OSS活動を始めるにあたって、まずは貢献するissueを選びましょう。iss

はじめに こんにちは。SRE部の板谷(@SItaya5)です。 Gunosyでは様々なプロダクトでECS(Amazon Elastic Container Service)を使用してタスクを実行しています。 ECSの起動タイプにはEC2とFargateの2種類がありますが、どちらのタイプも混在しています。 ログの送信先としては、主にPapertrailというサービスを使用しています。 しかし、Fargateで実行しているタスクに関しては、ログの送信先(Log Driver)に選択の余地がなく、Cloudwatch Logs一択でした。 そのため、EC2で実行しているタスクのログはPapertrailに送信されていましたが、一方のFargateで実行しているタスクはCloudwatch Logsに送信せざるを得ませんでした。 このように起動タイプ毎にログの送信先が分かれており、管理が煩雑にな

はじめに こんにちは！DR&MLOps グループの阿部です。 Gunosyには社内警察と呼ばれる人がおり、たとえばデータ可視化の際に円グラフを使うと正しい使い方を教えてくれる、母数という言葉の使い方を正してくれる、方々がいます。 今回はAthenaで課金額の高いクエリを投げるとSlackで警告してくれる、Athena課金警察というボットを紹介します。 そういえばこんな記事もありました。 data.gunosy.io さあ、高額課金者を晒し上げにしてやりましょう！ 目次 はじめに 目次 どうやってやるか Lambdaの中身 結果 悩み まとめ どうやってやるか 最近 CloudWatch Events で Athenaの Query State 監視に対応したようです。 aws.amazon.com 今回はその機能を使い、Query State に変化があったときに Lambda を呼び出し

こんにちは。Gunosy広告技術部の mocyuto です。 緊急事態宣言が発令されて、在宅勤務されている方も多いのではないでしょうか？ Gunosyでは、もともと在宅勤務の制度は特になかったのですが、コロナウイルスの感染が日本で始まったころから、在宅勤務制度が始まりました。 【2020年9月4日更新】Gunosy、新型コロナウイルス感染症に関する対応について｜株式会社Gunosy（グノシー）｜情報を世界中の人に最適に届ける 2月から長らく在宅勤務が続き、弊社でも各人が在宅での環境を試行錯誤しております。 そんな弊社メンバーの在宅環境がどんなものになっているかを見ていきたいと思います。 １．電動リクライニング 出社することがなくなったため、実家に帰って作業をしている civitaspoさんです。 病院みたいですね。 ２．すっきりディスプレイ 二人目は人事のikaiさんです。 デスクまわりが

こちらは Gunosy Advent Calendar 2019、22日目の記事です。 はじめに 僕が思うマネジメント チームの地力を上げる スキルアップとモチベーション メンバーの相互理解 ベクトルの向きを合わせる 最後に はじめに こんにちは、アライアンスメディア事業部LUCRAチームでアレをアレしている岡田です。 今回はLUCRAのチームマネジメントしている中ででたマネジメントに対する自分なりの理解やアクションを書きたいと思います。 あくまで今の自分の理解です。絶対的に正解だと思っていないし、異なる考え方もあるし、自分自身も1年後に同じことは言っていないかもしれません。 僕が思うマネジメント 僕がエンジニアというプレイヤーからマネージャーとなって一番初めに悩んだのが極論マネジメントとはなんなのかということでした。 ドラッカーの定義とかありますが、今の僕の理解では「チームの地力を上げ、

この記事は Gunosy Advent Calendar 2019 の18日目の記事です。 前回の記事は@mageyuki さんの ワークフロー基盤としてのEKSクラスター運用のポイントとEKS on Fargate検証 - Gunosy Tech Blog です。 はじめに どうやって作るか インセプションデッキ フェーズ分け 工数見積 どこまで作り込むか 仮説を検証できるか？ 障害、セキュリティに耐えうるか 技術的挑戦 まとめ はじめに こんにちは。広告技術部でエンジニアをやっている @mocyuto です。 最近は荷物運び*1 と丸い輪っかの筋トレ*2を交互と行っています。 今回はGunosyのように自社で新しいサービスを作る上で考えて実践していることを共有したいと思います。 特にエンジニアサイドとしてどのような視点で考えているのかを以下の軸で話そうと思います。 どうやって作るか ど

本記事は、Gunosy Advent Calendar 2019 17日目の記事です。 昨日の記事は、中村さんによる Pythonしか知らない新卒がGunosyに入るとこうなる - Gunosy Tech Blog でした。 はじめに ワークフロー基盤について システム概要 その日はいきなり訪れた 原因究明 対策 反省点 まとめ EKS on Fargateについて 検証のポイント 検証内容 まとめ 最後に はじめに はじめましてこんにちは、Gunosy Tech Lab1 Data Reliability & MLOps Group2の大関（@mageyuki）と申します。 弊チームでは、 Gunosyにおける統合データ基盤 集約したデータを活用した機械学習基盤 Gunosyの社是である「数字は神よりも正しい」を根底から支える、重要な2つの基盤の開発運用を行っています。 私は主にAWS上

はじめに こんにちは。Gunosy Tech Lab Data Reliability & MLOps Group の阿部といいます。 この記事は Gunosy Advent Calendar 2019 14日目の記事です。 昨日の記事は竹中さんの ノリで使っていたGoLandをちゃんと使う - Gunosy Tech Blog でした。 弊社では adjust を利用してイベントトラッキングを行い、プロモーション効果計測などに活用しています。 今回の記事では adjust のサーバーサイドイベントトラッキングという機能を紹介し、adjust にイベントを送信するまでの仕組みをお伝えします。 はじめに adjust サーバーサイドイベントトラッキングとは やりたいこと システム構成 重複排除 複数同時送信の防止と送信間隔の調整 実装 運用 まとめ adjust サーバーサイドイベントトラッ

こんにちは、QAエンジニアのakinkです。 こちらは Gunosy Advent Calendar 2019、9日目の記事です。昨日の記事は azihsoynさんのAppSync + Nuxt.js(SSR)によるリアルタイム野球詳細ページについてでした。 qiita.com はじめに GunosyのQA組織は部長以下5名のメンバーで構成されており、1プロダクトにつき1~2名が専任で担当する体制となっています。 QA組織としては独立していますが、実態はプロダクトチームの一員として企画段階からリリース後の分析MTGまでプロダクトライフサイクルのほぼ全てに関わっています。 そんなチームで働いて思うGunosyの特徴は、 「リリースによって獲得する価値の追求・ユーザー体験の変革・ビジネスの拡大」といった広い意味でのQualityを突き詰める姿勢が全員に求められている点です。 この記事では、チー

こちらはGunosyのカレンダー | Advent Calendar 2019 - Qiita7日目の記事です。昨日の記事は id:tmotegi さんによる突撃！隣のキーボード Gunosy 2019 - Gunosy Tech Blogでした。 Merry Christmas! こんにちは、今年3月に入社したLUCRA事業部の平田(slackではhirarin)です。チームではサーバーサイドエンジニアとして日々Goを書いています。 Gunosy入社前はPHPやAWS周辺を中心に触っていました。そのため、Goを業務として書き始めたのは入社してからになります。 この記事は? この記事ではGunosyで新米Gopherとして（だいたい）1年をどのように過ごしていたかを振り返ろうと思います。 これからGoをやっていこう、または教えていこうと思っている人の参考になれば嬉しいです。 業務でのGo

こんにちは． Gunosy Tech Lab 所属のエンジニアの id:tmotegi です．現世で初のアドベントカレンダーなので緊張します． この記事は Gunosy Advent Calendar 2019，6日目の記事です． 昨日の記事は @rikusouda さんによる「【再入門】UICollectionViewとUITableViewのセルを選択したときに見た目を変える方法 - Gunosy Tech Blog」でした． qiita.com はじめに 近年，エンジニアの自作キーボードへの熱は高まり続けています． つい先日もキーボード沼にハマった人達の3回目のゆるふわ交流会である「天下一キーボードわいわい会」が開催されました． この天キーですが告知後すぐに枠が埋まっていたのが印象的です． tenkey.connpass.com 今年のアドベントカレンダーでもキーボード人気は衰えてお

こちらは Gunosy Advent Calendar 2019、2日目の記事です。なお、昨日の記事はかとうさんのわかる Gunosy 2019でした。 qiita.com はじめに こんにちは、 Gunosy Tech Lab Data Reliability & MLOps Group の ｷｳﾞｨﾀｽﾎﾟ(人工知能) (@Civitaspo) / Twitter です。 昨年のAdvent Calendarでは公開したDigdag Pluginを淡々と紹介しました。 tech.gunosy.io 最近ではこれらのPluginを利用して90%ものコスト改善が行われるなど、社内で大活躍が見られています。 data.gunosy.io 皆さんも機会があれば是非利用してください！またフィードバックいただけるとありがたいです！ さて、この記事では昨年に引き続き新しく作ったDigdag Plug

はじめに AWSのネットワーク構成 GCPのネットワーク構成 AWS と GCP 間での通信 VPN設定手順 TGWを用いたルーティングの設定 (AWS) Shared VPC の設定 (GCP) Terraform まとめ はじめに こんにちは。DR & MLOps Group というところで働いている阿部といいます。Data Reliability & Machine Learning Operations の略で、データ基盤やML基盤を作って運用するグループです。 私はもともとは記事配信ロジックやデータ分析をやっているグループにいましたが、今年移ってきました。 こちらが紹介記事です: DREの使命とは？「数が神より正しい」と言うための正確性を求められる技術力 – Gunosiru 弊社のシステムは基本的にはAWSで動いていますが、とあるプロジェクトでGCPを使うことになりました。 そ

広告技術部のUT(@mocyuto)です。 最近またポケモンGOをちょっとやり始めてしまいました。 今回はオンラインの広告サービスをSpotInstanceを利用したECSで構築し、2ヶ月ほど運用した話を紹介したいと思います。 はじめに アーキテクチャ設計 広告配信 ログ設計 EBSのログ運用 デプロイ設計 canaryデプロイ まとめ はじめに 今まで広告の部署では、コンテナの本番運用はバッチのみでした。 tech.gunosy.io ECS上でdigdagを運用しているものを以前紹介しましたが、オンラインでの大きなトラフィックが流入するものをECSに構築するのは初めてです。 今回、新しいサービスを作成するタイミングだったのでECS*1上にサービスを構築することにしました。 アーキテクチャ設計 今回は単一のECS Clusterに管理画面のサービスと配信系のサービスを同居させ、コスト効率

広告技術部のUT@mocyutoです。 ついに桜が開花し、やっと春の訪れを感じはじめましたね。 外で気持ちよく飲みたい季節になってきました。 はじめに システム概要 なぜ移行するのか Celeryをやめたい LevelDBをやめたい 移行計画 アーキテクチャ ECS Athena CI/CDフロー Pluginか自前実装か 移行後 よかったこと まとめ はじめに 今回はEC2上のPythonのバッチをECSのDigdagに置き換えた話をします。 システム概要 今回の移行対象は広告配信に関するバッチ処理を行うシステムでした。 役割としては以下のようなものがあります。 広告の配信候補を作成 広告の枠情報を作成 クリックなどのイベントの集計 なぜ移行するのか 大きく分けて以下の２つの理由がありました。 Celeryをやめたい LevelDBをやめたい Celeryをやめたい 今まではバッチにはP