Location via proxy:   
[Report a bug]   [Manage cookies]                

ツナワタリマイライフ

日常ネタから技術ネタ、音楽ネタまで何でも書きます。

Datadog LLM Observability で custom evaluation を使ってみた

こんにちは!本記事は、Datadog の LLM Observability 機能において、custom evaluation を利用して独自の評価指標を送信した例を紹介します。

この記事は Datadog Advent Calendar 2024 10日目の記事です。

LLM Observability 概要

LLM Observability は、Datadog が提供する LLM(Large Language Model)アプリケーションの観測機能です。
OpenAI や Azure OpenAI、Anthropic といった様々な LLM プロバイダに対するプロンプト・レスポンスを可視化・分析できます。
これにより、LLM に関する以下のような観点での観測が容易になります:

  • LLM への入力(prompt)と出力(response)のトレース化
  • トークン使用量、応答時間、成功・失敗ステータスの可視化
  • ダッシュボード上での総合的な分析

Datadog LLM Observability 概要ページ

さらに、Datadog LLM Observability では、evaluation(評価)を送信することで、モデルの回答が正しいかどうか、ビジネスロジック的に望ましい回答になっているかなどの独自指標を可視化できます。

custom evaluation とは

custom evaluation とは、LLM の応答結果を独自基準で評価するための仕組みです。
例えば、LLM が出した回答が正解か不正解か、あるいは特定の条件を満たすかどうかを、自分たちで定義したロジックで判定し、その結果を Datadog に送信することで、後からダッシュボード上で分析・可視化できます。

Python SDK であれば利用は簡単ですが、Application が Python でない場合は API 経由で直接 JSON を POST することで評価メトリクスを送信可能です。

docs.datadoghq.com

TypeScript での実装例(抜粋と解説)

以下は、TypeScript から Datadog LLM Observability に独自の評価メトリクスを送信する例の一部抜粋です。

// custom evaluation metric を送信する関数例
export async function submitEvalMetric(
  spanId: string,       // LLM要請に対応するスパンID
  traceId: string,      // トレースID
  timestamp_ms: number, // 評価を行う時刻(ミリ秒)
  evalResponse: string, // "1" なら正解、"0" なら不正解などの独自評価値
  DATADOG_API_KEY: string,
) {
  // "1" -> "true", "0" -> "false" といった形で評価値を変換
  const categorical_value = evalResponse === "1" ? "true" : "false";

  // Datadog へ送信する JSON ボディ
  // metric_type="categorical" とすることで分類メトリクスとして送信
  // label="Answered" は評価対象の指標名
  const body = {
    data: {
      type: "evaluation_metric",
      attributes: {
        metrics: [
          {
            span_id: spanId,
            trace_id: traceId,
            ml_app: "your-llm-app",         // モニタリング中のアプリ名
            timestamp_ms: timestamp_ms,
            metric_type: "categorical",
            label: "Answered",
            categorical_value: categorical_value,
          },
        ],
      },
    },
  };

  const res = await fetch(
    "https://api.datadoghq.com/api/intake/llm-obs/v1/eval-metric",
    {
      method: "POST",
      headers: {
        "DD-API-KEY": DATADOG_API_KEY,
        "Content-Type": "application/json",
      },
      body: JSON.stringify(body),
    },
  );

  if (res.status !== 202) {
    const responseBody = await res.text();
    console.error(
      `Failed to send evaluation metric to Datadog. status:${res.status} body:${responseBody}`,
    );
  } else {
    console.log(`Successfully sent evaluation metric to Datadog. status:${res.status}`);
  }
}

ポイント解説

metric_type に "categorical" を指定すると、true/false だったり、ラベル分けによる評価が行えます。 今回は label フィールドで「Answered」という指標名をつけ、回答できたかの True / False を送信しました。

metric_type は他に score もあり、この場合 score_value で number を送信できます。

なお、この 0 or 1 を判定するのに LLM as a Judge を利用しており、LLM によって「質問に回答できているか?」を評価させたものを submit しています。

    // Evaluation
    // TODO: Structured Output を使ってみたい
    // ref: https://techcommunity.microsoft.com/t5/ai-azure-ai-services-blog/introducing-gpt-4o-2024-08-06-api-with-structured-outputs-on/ba-p/4232684
    const evalMessages: Message[] = [
      {
        role: "system",
        content:
          "あなたは質問と回答のセットを評価します。質問に対して回答できているかを判断してください。回答できていない場合は 0、回答できている場合は 1 を返してください。",
      },
      { role: "user", content: `質問: ${content} 回答: ${originalAnswer}` },
    ];
    const evalRes = await evaluateRequest(
      env,
      evalMessages,
      traceId,
      evalSpanId,
      spanId,
    );

スクリーンショット例

今回はとある RAG を利用した Bot で利用しました。このように Answered(名前微妙ですね...)という指標が categorical で TRUE / FALSE で送られています。

感想

API が用意されているので、Python 以外でも送ることができました。

このように簡単に利用できるので、LLM Application を使う場合は最初から入れておくと良いでしょう。モデルを変更した場合の評価もできますし、他のアプリケーション同様 Datadog 上でモニタリングが可能になります。metrics として扱えるのでアラート設定も可能です。 ぜひ使ってみてください。

近況 2024/10

なんとかやってます!

仕事

期が変わるタイミングだった。組織としては大きな変更はなし。新任マネージャーを1人受け入れた。あと、生成AIをプロダクト開発に組み込むことを主眼にしたグループを立ち上げた。

考課/グレード設定会議についても3回目の経験となる。こちらも毎回難しいが、正解のないことに対して合意形成をする、そのための考え方の共有は以前よりできてきたように思う。難しいけどね。全力を尽くしました。

ビジネス(PdM)のトップの方の意向で、組織長が集まる会議で開発組織がどのように事業貢献するかの発表をしたら、これは全体の場でも話しなよということで、教育事業に関連する人が集まる半期のキックオフ的な場でも話すことになった。300人以上の前で話すのははじめてかもしれないし、エンジニアコミュニティのように聴き手の属性がエンジニアだけでなく、多種多様な役割の人の前で話すということでかなり発表内容は悩んだが、結果的には好評だった。

また、それとは別文脈で、生成AIをプロダクトに組み込むグループを立ち上げたということで、これも5分で話してよというありがたい無茶振りをいただいて、「今日はみなさんに未来にワクワクしてもらいにきました!」と言って3つのデモを動画で解説付きで話した。これもインパクトはかなりあって、たくさんポジティブなフィードバックをもらえた。

ドッと疲れたが、このタイプの仕事も大事だと思う。例えるならば…いや正しい例えかわからないんですが、起業家が投資家にプレゼンするような…(やったことないです) ワクワクする未来を語るという仕事は意味があることだと思う。結果いろんな領域の人から関心を持っていただいたし、アイデアがたくさん出た。

一方翌日からはこれを形にしていくということで、モードを変えて進めている。モードの切り替えが大事だと思う。

なかなか進捗を出すまとまった時間が取れずに大変だが、委譲できることをどんどん委譲していきたい。自分自身が手を動かすことも大事だが、どこまでやるかを見極めてうまくテコを効かせたい。

残されたこの半年を、大切にしたい。

プライベート

前述したプレゼンのあとは休みをとって妻と山梨に旅行に行った。静かで真っ暗な宿で、ぐっすり眠るために。

家主の顔が見えるペンションに泊まった。とてもよくしていただいた。妻はそういう人と仲良くなるのが得意なのですごい。

中日はハイキング。4,5時間歩いて20000歩。登山ほどアップダウンはない。自然の中を歩くのは気持ちが良いね。

バンド

ベースをやっている。エンジニア?ビール?酒?CTO?仲間と。ありがたい。

ベース自体は前バンドでやっていた。でも、その時は、正直言い訳してた。音楽を作る人として、ベースも経験したい。ベースは弾くけど、音楽家なんだと、そう言っていた。

今回は、ちゃんとベースを弾く人として、演奏に向き合いたい。言い訳はしない。

スピッツのロビンソンと、矢井田瞳の Look Back Again をやっている。

ベースは派手さはない。だけれどミスると全てが壊れてしまう重要なパート。このメンバーなら、自分が目立たないところで支えていきたい。そう思っている。

とりあえずエフェクターボードを整えた。ベースは重たいのでスタジオでレンタルしている。バンドがもっと上手くなって軌道に乗ったら、初ライブをやれるようになったらベースを新しく買いたいな。

練習する時毎回基礎練しててえらい。

水泳

9月にはマスターズの大会に出た。引っ越して新しいクラブに移ってからはじめて。個人種目2つに、リレー4つも出てなかなか大変だった。

リレーが25m単位でタイムが出なかったのが不満があるところだが、いいタイムが出たものもあった。

水泳に関しても、ずっと言い訳してた。言い訳をやめる。

前の経堂の仲間も会いにきてくれて、嬉しかった。

そして12月にはまた長水路の大会があって、それは経堂の仲間と出るので楽しみ。

練習が火曜しかちゃんとした練習がないのが悩み。土曜は用事入りがちだしなぁ。

キャリア

話戻った。

Director になって1年、次の10月で2年になる。

また、Quipper に入って勤続は6年を超えた。次の10月では7年を超えている。

次の10月には、何かしらの別の何かが見えているといいな。多分、そうなっていると思う。

健康

睡眠時無呼吸症候群の判定が出て、CPAP やっている。1ヶ月でようやく慣れた。そして1回目の面談が終わり、使ってる時は無呼吸の頻度が診断時は57回だったのが1.6回と、効果も確認できた。

目に見える健康の実感があるかというと、まだめんどくささが勝っているが、データで語られると弱い。

引き続き得難い健康をなんとか得ていきたい。

おしまい

おしまい。飲みいきましょー

YAPC::Hakodate 2024 に参加した

した!初参加!栄養摂取した!

前夜祭

金曜日に移動して15時頃ホテル着。15-17 と会議に参加してから、17時半に前夜祭会場に到着。なかなか分かりづらかった...

なんとなく座ったら隣がほにゃにゃさんでびっくりしたw そのあと右隣に藤原さんが座られていたのも合わせてびっくりw 発表もよかった。コスト削減もすごいし、プレビュー環境作れるのめっちゃ開発体験よさそうである。

あとは座談会が印象に残ったなー。自分としてはこれから来ることであるが、若い人から学ぶということは常に心がけておきたい。参考の本もポチったので読みたい。

あらたまさん、てっきりいると思ってたのでリモートなのはびっくりでしたが(お大事に!)、会場は盛り上がってました...!

廊下ではクラウドベースの宮川さんや、同社堤さんとはじめましてで、前一緒に働いていた同僚と繋がってることがわかって世間狭いやつをやった。

その後はいつメンで Endeavor へ。そうしたらぞろぞろ人がきてあっという間に YAPC 前夜祭2次会にw ビールどれも美味しかった〜!ていうか安い!飲み比べセット 150mm が3つで780円て。

その後は市電乗って駅へ。いくおさんらがいるといういか太郎へ。海鮮美味しかった。

途中でマグノリアさん合流、スタッフの作業のあと来ていただきました、嬉しかった〜!

やおっちさんにもあらためてご挨拶できてよかった。

そのあとは横丁の小さめなバーでテキーラを飲んだ。普通に中に一人お客さんいたけど写真でめっちゃ馴染んでて笑った...w しのはらさんとタクシーで撤収!

早朝

こういうイベントでもなければ積極的に海鮮の摂取はできないだろうと思ったので参加した。

toggle.connpass.com

ちょっと遅れて入ったらすでに満席で一番手前の席になった。あとレギュレーションも知らされてなかったので微妙に遠慮して B セットにした。うにが乗った5色丼が羨ましかったw いくらもホタテもハラスも美味しかった。

SRE NEXT ぶりに玉田さんと再会できた。サークルの代表をされている学生さんや、トグルホールディングスのマネージャさん、グリーの DevRel の方と同じテーブルでいろんな話ができた。

本編 - 午前

行きのバスでちょっと眠って会場へ。一番早いバスで行った。スポンサーさんもまだブース設営をしていたw

座ってバッグの中のスポンサー資料をパラパラ見てゆっくりしていた。

はこだて未来大学すごい素敵だった!ここで勉強できる学生は幸せだな〜

最初は深町先生のセッション。脚注が面白すぎたw

資料読み直したいなぁ。

そのあとは ymatsu さんのセッション。

この下期から本格的にプロダクトに LLM を組み込んでいく矢先だったので期待していたセッション。

整理していただいた5つのパターンは自社でも役立てられそう。あとモデルの性能があがり、コストが下がり続けているので、今は現実的ではなくても試算できるというのもその通りだと思った。

そのあとはラッキーピエロが配られ始めているということで、なくなる前に一旦確保!そして Perl のセッションを聴きに。

Langauge Server の話、プロトコルを知らなかったので単純に面白かった。シンタックスハイライトとかエンジニア誰もが恩恵を受けているもので、これをいろんな言語で実装できるようになっている、プロトコル・仕様策定ってありがたいし、インターネットの世界はこうやって発展しているんだなぁと実感した。

sed, awk, bash を perl で置き換えられるのでは?という課題提起も面白く、チームで使うのはさておき、自分のローカルで動かすのは少なくとも置き換え可能性はありそうだなと思ったので、perl も動かしてみよう!という気持ちになったセッションだった。

昼休み

外で食べたいと思い、キッチンカーのほうへ。いつメンがいたので合流し、ラッキーピエロ食べたり、余ってたたこやきをつまんだり、並んでる列が短くならないか念じたりした。

ラッピ、肉がたくさんですごいボリュームだった。

スポンサーブースをめぐったあと、次のセッション始まる前ぐらいに再度きて、カレー交換した。美味しかった〜

ランチでたまたま一緒になった Hirata さんはその後ブースでもあって、やってる仕事のこと聞けて面白かった。クラフトビールフレンズでもあった!

スポンサーブース巡り

スタンプラリーちゃんとやって商品交換するかーっていうのと、カンファレンスはスポンサーさんのおかげなのでちゃんとめぐるか!という気持ちで回った。

おみくじは吉で TypeScript だったのでビミョーだった

DELTA さんの AWS 削減クイズは難しすぎたw あと普通に知らない用語もあった...

hacomono さんでカレーもらったり、B/43 でお菓子掴み取りした。各社「クイズ」パターンと、「シールなどでアンケート」パターン、あとは LX さんみたく ADRを見せる、コンテンツを見せるパターンと、いろいろブースパターンがあるなと思った。朝海鮮でお世話になった Toggle さんはデモを見せてもらった。土地に立つであろう建物のシミュレーションができるのすごいなーと思った。

本編 - 午後

午後は onk さんの ADR セッションから。3年運用した学びあって、うちも ADR 運用しているので比較できて面白かった。

そのあともスポンサー会場をちらっと行ったり戻ったりでずっと C 会場にいた。

Kizuku さんの WebTransport の発表は成果が楽しみだな。九工大生、優秀で卒業生の僕は嬉しかったです...

最後 Horii さんのクレジットカードの資料もめちゃくちゃ面白かった。クレジットカードの番号の仕様や、暗号化の仕様、作るプロジェクトがどう流れるかなど、一番身近なクレジットカードの何も知らない部分をいろいろ知れた。

本編 - LT / Keynote

LT はどれも最高だった!うーたんさんのは言わずもがな、YAPC やコミュニティの素晴らしさ、それがいろんな人のキャリアや出会いの機会提供をできていること、若者へちゃんとバトンを渡せていることの証明になっていた。

一番面白かったのは moznion さんの Ruby or Perl クイズ。勢いもあったw 資料公開してほしい...w 実際に Perl も含めて自分で動かしたい。

個人的にベストだと思ったのは chobishiba さんの LT。発表ももちろん上手だったが、「好き」な「技術」を続けていたらいろんな機会を得て大きくなっていく、個人の情熱をもっと大事にしていいんだ、ということを聞けて、自分も好きを突き詰められてるだろうか...と自問した。

Keynote もいわずもがな。「個人技」が後の懇親会で流行語となるw

今はマネジメントの「個人技」をつけてはいると思っているものの、自分のキャリアに想いを馳せることとなった。

懇親会

3人話す人を決めていた!ビール仲間の hokkai7go さん、元 Quipper 同僚の ohberye さん、はてなの onk さん!無事全員話せた!

最初は hokkai さんと近況話しつつ、さくらインターネットの北海道フレンズの方々とテーブルを囲んだ。ビールの乾杯の練習と、食事をとりにいくスピードが素晴らしかった。今後とも見習いたい。

ohberye さんは卒業されて1度も話してなかったので3年半ぶりぐらいになる。実は ohba さんは僕の命の(?)恩人でして、Quipper に入ったばかりの頃、ワークしてなかった僕を気遣っていただいた。久しぶりということで長い時間話せてよかった。今のお互いの仕事のことや、共通事項であるサプリの組織やシステムについて。同窓会しましょう!

そのままみたにさんに繋いでいただいて、ここもがっつり書けない話をしたw

セッション見にいったものの、物理ビジュアルに自信がなかったので hokkai さんに相談して onk さんに引き合わせてもらった。いやー、すごい数年越しの物理はじめまして。いつからか Twitter 上ではお互いひっそり「見ているぞ...」の関係だったのでこのタイミングで話せてよかった。はてな社は卒業生含めみんないい人だ...はてな...好き...という気持ちになる。あの素晴らしいインターンは日本のソフトウェア業界への貢献すごいと思う。

onk さんと話してたらそーたろさんに呼ばれて(たぶん)asumi さんと地元(?)トークしたw

1.5次会

マサヤさんの紹介もあって、2次会会場の近いところにある White Seed へ。美味しかったし、マサヤさんもそーたろさんも縁が繋がったみたいで一瞬だけど行ってよかったね!

2次会

長い1日である!

findy.connpass.com

半分ぐらいいつメンで1階が「吉祥寺では?」という話になった。よくないよ!

九工大の学生さんとお話しさせてもらった。いやー函館で同窓生とお会いするなんで。

飯塚でカンファレンス...できるといいね...!

3次会?

夜風に乗って歩いて街の方へ。最後バーでテキーラ飲んで、眠さの限界がきたので脱出。Engineering Manager の責任範囲というおもしろテーマを話していた。

翌日

限界まで寝て空港で立ち食い寿司食べて帰宅!おつでした!

感想

  • Open the future というテーマ、すごいよかった。まだ答えはでていないけど、自分の近い将来をどう開いているか考えたい

  • 「コードを書きたい!」という栄養素を摂取できた。これはカンファレンスでしか摂取できないよねぇ

  • 今回は新たな出会いもあったし、加えて「再会」が多くてありがたいなと思った。

  • 次はマイホームタウン、福岡ということで絶対登壇します。よっしゃ。

最後に、吉祥寺界隈のみなさん、いつもありがとう! BigLove to そーたろーさん、いくおさん、すてぃおさん、ちゃんさん、マサヤさん、しのはらさん、songmu さん

初参加でしたがめちゃくちゃ楽しかったです。スタッフの皆さんもありがとうございました!

SRE NEXT で「SRE の考えをマネジメントに活かす」で登壇しました #srenext

Photo by SRE NEXT Staff

Photo by SRE NEXT Staff

Photo by SRE NEXT Staff

Photo by SRE NEXT Staff

Photo by SRE NEXT Staff
*1

してきましたー。来ていただいた方、スタッフ、スポンサー、レビューしていただいたチームメンバー、本当にありがとうございました。

裏番組が立ち見満員御礼(入室制限)発生ということで、なんともな気持ちを持ちつつも、登壇するときのいつもの心持ち「誰か一人に何か持って帰って貰えばそれでいい」を胸に向かいました。いつまで経っても緊張しますね。あと最悪(?)会場に人がいなくてもオンラインもあるし...! みたいなことを言い聞かせていた気がします。

CfP

去年引退です!とかいいつつ引退詐欺をしたわけですけれど、コアスタッフをはじめた時点では出すつもりはなく、近づくにつれて「これ出して通っても落ちても面白いな?」などと考えはじめて出すに至りました。

ネタとしては頭の中に前からあったもので、よく自分の後任のマネージャの 44smkn さんとマネジメントは SRE と同じですよ〜みたいな話をしていたものを使いました。

出したプロポーザル載せておきますね。


■発表のタイトル:

SRE の考えをマネジメントに活かす

■発表の概要:

このセッションでは、SRE (Site Reliability Engineering) の経験を活かし、組織の信頼性とパフォーマンスを維持するためのマネジメントスキルについて解説します。SREとマネージャーの役割の違いや共通点を明確にし、具体的な業務内容を例にして応用方法を紹介します。アラート対応、人材育成、リスク管理、組織設計など、SREのスキルをマネジメントにどのように転用できるかを具体例を交えて説明します。人間はシステムとは異なるため、同じアプローチは通用しない場面もありますが、同じメンタルモデルを適用できるケースもあることを示し、実践的なヒントを提供します。

■聞いた人が得られるもの:

SREを経験した人がマネージャーとして活躍するための具体的なヒントや、現在マネージャーを務める人がさらに効果的にマネジメントを行うための実践的なアドバイス。

■発表の詳細:

  • 自己紹介
    • 発表者は SRE, SRE マネージャ, 開発部部長の経験がある
  • SRE とマネージャの違い
    • 対象はシステムか、組織か
    • 「期待する」信頼性を維持する
    • 「期待する」パフォーマンスを出せるよう支援する
  • SRE の業務内容をマネージャの仕事に例えてみる
    • アラート対応: 仕事や人間関係の問題への対処
    • パフォーマンスチューニング: リソース配分と育成
    • 冗長化とリスクマネジメント: リソースの冗長化とリスク管理
    • アーキテクト・システム設計: 組織設計とインターフェース設計
  • 具体例
    • アラートをあげてもらえるように期待値を合わせる (≒ SLO の合意)
    • 組織上のリスクを評価し、計画し、実行する
    • 組織間のインターフェース設計としての"Team API" の策定
  • 注意点
    • やっぱり人間って難しい...!
    • システムのように全く同じであると考えてはいけない
    • 同じアプローチは通用しないが、同じメンタルモデルを適用できる場面もある
  • まとめ

毎度毎度のエクスキューズですが、SRE NEXT のプロポーザル審査は基本的にブラインド(応募者情報を見ない。そもそもフォームにはメールアドレス以外の所属情報など収集していない)で行われます。かつ、自分のものには一切コメントができないため、コアスタッフであれフェアに選考させていただいています。

来年はどうでしょうね、あいつは引退するする詐欺だと @EGMC さんや @yuuk1 さんに言われてるので懲りずに出すかもしれません。今後1年間の @chaspy の経験に期待としておきましょう。

発表

資料自体は前もって仕上がってたので安心して当日に挑めました。直前に EMs にレビューお願いして、特に @44smkn さんのレビューはありがたかった。足りないところを指摘いただき補えたと思います、本当にありがとうございます。

スライド作りがいつもつらくて、今回は枚数に制約をかけて、20分なので20枚で行こうと決めてました。(結果27枚…まぁつかみのしょうもない?スライド数枚+FAQを差し込んだぐらいなのでよしとしよう)

pdf を chatgpt に読ませてレビューしてもらって、なるべく文字だらけのスライドは減らせました。結果 SRE とマネジメントの対比が分かりやすかったという声も聞けたから良かった。

人の入りも、裏番組に怯えてて、(まぁ裏番組が強くない時間帯なんてないのが SRE NEXT のすごいところであり、登壇者としては乗り越えないといけないハードルなわけですが...w パネルもですし、ぐりもおさんのセッションもめちゃくちゃ需要高くて刺さるだろうし) 直前5分前までは控えにいて。カメラマン、配信チーム(もちろんいたたにさん、しののめさんにも!)、司会、カメラマンのsaitoさんに挨拶して、深呼吸して立ちました。知ってる顔も何人か来てくれて安心しました。心強かったです、ありがとうございます。

数えてはないのですが思ったより入っていただけて。裏番組が強いからこそ、聞いて欲しい人に来てくれたなぁという感覚があって、想定聴衆かどうか手を挙げてもらったんだけど狙い通りの割合で嬉しかったです。なぜか「裏番組が強いですが、こっちもいい話するんで!」などとハードルを上げていたw

結果来場者満足度も結構な票が入っていて嬉しかったです。言いたいことは1つ、「マネジメントもSREも期待値調整なんです、だからもうすでにやってるんです。もし興味があればチャレンジしてみませんか?」ということだけで。

何年か後にあのときの発表聞いてマネージャーのキャリアを目指して、今なりました!という人が現れたらこんなに嬉しいことはないな、という気持ちです。

Ask the Speaker

誰も来なかったらどうしよう!その2でしたが、来てくれて嬉しかったです。ことみんさん (@kotomin_m) やまはらさん (@shonansurvivors ) ayana murakami さん (@Ayana_moomin) とたくさんお話できてありがたい時間でした。

ことみんさんは聞いたセッションすべて Ask the Speaker 行かれたとのことで、参加者の中で1番吸収してるんじゃないかと思いました、すばらしい。

ことみんさんは想定する参加者の中では現役のマネージャーでも、(今現在)マネージャーを目指してるわけでもない、3つ目の想定者でしたが、プロジェクトマネジメントでも同じですよね、と自身の関心に得たことを当てはめていて良いなと思いました。

やまはらさんは逆に僕と近い立場で VPoR をやられていて、自分の専門分野でない領域のマネジメント(エンジニアリングですらない)もされていて、僕自身ケーススタディはかなり勉強になりました。

murakami さんは今後インターン生のメンターをやるとのことで、マネジメントの第一歩ですよね、期待値調整をマネージャーやリーダー、あるいはインターン生とやりましょうねという話をしました。

登壇者としては、発表のフィードバックをもらえることが何よりもギフトで、やりがいです。こうやって直接声をきける場を作ってくれて SRE NEXT Staff には本当感謝です。イベントチームありがとうございます!

他、当日ツイートや、ブログで言及いただきありがとうございました!すべて目を通しております!感謝

これにて僕の SRE NEXT 2024 は終了です。2020ぶりにスタッフ復帰させていただき、発表の機会までいただき、僕自身学びの機会となりました。引き続き SRE NEXT が続いていくことを祈りつつ、自分なりの貢献の仕方を見つけて行動していきます。

ありがとうございました!

おまけ、ツイートやブログ

ryuichi1208.hateblo.jp

SREは生き様。すごく納得はしていたがどうSRE以外の活動に活かすかって結構難しかったりします。この発表を聞いて類似点を見つけつつSREとマネジメントでの違いに着目するという進め方はさまざまな場面で参考になるなと思いました。

nulab.com

このようにSREの視点からマネジメントを学ぶことでマネジメント業務を敬遠しがちな自分にとって、抵抗感が減り、より親しみやすく理解しやすい内容でした。 あと個人的に気になったのは、マネジメントにおいて傾聴力や言語化スキルは後天的に習得できるということ。 この話はセッションの中ではあまり深堀りされていなかったのでAsk the Speakerで直接質問すればよかったな〜と思いました。

*1:chaspyさんはたくさん動いてくれたので撮れ高高いと言ってもらえましたw PC画面じっと見てると同じ絵になっちゃうよね...

近況 2024/08

夏休み!

金曜はオザキで植物めっちゃ増やした。土曜はビアフレンズだちと日本酒したりビールしたりカラオケしたりしてめっちゃ遊んだ〜。日曜は妻の両親来たり、夜は阿佐ヶ谷祭いったりしてエンジョイしております。

12-14 が福岡、15-18がライジングサンで終わるんですが、そんな中夏休みにやりたいことリストあげていく

夏休みやりたいことリスト

書籍執筆

共著なんですが1つあるので、環境を整えて、少なくともあとは机に向かうだけ!みたいな状況にはしたい。夏休み中に5割-6割のやわい感じに、8月中に8割ぐらいにしたい。

Notebook LM 活用して調べ物便利にしたりしたいなぁと妄想している。

カメラ機材

バッテリーと三脚は一旦揃えておきたい。

望遠レンズに関しては次試してからだろうなぁ。 カンファレンスとかそれ以外とか人が集まる催しで、思い出残したい!ばちばちプロじゃなくて良い!みたいな需要あったら呼んで欲しい…場数踏みたいです。(もちろん謝礼不要)

あとはjpg撮ってだしはいいけど、向きの調整とホワイトバランス微修正ぐらいはやったら?という気持ちになったのでソフトちゃんと使えるようにしておこう…

コミュニティ活動

SRE NEXT 2024 が終わったので、ひと段落だが、2025の準備がぼちぼちはじまる。記憶に新しいうちに次に向けてやりたいことを仕込んで動かしておきたい。

JDDUG も夏のmeetup#5が終わったので次は秋!LP を jekyll で作ってるんだが、細かい気になるところあるので直しておきたい。

Raycast 導入

Alfred からの乗り換え検討中。使い心地慣らしておきたい。

Bolt での Slack bot 構築

いま Slack bot 作るなら next gen platform の方で deno で動かしている。んだが、メッセージに反応する系だとチャンネルが限定されるという問題がある。link trigger だと解決したいするのかもしれないけど。別チャンネルから呼びたい&DMでプライベートで呼びたいというニーズがあるので how 知っておきたい。

LLM 関連のキャッチアップ

  • Amazon Bedrock
  • SML, Phi3 をローカルで動かす
  • ファインチューニング
  • 検索システム本読む

こんなとこにしとく!今回は外出ちゃう&連休延長しなかったので時間ないなー

近況振り返り

コミュニティ活動

とにかく忙しかった〜SRE NEXT のあの3日間は本気で睡眠不足でしたね、サステナブルじゃないと思います!加えて自業自得ですが自分のスライド作るのに4時間深夜を2日やってるのでもうボロボロでしたね。大きな問題なく無事に終わって良かったです。これまで話したことなかった人とも話せてたくさん出会いがありました。カメラ熱もきたし!🔥

それをサンドイッチするように7/30はDatadog Live Tokyo、8/7 に JDDUG#5 でした。

Live Tokyo のパネルは個人的には自己採点40点かなぁ、パネル、難しい…!事前の準備で7割勝負が決まってる感がある。

JDDUGはFindyさんオフィスをお借りしました。おかけで初のオンライン配信もできました。IPA も美味しかった!

そういえば Datadog オフィスでもオンライン配信できるように技術つけたい&機材揃えたい気持ちもありつつ、やっぱ配信は専任メンバーいないと厳しいよなと思う。技術的にもそうだけど、時間的にもはりついてなくちゃいけないって意味で。どちらかというと今はカメラ撮りたいしね。

というわけで JDDUG はまた秋開催で細々とやるとして、登壇やイベント参加はおやすみモードに入る予定。

仕事

こちらもあっという間に終わった感。夏休み明けたらもう下期の組閣だ考課となる。

この期は管掌範囲が倍になり、マネジメント人数も過去最大となった。(直接が16名、直下が80名ちょっと。)期初は引き継いですぐのトラブル対応だったり、その後は組織変更後のトレードオフの問題の顕在化などあっちこっち走り回ってた感じがある。その他いろんな問題があった。(書けることなさすぎ)

睡眠はちゃんと取って、休みも取れてるのでそこは大丈夫。

一応、課題が起きたらそこへ対処することをやりつつ、未来に向けたタネもいくつか仕込んだ。また、期初に設定したミッションがうまくワークしたところもいくつかあって、手応えはいくらかある。

毎回命大事に、とにかく立ってるだけえらいなんで自分を甘やかしてはいる。それ自体は本当に大事(というか大前提)なので良いんだが、今後もちゃんと事業数値にコミットして、成果に繋げるためにやれることをやっていく。厳しい意見にも耳傾けていく。

直近のテーマ。

事業P/Lを開発マネージャーも見れるようにして、打ち手の筋を上げるのと、プロマネと同じものを見ることによって関係の質向上や連携強化を狙いたい。

生成AIへのキャッチアップ、RAGの実践は順調(思えば結構手を動かしていたな…)なので、いよいよプロダクトに組み込むステップにアクセルを踏みたい。道筋は見えている。

最後がコンテンツ。コンテンツ開発の DX をやる。これはめちゃくちゃ難しい。でもやらないといけない。

技術観点では SRE/Platform開発にプロダクトマネジメントを適用するということ、モノリスに関する方針を決定し、議論を進めはじめている。これもとっても難しい。当然僕1人ではできない。みんなの力を借りて少しずつ進めている。

技術の力で事業成長させていく。やるぞー。

趣味

観葉植物の熱が止まらないだけではなく、範囲を園芸まで広げ始めた。お花を買って寄せ植えを家の外に飾ったり、バジルやディルなど食べる系も育て始めた。こんなにハマるとは。趣味の園芸を毎月買っている。妻とも共通の趣味なので楽しい。

水泳はなかなか行けてない(なんか練習がある火曜に予定入りがち)なんだかど、9月にまた大会出ます。新しいクラブで初出場、リレーも出るので仲良くなれるといいなぁ。

(そういえば6月出たに1500m自由形は無事完泳しましたw)

あとはカメラ!細々続けてるといいことあるなぁ。嬉しい。今後もひと撮りの機会見つけては撮っていくぞー。

羽田空港ついた!おしまい

SRE NEXT でコアスタッフをやった(カメラ担当振り返り編)

北野さんと飲んでいたら気づいたら SRE NEXT コアスタッフをやることになった @chaspy であったが...? SRE NEXT 2020ぶりです。ただいま〜。

確か12月頃でした。iBrew で飲みながら。

すでに今のメンバーはほとんどいた状態だったので、一番遅い参加だったのですね。そしてその答え合わせが来年に向けてできるのでしょうが、いろいろ進んだ後の参加でした。

コアスタッフも、半分とは言わないが、いくらかは知っている人とはいえ、知らない人も半数以上いる状態で、春頃の顔合わせ飲み会に出られなかったのは痛かったなーという思い出。なんか、定例に出るけど乗り切れないというか。顔合わせ大事ですね。

CfP 編

で、大きな貢献はしばらくできなかったのですが、CfP の選考のリードをしました。と言っても、設計面はろくに貢献できなくて、蓋を開けた後の意思決定までの議論の整理をした感じです。

選考の中身で言えることはほとんどないです!パブリックになった選考倍率約5倍ということと、100件のプロポーザルが応募いただけたということで、本当に嬉しい限りです。そしてこれも Chair Talk で話されましたが、「きっとすごい良い経験をされているんだろうけど、プロポーザルからは読み取れなくて惜しいな...」というものが結構あったので、来年はプロポーザルの質を高める取り組みをリードしたいと思っています。壁打ちしたり、一緒に書く企画をしたりなど妄想しています。

レビューに自信ある様子

転職を決意した様子

タイムテーブル開けて、実際に当日の入りを見てもいいセッションが揃ったなという自負がありました。発表者の皆さんのおかげでしかありませんが、魅力的なカンファレンスであり続けたいなと思います。

カメラマン編

なんで?

実は細々と趣味をやっておりまして、当日のコアスタッフの中でのカメラ担当が空いてたということでダメ元で手を挙げてみたらアサインされましたw(手が足りないところ優先で行くつもりではありました)

@saitotak , @yoshitake945 という最強の仲間がいたので、硬いところは任せつつ、自分なりの価値が発揮できるようにしたつもりです。

登壇者のブログ等で Photo by SRE NEXT Staff と書いてあるのは我々3名のカメラチームが撮ったものです!(そのうちどれかは僕のもあります、ほんの一部ね....)

機材

  • 本体
    • OM-D E-M5 Mark II
  • レンズ
    • OLYMPUS M.ZUIKO DIGITAL ED 25mm F1.2 PRO
    • OLYMPUS M.ZUIKO DIGITAL ED 12-200mm F3.5-6.3 高倍率ズームレンズ(レンタル)

が、望遠は同じ M.ZUIKO だったら M.ZUIKO DIGITAL ED 40-150mm F2.8 PRO の方が良かったなーと後悔。なんで見つけられなかったんだろ。その辺は反省セクションで。

カメラチームのミッションを言語化した

実は写真撮影は SRE NEXT では毎年やっているのですが、その写真の明確な目的はほとんどない状態でした。で、当日スタッフ込みの顔合わせ会で saitotak さんとどうしましょうねーと話して、自分の仕事は自分で定義する!ということで定義してドキュメントに言語化しました。

今思えば役割が決まった後当日スタッフ飲みあったの最高でしたね。yoshitake さんは来られなかったけど、当日合流でバッチリでした!

これが結果よくって、当日のリアルタイムの写真の連携やって X で投稿もできましたし、登壇者の写真もかなりカバーできたと思います。(ベストエフォートのため、やむをえず撮れなかった方は申し訳ない)当日スタッフ・コアスタッフの思い出も結構残せたと思う。(基本人の顔を写してるのでブログに載せられないのが残念なところ...)

反省

いやーでも当日も、写真整理してても反省ばかりでした...く〜悔しい。でも悔しい思いしてもっと上手くなりたい!って思えるの久しぶりな気がするのでワクワクもしてます!

道具編

  • 予備の電池がほぼポンコツで使えないので買い替える
  • 三脚も持ってるものは背が低いので丈夫なものに買い換える
    • 実際望遠の時は三脚があると便利だが、2人ともあんまり Speaker 撮る時使ってなかった気もする。集合写真の時に使ってたけど
  • 2日目 SD カード忘れてドンキで買ったw 予備を忘れない...!
  • 望遠レンズは 35mm 換算 -400m なので十分すぎたが、明るさがもっと欲しくなった
    • M.ZUIKO DIGITAL ED 40-150mm F2.8 PRO こっちだったかなー、また別の機会あればこっちもレンタルして試したい
  • カメラ本体ももう1台あったほうが良かったかは悩ましい。レンズ付け替えは結構スムーズにできたのでw
    • プライベートのバッグにちょうどレンズ1つスポっとおさまったので身軽に切り替えられた

撮影編

  • F1.2 とか F1.8 は人間2人以上で撮っちゃダメ絶対というのを痛感
    • 大体片方ボケる
    • F4 あたりが良さそう。後半は学習して、2、3枚撮り直す中で F値を複数撮影することで事故をカバーすることができた
  • 絞り優先オート以外の選択肢も取るべきだったか?
    • と思ったけど人間撮るのにシャッター優先する意味もないし、普通にマニュアル頑張れという話なのかもしれない
  • 懇親会はめちゃくちゃ暗かったので、ここは F1.2 の明るさに助けられた
    • その代わり横一列に並んでもらう必要はあったがw
  • 構図、ピント合わせたい人を真ん中に持ってこないと基本ダメ
    • 3人並んでて、右の人だけにピントが合ってるとかはビミョー
    • それなら全員合わせた方が良い

スタッフの思い出編については良い写真結構撮れたと思う。やっぱり自分は、被写体に声かけて、撮るよーと言って撮るスタイルが一番自分も好きで、楽しいし、いい写真が撮れるってことを再確認できた。ただ、それ以外の望遠でのポートフォリオもテクニックとして最低限の品質は撮れるようになりたいと思いました。

なかなかこういうのは使う機会を持てないと上達の機会も得られないので難しいところですが、貴重な機会でした。

BIGLOVE カメラチーム(Photo by @Buzz / t_watanabe)

来年に向けて

すでに内部では所信表明をして、少しずつ動いているのですが、CfP / Session については引き続き関わっていきたい(もちろん当日カメラもできれば!)んですが、SRE NEXT の3つのテーマ、Diversity、Interactivity、Empathy のうち、Diversity 推進をやりたいと思っています。あとは地方(Road to SRE NEXT)もカメラ持っていけるといいな〜

というわけでスタッフの皆さん、参加者の皆さん、スポンサーの皆さん、関わってくれた全ての皆さんありがとうございました!

登壇した編のブログをあと1つ書きます!

入社してから6年

経っていた。6月20日で。1ヶ月ぐらい遅刻。

前回:

blog.chaspy.me

"今後"のセクション

今自分が1番面白いと思うのは"Engineering Management"だ。これは文字通りであり、マネージャーという仕事が面白いとか、人と話すのが楽しいとかという側面ではなく、どのように技術をビジネスに活かすのか、ここにより直接的に関与できる立場にある。

Engineering Management が面白いというのは今も変わらない。この記事を書いた6月時点では未決定だったが、10月には Director (部長) *1になり、技術だけではなく事業のことを考える割合が増えた。

丸6年。小学校が終わっている。でも1社会人としてはそのレベルの成長というか、経験をできているのは間違いない。

今の役割は最低でも2年、多分変化や成果実感が得られるのは4年ぐらいかかるだろうか...なんて考えているとまだまだ今の場所にいることになりそうだ。

事業の収益性を上げながら、ユーザに価値も届けながら、組織として楽しく、やりがいを持って働ける職場を作る。いいとこ取りは難しいね〜という感じ。頑張ります。

次の10月で早くも部長任用から1年になる。自分が主体となって動かしている、種を蒔いている施策もいくつかある。それをちゃんと見届けたい。そして後任も作っていきたい。

最近は学校営業と話す場所に同席させていただいたのがすごく良い体験になった。自分たちが作ったプロダクトを、自分たちと同じ目線で理解してくれて、それを売ってくれる存在のありがたさと、営業を通じた顧客の声を聞けて、このままじゃダメだな、伸びしろたくさんだなーと思った。

そういえば今度の12月で6年半となり、Quipper の在籍よりリクルートの在籍の方が長くなる*2、節目のタイミングになる。自分の入社カウントが Quipper から続いているのはこれからも変わらないだろうが、自分の心の持ち方を整理するタイミングなのかもな、と思っている。

そんな感じです!久しぶりの方もそうでない方も飲みにいきましょう!それでは!

*1:Senior EM は海外では一般的でないのと、部長の社内英語呼称が海外標準の Director になったので、Director of Engineering に名乗りをしれっと変えた

*2:2018年6月に入社し、2021年10月に転籍なので、3年3ヶ月