この記事は10Xアドベントカレンダー2024の21日目の記事になります。 昨日はBizdevの勝谷さんが「 全国のスーパーマーケットを回る10XのBizdevが出張で出会った美味しかったもの3選 | Notion 」の記事を公開しています。 はじめに こんにちは、10X在籍3年目のSREの栗原です。 今回は、以前に検討していたGoogle Cloud IAMの一時付与システムについて、その設計思想と最終的に「作らなかった」理由についてお話ししたいと思います。 作ろうとした理由と、作らなかった理由 弊社では、Google CloudのIAM管理をTerraformで一元管理しています。TerraformはIaCとして優秀なツールですが、開発者が一時的に権限を必要とする場合、TerraformのPR作成、レビュー、マージというプロセスを経る必要があり、その体験は必ずしも良いとは言えませんでした
「レポートで見ている売上と自分が計算したものが合致しないんだけど」勝手にクレンジングされていないデータを直接利用されてしまい、データの品質が保証できないデータが利用されてしまっていた「目的のデータを作れたと思うんだけど、どうもおかしい。知識もないから正しいデータの状態がわからないから見て欲しい」モデル間の結合粒度の誤りや結合キーの不足でファンアウトしている「日次にあるこの集計軸を月次のレポートにもほしいんだけど」時系列の粒度ごとのメトリクスロジックと集計軸の管理が煩雑になってしまっている日次を最小粒度に、週次と月次をまとめているような構造になっている月次や週次に評価軸を足そうと思うと日次に追加して、更に改修する必要があるデータを正しく使ってもらう上で守りたいこと
こんにちは、セキュリティチームの@sota1235です。 突然ですが、ソフトウェアエンジニアの皆さんに質問です。他者に漏らしてはいけないAPI keyやSSHのprivate keyを誤ってGitHubにpushしてしまったことはありますか？私はあります。*1 日々、スピード感を持ってものづくりに臨んでいく中で本当はcommitしてはいけないものを間違ってcommitしたり、それに気づかずにGitHubにpushしてしまうなんてことは人間がミスをする生き物である以上、誰にでも起きえる事故です。 今回はそんな事故を検知するのにtrufflehogを活用しているお話をします。 なお今回は事故を未然に予防する話には触れません。 github.com credentialsを誤ってGitHubにpushすることのリスク credentialsとは credentialsのあるべき管理方法 GitH
以下の記事などで既にかなり話題になっていますが、ぼくも触ってみました(使い方などの詳細はこちらの記事を参照してください)。 結論としては、マジすごくてかなり衝撃的です。すべてのホワイトカラーワーカーにとって、かなりディスラプティブなツールになるのではないでしょうか。 自分はコンサルタントでして、これまでにたくさんの資料を作ってきてスキルを磨いてきたつもりだったので、AIポン出しでここまでのものが出てきてしまうと、正直、人生について考えさせられちゃいますね。 この記事では、Napkinを使ってどういう資料ができたのか共有したいと思います。 ポストモーテムの勉強会をしたいなと思っていたので、まずはChatGPTで資料の骨子を出力し、それをNapkinに入力してみました。それで得られたのが、以下の資料です。 スライド1: タイトルスライド タイトル: ポストモーテムの教科書 副題: SREにおけ
山梨は寿司好きの地域。甲州寿司を食べる。 ノイズ音楽がひびく、オリンピック通り 洞穴のような道を進め、カフェロッシュ 自然と人為が混ざり合う南アルプス市の棚田 江戸時代から続く古民家を10分見る 給付金格差を目で追いながら、ワインに焼酎を注ぎ込んだ酒、ぶどうワリを飲む。どてやき下條 やたらと立派な餃子が出てくる喫茶店、六曜館で夜は更ける そして、恐怖の地下街へ 朝食に専門店でいなり寿司をたべる 甲府の名湯、新遊亀温泉 鳥もつ煮でさようなら 最近、山梨に行っていないなと思い、甲府に行くことにした。電車でことこと揺られ、3時間ほどで到着した。甲府駅を降りたとたん、おっちゃんが近寄って来て「君、Youtuberだよね！？絶対そうでしょ。見たことあるよ！」と、これは驚いたというような表情をこちらに向けてきた。 困惑しながら「残念ながらYoutubeはやっていないです」と答えると「え、そうなの？ 君
10X ソフトウェアエンジニアの @metalunk です。ネットスーパー、ネットドラッグストアのプラットフォームである Stailer 事業で、機械学習（ML）と検索を専門として働いています。 2024年4月からいま（2024年8月）までの5ヶ月間で6つの推薦機能をリリースできました。この成果を支えたのはチームと ML platform（機械学習の基盤システム）です。このブログではチームの取り組み、ML platform の機能、および具体的な成果についてご紹介します。 このブログは技術ブログの体ではありますが、さまざまな業界、職種の方に読んでいただくことを目指して執筆しました。 (3) 章, (5) 章だけは機械学習に取り組んでいる人向けの内容を含みますので興味のない方は読み飛ばしてもらって結構です（機械学習に取り組んでいなくても興味のある方はぜひ読んでください）が、それ以外は IT
こんにちは、セキュリティチームの@sota1235です。 セキュリティチームでは昨年の夏頃からGitHub上のセキュリティリスクを洗い出し、順に対応や改善を行っています。 そのうちの1つとして、昨年の秋ごろからGitHubのPersonal Access Tokenの取り扱いの改善を行ってきました。 具体的には以下の取り組みを行いました。 CI等で利用されているPersonal Access Tokenの利用廃止 OrganizationにおけるPersonal Access Token(classic)の利用禁止設定 今回はこの2つの取り組みについて、どのような課題設定を行い、どんな手順で完了したのかをお話しします。 以下のような課題感、疑問をお持ちの方に対する1つの回答になりうると思うので該当する方はぜひご一読ください🙏 GitHubにおけるPersonal Access Token
初めて使ったBIツールはLooker Studioのid:syou6162です。これまでTableau / Looker(≠ Looker Studio) / Metabase / Redash / Connected Sheetsなど色々なBIツールを触ってきましたが、不満は色々ありつつも個人的に一番しっくりきて愛着があるのはLooker Studioです。このエントリでは、その魅力と便利な使い方や注意点について書きます。例によって、社内勉強会向けの内容を外向けに公開しているため、内容の網羅性などは特に担保していないことにご注意ください。 Looker Studioの魅力 利用のハードルが限りなく低い & Google Workspaceとの連携が便利 複雑過ぎることができないので、諦めが付けやすい ちゃんとBIツールになっている Looker Studioの便利な使い方 多様なデータソ
こんにちは、ソフトウェアエンジニアの@futaboooです。 先日スクリーンリーダーへ対応したプレスリリースを配信しました。今日はその裏側について紹介です。 10x.co.jp はじめに とあるパートナーのネットスーパーシステムをStailerへリプレイスして少しすると、お客様から「今まで使えていたのに使えなくなった！」という切実な声が届きました。この問い合わせを通じて、視覚障害者のお客様がスクリーンリーダーを使って買い物をしていたこと、そしてStailerがそのニーズに応えていないことに気づきました。 そこで、我々は視覚障害者のお客様へのヒアリングを開始し、どのような環境でアプリを使っているのか、使用しているデバイスやスクリーンリーダーソフトウェアの種類など、具体的な情報を収集しました。このプロセスを通じて、アプリがより多くの人々にとって使いやすいものになるための重要な改善点を発見しまし
2024/6/22（金） JaSST Kansai 24で発表した資料です。
はじめまして、Gaudiyでアナリティクスエンジニア（副業）をしているkuwakenです。 Gaudiyでは現在、データの民主化を進めていますが、その過程でSQLを書く手間や負担、新しいBizメンバーのオンボーディングなどの面で、課題が生じていました。 今回は、その課題を解決するために導入した、dbt Semantic LayerとSteepという2つのデータ系プロダクトに関するお話をします。 1. dbt Semantic Layerの導入背景 2. Steep導入の決定理由 3. dbt Semantic Layerに関するナレッジ 3-1. ディレクトリ構造 3-2. dbt Cloud CLI 3-3. 時間のdimensionはdatetime型で揃える（BigQueryユーザーのみ） 3-4. entitiesを理解する 4. 今後やりたいこと 5. さいごに 1. dbt S
これは何？ 私tenajimaがデータ基盤のパイプラインを作るとき、レビューするときに意識している点を言語化したものです データ基盤を作る上での考え方の一つに役立てていただければ幸いです この記事の前提 dbtを使ったデータ基盤構築を念頭に置いて書いています、dbtの記法が出てきます CTEsが使える環境を想定しています 記事内でデータエンジニアもアナリティクスエンジニアも総称してデータエンジニアと呼んでいます データ基盤を「使う側」のクエリと「作る側」のクエリの違い 最近ではファーストキャリアからデータエンジニアの方も出てきているかもしれませんが、データサイエンティスト、アナリスト、ソフトウェアエンジニアを経験してデータエンジニアを行っている人が一般的と考えています。 特にデータサイエンティスト、アナリストからデータエンジニアへの転向は私の周りでは多いように感じており、その方達は(過去の
おすすめの耳栓「Loop Experience」を愛用者のmatsukoさんが紹介。映画館やライブ・コンサートなどの大音量が気になるときや、生活音がしんどく感じるとき、集中して作業に取り組みたいときにもおすすめです。matsukoさんは睡眠時にも使用しているそう。聴覚過敏でお悩みの方のお守りとしても取り入れられそうです。 Loop Experience 楽天で見る Loop Experience ライブ用耳栓 音楽ライブを楽しむために ライブ 仕事中のノイズ 低減 高忠実度の聴覚プロテクション 騒音に敏感な方の聴覚を護ります 8個 (XS･S･M･Lサイズ x 各1セット)のイヤチップ ノイズ低減 (SNR): 18dB - ゴールド 社会人になってから日々の疲れを癒す趣味の一つに「映画館で映画を観ること」が加わりました。 週末の朝に映画館に行ってポップコーンとコーラを購入し、大きなスクリ
主にクラウドの話してます - 広島 での登壇資料です。 https://omoni-cloud.connpass.com/event/315682/
はじめに 課題感・背景 使用しているBIツールについて BIツールの使用ボリューム感について やったこと：概要 やったこと：詳細 referenced tableにテーブル名ではなくdbtモデル名が入るようにしたことについて 各種アウトプットの公開設定をmeta情報として付与する方針としたことについて tagを追加してexposureの検索性を向上させたこと exposureのnameにシートとダッシュボードのタイトルを反映する方針にしたこと 今後の発展 保守運用の設計 カラムレベルリネージュ ✖️ exposure おわりに We're Hiring!! はじめに こんにちは。okodooonです！！ データ基盤を参照したアウトプットが社内に溢れかえっていませんか？ 弊社は追いきれていないLookerStudioやConnectedSheetがめちゃくちゃ溢れかえっていました。 そんな折
こんにちは、セキュリティチームでソフトウェアエンジニアをしてる@sota1235です。 明けましておめでとうございます！本年も10X Product Blogを何卒よろしくお願いします。 さて、今回はセキュリティチームで今年の6月ごろから取り組んできたGitHub Dependabot Alertの削減についてお話しします。 サマリーとしては以下です。 今年の6月頃から取り組みを開始 初期はセキュリティチームで毎日トリアージ、泥臭くAlertの対応を行う 主要なRepositoryのAlertは一通り解消、一部は担当チームへの移譲等を行い継続的に維持できる状態へ 結果として半年間で500件弱のAlertをcloseし、残ってるAlertも対応方針が全て確定した状態になりました。 この数が多いか少ないかはソースコードの規模感にも依存するので言及しませんが、この記事では小さいリソースで取り組み
現代のビジネス環境では、大量のデータが毎日生成されており、これらのデータを効果的に管理し活用することが企業の成功に不可欠です。しかしながら、データはしばしば複数の形式やソースから来るため、整理し、分析に適した形に変換する作業は複雑です。この複雑な課題を解決するために、dbt（Data Build Tool）のようなツールが注目されています。 dbtはSQLベースのデータモデリングツールであり、データをステージング、ベース、インターメディエイト層においてクレンジング（洗浄）やSSOT（Single Source of Truth：単一情報源）処理を容易にし、最終的にマート（利活用）を目的としたビジネスエンティティのデータの生成を開発・管理します。これにより、異なるデータソースを一元化し、整合性を保ちながら分析可能な形式に変換することが可能になります。 dbtの導入はビジネスにおけるデータ処理
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
