この記事は NewsPicks Advent Calendar 2024 の6日目の記事です。 ソーシャル経済メディア「NewsPicks」の中村です。最近はデータ基盤の開発運用、データアナリストのサポート、LLM活用等をやっています。 現在、NewsPicksではデータウェアハウスとして長年利用してきたAmazon RedshiftからSnowflakeへの移行を進めています。まだ移行作業の途上ではありますが、完了の目処が立ったので、なぜデータ基盤の移行を行なっているのか、どのように移行計画を立てたか、実際に移行作業を進めてみてどうだったか等を紹介したいと思います。データ基盤を運用している方、データウェアハウスの比較検討をされている方などの参考になれば幸いです。 なぜデータウェアハウスを移行するのか Redshiftのパフォーマンスとコストの問題 まず、NewsPicksの従来のデータ基
はじめに😱 AWS Support App in Slackは英語のケースのみで利用できるようです AWS Support App in Slackが発表されましたね！ 今まではマネジメントコンソールからぽちぽちケースを起票していましたが、明らかにSlackから起票できる方が気軽です。せっかくサポートを利用しているのに起票が面倒で質問できないなんてもったいないので少しでも手間が省けるのはすごく嬉しいです。 利用できる条件Support Appを利用するには Slackを利用している AWSサポートプランがビジネスプラン以上である ことが必要です。 クラシコムではSlackを利用しておりビジネスプランを契約しているため、設定を行いました。 前準備Slackで連携するためのchannelを作成します Support AppにアタッチするためのIAM RoleとPolicyを作成します Cha
AWS Support アプリへのアクセスの管理 - AWS Support
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS Support アプリへのアクセスの管理 AWS Support アプリウィジェットへのアクセス許可を取得したら、AWS Identity and Access Management (IAM) ロール も作成する必要があります。このロールは、AWS のサービス API や Service Quotas など、他の AWS Support のアクションをユーザーに代わって実行します。 続いて、このロールに IAM ポリシーをアタッチし、これらのアクションを実行するために必要なアクセス許可を、このロールに付与します。このロールは、サポートセンターコンソールで Slack チャンネル設定を作成する際に選択します。 Slack チャンネルのユーザーは、IAM ロー
Slack ワークスペースを承認する - AWS Support
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Slack ワークスペースを承認する ワークスペースを承認し、そこへのアクセスを AWS Support アプリに許可するには、AWS アカウント の AWS Identity and Access Management (IAM) ロールが必要になります。AWS Support アプリは、AWS Support の API オペレーションと Service Quotas をユーザーに代わって呼び出す際に、このロールを使用します。例えば、AWS Support アプリは、CreateCase オペレーションを呼び出して Slack でユーザーに代わってサポートケースを作成するときにこのロールを使用します。 Slack チャンネルは IAM ロールからアクセス許可を継
先月から今月にかけて、ソブリンクラウドに関するプレスリリースが相次いだ。一つはNTTデータがソブリンクラウド市場へ参入するというニュース、もう一つがNRIがソブリンクラウドのサービスを拡充するというニュースである。 これによって、現在日本でソブリンクラウドと銘打ってサービスを提供しているベンダは、NRI、富士通、NTTデータの三社となった。三社ともOracle Alloyをかついでいる。日立とNECはソブリンクラウドについてのウェブサイトは作っているが、まだ参入はしておらず様子見のようである。 Oracle Alloyのサービスモデルさて、このように最近何かと耳にする機会の増えたソブリンクラウドであるが、その実体が何で、これがあると何が嬉しいのかというのはあまり理解されていない。それもそのはずで、このコンセプトが切実に意味を持つのは欧州においてであって、日本の置かれている環境においてはいま
This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed. Find sources: "Data sovereignty" – news · newspapers · books · scholar · JSTOR (November 2017) (Learn how and when to remove this message) Data sovereignty is the idea that data is subject to the laws and governing str
TypeScriptアドベントカレンダーの12/5のエントリーです。昨日は@nanasi-1さんの【TypeScript】ジェネレーターによる遅延評価でフィボナッチ数列を生成するでした。 イマドキのJavaScriptの書き方2018というのを以前書いたのだけど、配列周りはかなり変わっているな、というのを思ったので、そこの部分だけアップデートするつもりで書いてみました。 実環境で使えるECMAScriptバージョン今時のブラウザは常に最新に更新されるはずなのでECMAScript 2024の機能もフルに使えるはずですが、おそらくNode.jsのLTSが一番古いJavaScriptエンジンということになるのかな、と思います。本記事執筆時点でサポート中のバージョンは以下の4つです。軽くメソッドを調べたりした感じ、こんな感じかと。202x年の11月ぐらいになると、ES202xがLTSバージョンで
Apple Push Notification Service（APNs）の認証局（CA）が変更されます。APNsのサーバ証明書は2025年1月20日にSandbox環境で、2025年2月24日にプロダクション環境で更新されます。APNsを使用しているすべてのデベロッパは、アプリのTrust Storeを更新して、新しいサーバ証明書：SHA-2 Root : USERTrust RSA認証局（CA）証明書（英語）を追加する必要があります。 サーバ証明書をスムーズに移行し、プッシュ通知配信の失敗を回避するために、Sandboxとプロダクション環境に接続する各アプリサーバについて、旧サーバ証明書の終了日までに新しいサーバ証明書を追加し、Trust Storeに新旧両方のサーバ証明書があることを確認してください。 現時点では、Appleが発行したAPNs SSLプロバイダ証明書を更新する必要はあ
So you want to do data quality testing in dbt the right way? We’ve got you covered. We recommend the following testing practices to have the most comprehensive, automated, and accessible tests for your dbt models: Build a foundation with generic testsLeverage helpers and packagesModel with the testing in mindTest data sourcesIntegrate alertingCreate testing documentation and establish clear owners
Use dbt Copilot, available in beta, to generate data tests in the dbt Cloud IDE only. To use dbt Copilot, you must have an active dbt Cloud Enterprise account and either agree to use dbt Labs' OpenAI key or provide your own Open AI API key. Register here or reach out to the Account team to join the private beta. Related reference docs Test command Data test properties Data test configurations Tes
出てきたエラーメッセージは以下です。 このエラーメッセージは、PCを起動した直後のみ一度出てくるだけで、”今後、このメッセージを表示しない” にチェックを入れれば、出なくなり実害もなさそうですが、なんか気持ち悪いですね。。。 ここで、”詳細情報” をクリックすると、以下のページが開きます。 対策として、ドライバーを最新版にアップデートするか、メモリ整合性をオフにする、とあります。 そもそも、”iqvw64s.sys" とは何か、調べてみると、Inttel のネットワークデバイスの診断用ドライバーのようです。 ネットワークデバイス・ドライバーそのものではなく、ネットワークの診断用、ということなので、読み込まれなくても実害はなさそうです。。。 そこで、デバイスマネジャーからネットワークアダプターのドライバーを調べてみました。 ドライバ―バージョンは 12.19.1.32 、2021年6月とかな
Windows10 から Windows11 にアップグレード後、しばらく放置してた PC 環境を Windows Update により最新状態 (21H2) にしたのが前回の話です。 Windows11にアップグレード後、メモリ整合性をオンにしたらgdrv2.sysを読み込めなかったので ここで読み込めなかったドライバは GIGABYTE 提供のユーティリティ・ドライバ類の更新により解消することができました。 .... そして、記事を書いた数日後。私の PC 環境にも 22H2 提供開始の通知がありました。 Windows11 へのアップグレード提供が開始された頃、AMD チップへの提供はしばらく待ち状態だったので、数日遅れでの提供は嬉しい誤算です。 不要なアプリケーションを削除・退避して、ほぼクリーンな状態。 早速、22H2 のアップデートを適用してみました。 .... Windows
みなさん、こんにちは、こんばんは。 Windows 11の22H2 アップデートが来た＼(^o^)／。ということで、さっそくアップデートしたのはいいが…。 このデバイスにドライバーを読み込めません😑。なんだそれ～😱。 ドライバー：iqvw64e.sys。そういえば、22H2アップデートの目玉の１つがセキュリティがアップした…だったなぁ🤔。 しかし、アップデートしたら、即エラーとは…。とりあえず、エラーでもWindows は起動しているから必須のドライバーってことではないっぽいが…🤔 こういうのが出ると、素人ではどうにもならないんですよ、勘弁してください😭 さて、泣き言はこれくらいにしておいてと…。 どうも、Intelのネットワークドライバーの１つらしい。たしかに、コントロールパネルをみると、古いIntelのドライバーが入っている…。 ということで、新しいネットワークドライバーをI
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
