はじめに TROCCO では ETL ジョブや、dbt 連携、ワークフローなど、様々なジョブで実行ログをリアルタイムで見ることができます。 これによりエラー時のトラブルシュートをスムーズに行うことができます。 そして、この実行ログですが、DB にあるジョブのレコードの1カラムに書き込まれていました。 このように TROCCO の実行ログの表示機能は、データベースのアンチパターンの上に成り立っています。 ログデータは TEXT 型で DB に保存されているためサイズが大きく、また TROCCO の成長に応じてジョブ数は増えるため、ログデータもサービスの成長とともに無限に成長してしまいます。 おかげさまでアカウント数は増加の一方であり、それに伴い DDL が遅くなったり、また SELECT のパフォーマンスも当然落ちるため、INDEX に気をつけたりする必要がありました。 SRE ではこれに課
気合いで実装、どうもかわしんです。 この記事は Rust Advent Calendar 2023 の6日目 兼 情報検索・検索技術 Advent Calendar 2023 の 6 日目です。 Rust で SQLite をフルスクラッチで実装しています。 github.com なぜ SQLite を Rust で再実装しようと思ったのかについては以前の記事で紹介しています。一言で言えば、誰も Rust で SQLite を書いている人がいなかったからやってみたのですが、そもそも SQLite が強すぎるということが再実装しているうちにわかってきて絶望しています。 kawasin73.hatenablog.com 4 ヶ月前にこの記事を書いたときは簡単な SELECT 文しか実行できなかったのですが、現時点では SELECT, INSERT, DELETE 文をサポートし、express
今回は、SQLを書く上で特にパフォーマンスに影響のあるSQLの実行計画の読み方について解説します。実行計画はデータベース製品によってさまざまに差異がありますが、ここでは比較的どのデータベース製品でも共通する内容について解説します。 実行計画とは記述したSQLが実際にデータベースの内部でどのように処理されて結果を返すか、その処理方法を記述した情報です。 A5:SQL Mk-2では、SQLエディタで実行計画を見たい SQL の上にキャレットがある状態でメニューから [SQL(S)] – [SQLの実行計画(J)] または、Ctrl+E で表示できます。 表示の仕方はデータベース製品ごとに異なりますが、多くのデータベース製品ではツリー状の情報として表現されます。（このため A5:SQL Mk-2でもツリービューで実行計画を表示します。） ツリーのリーフ（端）から処理が行われ、ルート（根）に向かっ
sqlite3 — DB-API 2.0 interface for SQLite databases¶ Source code: Lib/sqlite3/ SQLite is a C library that provides a lightweight disk-based database that doesn’t require a separate server process and allows accessing the database using a nonstandard variant of the SQL query language. Some applications can use SQLite for internal data storage. It’s also possible to prototype an application using SQ
PEP 249 – Python Database API Specification v2.0 Author: Marc-André Lemburg <mal at lemburg.com> Discussions-To: Db-SIG list Status: Final Type: Informational Created: 12-Apr-1999 Post-History: Replaces: 248 Table of Contents Introduction Module Interface Constructors Globals Exceptions Connection Objects Connection methods Cursor Objects Cursor attributes Cursor methods Type Objects and Construct
疑問9 なぜe-口座への一括切替処理を2～3月に実施したのか みずほ銀行は2021年2月27日から6回に分けて、1年以上記帳が無い定期性預金の口座約259万件を、通帳を発行しない「みずほe-口座」へ一括して切り替える計画だった。1回につき切り替える口座は45万件だ。 しかし2月28日、定期性預金システムでは45万件のe-口座一括切替処理に加えて、月末取引のバッチ処理が25万1000件予定されていた。合計は70万1000件だ。それに対して、定期性預金システムの「取消情報管理テーブル」のインデックスファイルは、1日当たりの更新が64万2969件を超えると容量オーバーになる設定だった。 月末や年度末の処理がある2～3月にe-口座への一括切替を強行したのは、3月末までに259万件の通帳を廃止できれば、印紙税を年間約16億円削減できると見込んでいたためだ。 「突き抜け」の心配は無かった またみずほ銀
コードはシステムの寿命に大きな影響を与えます。今回は、コードとデータベースエンジニアの関係を通してこのことを解説します。ここでいうコードとは、顧客ID、受注伝票番号など、業務上利用されるデータを識別・分類するため、各データの本来の名前とは別に割り当てられる記号のことです。 データベースエンジニアにはデータ設計とデータベース設計の2つの役割があります。そして、データベースエンジニアにはデータ設計の一環として安定したコード体系を設計し、データベースをコード体系に依存しないように設計することが求められます。 システムを長く使い続けるためには、 コード体系を長期にわたり変更せず利用できるようにすること コード体系とデータベース設計との結合度を小さくすること が重要です。なぜなら、コードのけたが足りなくなったり、コードの分類が業務にそぐわなくなったりして、コード体系の見直しを行うことになると、業務・
適用対象: SQL Server SQL Server には、新しいテクノロジと機能の学習に役立つチュートリアルが用意されています。 通常、以前のバージョンのチュートリアルを新しいバージョンで使用できます。 チュートリアルで新しい機能を扱っている場合は、そのチュートリアルを完了するための最低限のバージョンが示されます。 チュートリアルでいずれかの Adventure Works データベースが使われている場合は、最新のバージョンを CodePlex からダウンロードして使う必要があります。 詳細については、「AdventureWorks sample databases」 (AdventureWorks サンプル データベース) を参照してください。 Power Pivot チュートリアルで使用する Power View ブックと Power View レポートをダウンロードし、「SQL
DBの寿命はアプリより長い！ 長生きするDBに必要な設計とリファクタリングを実践から学ぶ アプリケーションの寿命よりも長く、データの追加やテーブルの変更で成長し続ける「データベース」と、どのように付き合っていけばよいのでしょうか？ 曽根壮大（soudai）さんによる寄稿です。 こんにちは。そーだい（@soudai1025）です。 新しいサービスを始めるとき、必ずと言っていいほどデータベースは利用されています。また今稼働しているサービスの多くでも、RDBMSをはじめ、いろいろなデータベースが利用されています。そんなに広く利用されているデータベースだからこそ、多くの問題の元になるのもまた事実です。 そこで今回は、Webサービスを中心にデータベースの選び方、設計についてお話していきたいと思います。そして私もまさに今、2011年から続くWebサービス「オミカレ」のRDBMSのリファクタリングに携わ
【学習方法と解答テクニックの解説がとにかく詳しい】 ・学習方法とテクニックが100ページにもわたって詳しく解説！ ・初めて学習する人も本書にそって学習すれば合格力がつくこと、間違いなし。 ・午後Ⅰ（記述式）と午後Ⅱ（事例解析）の「うかる解答の書き方」が分かる！ 【ポイントを押さえた要点解説】 ・出題傾向に沿って、見やすく覚えやすいレイアウトで掲載 ・頭の中を整理しながら読み進められる 【思考の流れと手順を踏まえた「午後」解説】 ・考え方の手順がよく分かるから応用が効く 【過去16年分の問題（午前、午後Ⅰ、午後Ⅱ）を提供】 ・試験問題の読み解き方が見える ・他に類を見ない圧倒的な問題数 ・解答用紙をダウンロードできるので、繰り返し学習可能 ※ダウンロード期限は2019年12月末までとなります。
■前置き JavaにClassクラスが存在することを大抵のJava技術者はご存知だと思いますが、実際、Classクラスとは何なのか、いつ、どうやって生成されるかなど、知らない人がほとんどではないでしょうか？ 多分、使ったことがあるのは、主に以下の２パターン １．DB接続時にドライバクラスをforName()する。 ２．インスタンスからクラス情報を取得する １は多分、みんな、おまじないのように使ってる。 Class.forName("sun.jdbc.odbc.JdbcOdbcDriver"); って感じで、よくわからないけど、上記のようにドライバクラスを指定してからじゃないとDB接続できないから、おまじないとして使ってる。という人が多いと思います。 ２は用途はいろいろですが、インスタンスからgetClass().getName()してクラス名を取得して、ログに出したり、なんちゃらしたりだと
というファイル名で作成され、初期化パラメータbackground_dump_destで指定されたディレクトリに出力される追記型のファイルです。 以下が、アラート・ログに出力される主な内容です。 -Oracleのバージョン -OS とそのバージョン情報（注） -インスタンスの起動・停止、そのモード -起動時にデフォルト以外の値が設定された場合のパラメータ -バックグラウンドプロセスのPID -表領域の追加など（物理構成の変更） -ログスイッチの発生 -エラー番号とそのエラー名、およびその詳細が記録されているトレースファイルの出力情報 注）プラットフォームおよびバージョンによりOS側の情報については出力されない場合があります。 Thu Jun 12 14:47:07 2008 Starting ORACLE instance (normal) LICENSE_MAX_SESSION = 0 L
1-2. 【注目情報1】JVN iPediaに登録された年間の脆弱性対策情報の推移 ～JVN iPediaへ登録された脆弱性対策情報の年間の登録件数は、 2017年の13,792件が過去最多、2016年と比べて2倍以上～ IPAでは2007年4月から脆弱性対策情報データベース「JVN iPedia」を運用しています。図1-2は2013年から2017年までの直近5年間にJVN iPediaへ登録した脆弱性対策情報の推移です。 2013年には1年間で5,272件だった登録件数が、3年後の2016年には6,524件と増加しています。さらに翌年の2017年には13,792件の登録件数となっており、2016年と比較すると2倍以上の登録件数で過去最多となっています。また、2017年の登録件数の内訳を見ると、NVDから収集した件数が12,804件と全体の約92%を占めており、NVDから公開される脆弱性情
SQL FiddleはColdFusion製のソフトウェア（ソースコードは公開されていますがライセンスは明記されていません）です。 開発環境をセットアップするというのは意外に面倒で、せっかく学習しようと思ってもその時点で頓挫してしまいます。もしあなたがSQLを学んでみたいと思うならばSQL Fiddleを使ってみましょう。 こちらがメイン画面です。左に構造、右に実行するSQLを書きます。 実行例。結果はテーブルで下に表示されます。 SQLを変えれば実際に結果も変わります。 対応するデータベースは多様です。 SQL FiddleはJSFiddleに代表されるWebプレイグラウンドサービスで、SQLをWebブラウザ上で実行、確認ができます。最初のテーブルのCreate文からはじまり、任意のSQLを実行してその結果をテーブル表示で確認できます。MySQL/PostgreSQL/MS SQL Se
ライブスター証券は2021年1月1日をもって、SBIネオトレード証券へと商号を変更いたしました。 以下の旧ライブスター証券ドメインは廃止されておりますので、ブックマーク等にご登録されているお客様におかれましては、新ドメインへご変更をいただきますようお願い申し上げます。 【旧ドメイン】https://www.live-sec.co.jp
主な内容 --Page 1-- ▼Data Pump Export／Importユーティリティで論理バックアップ --Page 2-- ▼論理バックアップ処理を一時停止する --Page 3-- ▼ダンプ・ファイル・セットの使用ディスク容量を見積もる ▼データファイル、表領域、スキーマを変更してリカバリを行う ▼アンロード／ロード処理のパラレル実行 ▼覚えておくと便利なパラメータ一覧 第3回「Oracleの代表的なバックアップ方法」、第4回「Recovery Managerを使ったバックアップ方法」では、Oracleの代表的なバックアップ方法の概要について説明してきました。今回は、第3回で説明した論理バックアップ方法としてDataPumpに焦点を当て、具体的な使用方法やその際の注意点を説明します。 Data Pump Export／Importユーティリティで論理バックアップ Oracle
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
