はじめに PostgreSQLの見積もりは、テーブル、インデックスの他にも、WALファイル、アーカイブログ等の様々なファイルを含めて実施する必要があります。 とは言え、容量の大部分を占めるのはテーブルとインデックスであることは他のRDBと変わりはありません。 今回はテーブル・インデックスの見積もりについて調べてみました。 （間違いがあったら教えてください) PostgreSQLの見積もりの基本（だと思うこと） PostgreSQLの見積もりについて基本と思われることを書いてみます。 ページ PostgreSQLでは、実ファイル中のデータはページという単位で分かれています。 1ページは8192bytesでその中にテーブル・インデックスのデータが格納されます。 ページに含まれるデータは下表のアイテムで構成されます。 （引用：- PostgreSQL 11.5文書 68.6. データベースページ
概要 PostgreSQL はテーブルに対する更新処理 (INSERT / UPDATE / DELETE) を行うと、テーブルファイルに追記されます（追記型アーキテクチャ）。これは最終的に COMMIT した場合に限らず、ROLLBACK された場合でも同様となります。 本エントリではこの挙動を検証します。 なお、追記型アーキテクチャについて知りたい方は下記の記事を参照ください。 PostgreSQL Deep Dive: PostgreSQLのストレージアーキテクチャ（基本編） 検証 検証環境 PostgreSQL 12.1 contrib モジュールをインストールしました。 postgresql.conf で "autovacuum = off" に設定しました。 ROLLBACK とテーブルファイルサイズ 各ステップでテーブルファイルサイズがどのように変化するかを確認します。 テス
はじめに お勉強のログです。Persistent Volume辺り。 関連記事 コンテナ型仮想化技術 Study01 / Docker基礎 コンテナ型仮想化技術 Study02 / Docker レジストリ コンテナ型仮想化技術 Study03 / Docker Compose コンテナ型仮想化技術 Study04 / Minikube & kubectl簡易操作 コンテナ型仮想化技術 Study05 / Pod操作 コンテナ型仮想化技術 Study06 / ReplicaSet, Deployment, Service コンテナ型仮想化技術 Study06' / Kubernetesネットワーク問題判別 コンテナ型仮想化技術 Study07 / ストレージ コンテナ型仮想化技術 Study08 / Statefulset, Ingress コンテナ型仮想化技術 Study09 / Hel
はじめに 【2022/03/18追記】NFSを利用したPVの構築は、RWX(ReadWriteMany)モードを簡単に実現できるので便利です。以前は、Rook/Ceph がRWXモードをサポートしなかったり、CephFilesystem が一つしか使えないなどの制約があって、NFSを利用していました。現在では Rook/Ceph がRWXをサポートするようになっていますので、既存のNFSサーバーを再利用したい、各ワーカー・ノードに空のドライブが接続されていない、といった理由がなければ Rook/Ceph の利用をお勧めします。Rook/Cephを利用すれば、BlockStorageだけでなく、CephFilesystemでも、任意のサイズでコンテナから利用できる永続化デバイスを作成でき、後からサイズを拡張(resize)することも簡単にできます。 いろいろアプリケーションをデプロイするため
Kubernetes界隈だと近頃の永続化ストレージはRook+Cephを扱った記事が多いようですが、こちらでCephは障害が多そうとか、Cephは最低3台必要でちょっとマシンリソース的に厳しいとかで、GlusterFSにしました。前の会社で、ちょっとGlusterFS+Heketiに因縁もあったし。 で、ベアメタル?オンプレミス?環境だから、GlusterFSをPodで動かすより、Kubernetes外部で動かして、データにアクセスしやすくしてみました。GlusterFSも推奨は3台ですが、最低2台でもいけるので、物理ホストと、新しい仮想サーバ(glusterfs-node1)でクラスタを構成しました。KVMの調子が悪くなっても物理ホストにデータが残るように。 物理ホスト GlusterFSとHeketiのインストール # yum install -y centos-release-glu
Twitterに書き殴ったのですが、流れてしまうので、一応こちらにもまとめておこうかと。 これって、何を数えているんでしたっけ？ mysql> SELECT COUNT(*); +----------+ | COUNT(*) | +----------+ | 1 | +----------+— 坂井 恵(SAKAI Kei) (@sakaik) 2020年5月1日 コトの発端はちょっとした打ち間違いだったのですが、MySQL は FROM 書かなくても演算できます。こんな感じ。 mysql> SELECT 3; +---+ | 3 | +---+ | 3 | +---+ mysql> SELECT SQRT(64); +----------+ | SQRT(64) | +----------+ | 8 | +----------+ ここで、SELECT COUNT(*) とすると何が返って
このコースでは、Googleなどの企業がアプリケーションインフラストラクチャを管理するために使用するコンテナ管理プラットフォームの使用方法について説明します。ネットワーク構成からアップグレード、サービスを介したデプロイメントの利用まで、本番環境レベルのKubernetesクラスタをインストールして構成する方法を学びます。このコースでは、ポッド、デプロイ、レプリカセット、サービスなどの主要な原則も学び、Kubernetesを自分で使い始めることができるように十分な情報を提供します。
Kubernetesを学びたいですか？この無料コースでコンテナ化されたアプリケーションを管理するためのこの強力なシステムの詳細な入門書を入手してください。 このコースは、Kubernetesとクラウドネイティブパターンを使用して組織の変革を開始する方法に関するガイドラインが必要なコンテナーオーケストレーションにKubernetesを使用することを検討または開始しているチームを対象としています。 Linuxシステム管理の知識は役立ちますが、必須ではありません。
Google、MicrosoftそしてAmazon（AWS）といった大手クラウドプロバイダーによる対応も始まり、Kubernetesはコンテナオーケストレーションエンジンのデファクトスタンダードとなった感があります。この連載では、Kubernetesの基本的なことから実際に使用するところまで、解説します。 Kubernetes、始めるなら今です。
Kubernetesが標準で提供するリソースの一覧はAPIドキュメントで確認できる。また、独自のリソースを定義して利用することもできる。 Kubernetesでは、「マニフェスト（manifest）」と呼ばれる形式で各種リソースを定義する。マニフェストは木（ツリー）構造で表現できるデータであり、たとえばコマンドラインツール「kubectl」ではYAML形式で記述されたマニフェストを元にリソースの作成や削除、変更といった操作を行える。 kubectlの使い方についてはドキュメントを参照して欲しいが、たとえば、DockerHubで公開されている「httpd」コンテナイメージを利用してApache HTTP Serverを実行させるには、まず次のようなマニフェストファイルを用意する。 apiVersion: v1 kind: Pod metadata: name: httpd labels: a
日経ではアクセスログ、所謂クリックストリームデータを用途に合わせた複数のデータベースに格納し、サービス開発やマーケティングに携わる社員が自身でデータ分析ができるよう、セルフサービス化を進めています。 セルフサービス化を進めている背景として、データの集計や分析のニーズは日々増え続ける一方で、アナリストやデータサイエンティストのリソースはオンデマンドに増やせないため、いかにしてデータのアウトプットをスケールさせるかという課題があります。この課題に対するソリューションとして、データ専門チームの設立やオフショアのような人のリソースを拡張する施策に加え、ツールの整備と教育によるセルフサービス化に力を入れています。 データの集計や分析のセルフサービス化において、特に大きな課題がクエリーの負荷です。現在、およそ 200 人が BI ツールにログインして Redshift でクエリーを実行できる権限を保有
最近、CourseraのArgorithms, Part1という講義を受けている。そこでソートの講義を受けて、そういえばMySQLのORDER BYでfilesortになったときってどのソートが使われているのだろうと気になってきたので調べてみた。 調べてみると非常に難解で、結局いまいち分からなかったが、今の段階の調べた内容をひとまず書いておく。MySQLのコードを読んだのも初めてで、しかもちゃんと読み解くことができなかったので、情報が間違っている可能性も非常に高い。間違ってたら指摘してもらえるとうれしいです。 調査結果 最初に調査結果を書いておく。たぶんこれは非常に単純化したもので、詳しく見るともっといろいろチューニングされてそう。 sort_buffer_size以内のメモリ量でソートが可能な場合、メモリ内でのみソートされる ソートにsort_buffer_size以上のメモリが必要な場
こんにちわ。rwle1212です。 本記事は JAWS Days 2020 で話す予定でしたが、昨今の事情によりオンライン開催となったため、登壇予定の内容を記事にしたものになります。 登壇していれば諸般の事情により左手首を骨折したネタが使えたのですが、ブログでは伝わらないので非常に残念な思いをしております。という話はどうでも良いので本題に入ります。 50分の登壇内容なので少々長くなりますが、お付き合いください。 JAWS Days 2019で登壇した内容の振り返り昨年の JAWS Days 2019 で「Infrastructure as Codeに疲れたので、僕たちが本来やりたかったことを整理する」という内容で登壇しました。 まずは上のリンクに添付されているスライドを5分位で読めると思うので一読頂いて、下の文に進んで頂ければと思います。 そもそもInfrastructure as Cod
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 パブリッククラウドの利用は今後も拡がっていくと予想しています。 比較的慎重であった社内基幹システムのクラウド移行も進んでいくことと思います。 今までとどう違うのか、AWS ならではの使い方はどうすればいいのか、という悩みをお持ちの方は大勢いらっしゃると感じています。 そんな方々のお役に少しでも立てばという想いでドキュメントテンプレートを公開しました。 クラウド上にシステム構築を行う前の設計フェーズで使用するドキュメントを想定して作成しました。 一般的に言う「インフラ基本設計」にあたるドキュメントです。 ドキュメントはこちらで公開しています。ご自由にお使いください。 対象利用者 以下のような利用者を想定しています。 AWS 上で自社サービスを構築するインフラ
※2020年6月に公開された記事です。 日本PostgreSQLユーザ会の理事を務める合同会社Have Fun Techを起業した曽根壮大（@soudai1025）と申します。元株式会社オミカレ副社長兼CTOです。直近では、『失敗から学ぶ RDBの正しい歩き方』を執筆しました。 今回はデータベースをテーマとして、魅力やMySQLとPostgreSQLの違い、アンチパターンの見極めなどの基礎知識に加え、勉強法などもご紹介します。 RDB関連の求人検索はこちら データベースを学ぶ魅力をエンジニア目線で考察 1.知識の費用対効果が高い エンジニアがデータベースを学ぶ利点という観点から言うと、データベースの特徴は寿命が長いことと私は考えています。 Webアプリケーションの界隈では1年単位でバージョンアップしたり流行っている言語が変わってしまうことがザラにありますが、データベースは10年、20年とい
要約 PostgreSQL のベンチマーク試験コマンドである pgbench を利用して、トランザクション(TX)分離レベル毎のパフォーマンス測定にチャレンジしました。 残念ながら、今回の検証手法でTX分離レベルのパフォーマンスを比較することに意味がないと言わざるを得ない結果となりました。 ただ、この過程で得られた知見は今後の検証の糧になると考えています。そこで、検証記録をここに公開します。 検証環境 Windows の Hyper-V による仮想マシンを検証環境としました。本来は物理マシンを使うのが理想なのですが、機材を準備できなかったためです。 ホスト プロセッサ Intel Core i5-6600 CPU @ 3.30GHz メモリ 20.0 GB OS Windows 10 Pro バージョン 1909 Hyper-V プロセッサ 4個の仮想プロセッサ メモリ 8.0 GB OS
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
