あなたが知らない既存機能があるかもしれません！ マイクロソフト社は2006年、Microsoft Officeの新バージョンで追加してほしい機能について、顧客調査を実施しました。驚いたことに、ユーザが希望した機能の90%以上はすでに実装されており、その存在が知られていないだけであることが判明しました。機能の「見つけにくさ」の問題の解決策として同社が考案したのが、現在のMicrosoft Office製品でおなじみの「リボンUI」です。 この問題はOfficeに限ったものではありません。日々使用するツールの機能をすべて把握している人はほとんどいません。PostgreSQLのように大規模なツールであればなおさらです。数週間前にPostgreSQL 14がリリースされたばかりなので、この機会にPostgreSQLのあまり知られていない機能に注目してみたいと思います。 この記事では、Postgre
特定の1日の1分ごとに作成されたレコード数を取得してみる （hoge_table の created_at カラムで集計） SELECT to_char(created_at, 'YYYY-MM-dd hh24 MI') AS t_time, COUNT(id) AS amount FROM hoge_table WHERE created_at BETWEEN '2021-10-22 00:00:00' AND '2021-10-22 23:59:59' GROUP BY t_time ORDER BY t_time ; こんな感じかな 参考リンク PostgreSQL: Documentation: 9.1: Data Type Formatting Functions PostgreSQLで日次、週次、月次の集計をする - Qiita
Supported Types and their Mappings The following lists the built-in mappings when reading and writing CLR types to PostgreSQL types. Note that in addition to the below, enum and composite mappings are documented in a separate page. Note also that several plugins exist to add support for more mappings (e.g. spatial support for PostGIS), these are listed in the Types menu. Read mappings The followin
dotConnect for PostgreSQL is a high-performance ADO.NET data provider that grants simple access to PostgreSQL databases when developing PostgreSQL-based applications. It fully supports Entity Framework (EF Core), Dapper, and NHibernate, along with a wide range of PostgreSQL-specific features, such as secure SSL connections, PostgreSQL notifications, PostgreSQL bulk data loading, GEOMETRY, PostgreS
要約 技術的な話だけ教えて、という方のために先に結論だけ書いておきますと、PostgreSQLはクエリを実行した時点で全レコードの情報を一気に読んできてヒープを埋めてしまう場合がある、ということ話です。 たとえば、ResultSet#nextメソッドを使いながら処理を回すようなコードを書いて、少ないヒープでも処理できるようにするのは常套手段だと思いますが、そういうコードを書いていても一気にヒープを消費してしまうことがあるのです。詳しくはこのドキュメントを見てください。 https://jdbc.postgresql.org/documentation/head/query.html#query-with-cursor ことの発端 ちょっと仕事でJava + jOOQ + PostgreSQLで、DBのデータを集計するようなバッチ処理を書いてまして、もちろん俺様の書いたコードにバグなんてある
約半年ぶりの登場になります、データエンジニアのt-sugaiです。 最近アスタミューゼにも仲間が増えて、なかなかブログの順番が回ってこないので油断していました。 そんなわけで、今回は軽めな上にちょっとニッチなネタですが、ご容赦いただければと思います。 データパッチ、書いてますか？ 最近はなかなか生のSQLを書いてデータパッチを当てるというようなオペレーションも減ってきてはいますが、やはり最後に頼りになるのは生SQL力だと信じています。 とはいえ、本番DBに対してSQLを発行するのはなかなか緊張感のあるオペレーションです。 できるかぎり、複数回の試験・検証を経てから投入したいですよね。 一方、ローカルや開発環境では安心して試行錯誤をしたいですね。 PostgreSQLでは、DDLやTRUNCATEにもトランザクションが有効になるので、これをうまく使うと大部分のオペレーションはトランザクション
エンジニアリングマネージャー視点での、自律的なスケーリングを実現するFASTという選択肢 / RSGT2025
TimescaleDB とは TimescaleDB とは、PostgreSQL の拡張 (EXTENSION) として実装されている、時系列データの扱いやすくする OSS です。 日時によって変動する CPU 使用率や温度などの監視データや金額のようなデータについて、複雑な処理を高速に行なうことができます。 2017 年 5 月から beta が公開され始め、ライセンスは Apache Licens V2.0 です。 メリット Architecture & Concepts: https://docs.timescale.com/v1.2/introduction/architecture Why Use TimescaleDB over Relational DBs?: https://docs.timescale.com/v1.2/introduction/timescaledb-v
Window関数は特定の関数ではなく一つの機能 組み込みWindow関数 集約関数 まとめ lang: jp 今回は、Window関数について、また集約関数をWindow関数として使う方法についてまとめます。 Window関数は特定の関数ではなく一つの機能 以前の記事でも解説したように、Window関数は集約（GROUP BY句）と似ていますが、あくまでも関数なので結果は一つの列として出力されます。（GROUP BYは複数行の結果を一つの行に集約する） Window関数というと、row_number()やlag()などの特定の関数を思い浮かべる人もいるかもしれませんが、PostgreSQLの公式マニュアルでは、以下のように説明されています。 A window function performs a calculation across a set of table rows that ar
こんばんは。opiyoです。 brewでインストールするとなんだかPostgreSQL9.6系がインストールされてしまうのだけど、本番環境と同じバージョンをローカルに使いたくてウズウズしていたのだが... Docker使えば良いじゃんってアドバイス貰ったので教えてもらった Docker For Macのインストール https://www.docker.com/docker-mac docker-compose.ymlを作る docker-compose.ymlの場所を作る $ mkdir -p ~/compose/postgresql95/ $ vi docker-compose.yml PostgreSQL9.5を配置する場所を作る $ mkdir ~/postgres95 docker-compose.ymlを修正 postgresql: image: postgres:9.5.8-
データ可視化ツールの Metabase が話題になっていたので、Redash との比較を兼ねて試してみました。 OSS のデータ可視化ツール「Metabase」が超使いやすい macOS の場合はローカル版が用意されているので、Redash よりも簡単に始めることができました。今回の記事でもこのローカル版で検証しています。 Metabase for Mac 国債金利の CSV データ 今回は手頃なデータとして、財務省が公開している国債金利の推移を可視化してみます。 1974 年からの日時データで約 11,000 件あります。元データとなる CSV ファイルは財務省のサイトからダウンロードできます。 国債金利情報 CSV の生データは扱いにくい和暦表記になっているので、Google スプレッドシートで和暦から西暦に変換しました。また、データが多いとグラフのレンダリングが遅くなるので今回は 3
# アドオン追加 heroku addons:add pgbackups # マニュアルバックアップ heroku pgbackups:capture # バックアップの一覧 heroku pgbackups # バックアップからデータをリストア heroku pgbackups:restore HEROKU_POSTGRESQL_BLACK b251 # バックアップのダウンロード(URL # URLを取得し、URLにアクセスしダウンロード heroku pgbackups heroku pgbackups:url b004 # ローカルのデータベースにリストア rake db:create pg_restore --verbose --clean --no-acl --no-owner -h localhost -U myuser -d mydb latest.dump heroku
前回のプログラムを改良してPostgreSQLを使ってメッセージを返すように改良してみました。 【Golang】公開鍵と共通鍵で暗号化する【rsa, aes, pem, x509, cipher】 - くどはむと猫の窓 今回は以下を参考にしました。 sql - The Go Programming Language pq - GoDoc ほとんどここに書いてあるサンプルの通りです。 まずはdatabase/sqlと使用するデータベースのDriverパッケージをインポートする必要があります。今回はPostgreSQLを使用するのでgithub.com/lib/pqパッケージを使います。 その他のDriverパッケージについてはここに一覧があるので参考にしてください。 SQLDrivers - go-wiki - SQL database drivers - Go Language Commu
20200601追記: なんで接続設定してないのにHerokuでDBに接続しているの？ 時々みなさんに見ていただいているので、わたしも当初疑問だったことについて追記しておきます。 （この記事はRailsを対象にして書いていますので、ご了承ください） 「Herokuにコードをpushするときは、productionモードで起動するのはわかるんだけど 特にproduction modeでのdatabase.ymlの設定は入れていなかったのに、 PostgreSQLに接続している。なぜ？？」 実際は、環境変数DATABASE_URLに接続先が指定されていれば、その設定を利用するようになるんですね💦 この記事のところでは触れていませんが、Herokuのアプリケーションの設定で、「DATABASE_URL」が環境変数として設定されているのが確認できると思います。 Rails Guide (日本語)
背景 Heroku PostgresにGUIで接続したいじゃん！ ↓ phpStormでDatabaseってやつあったしやれるっしょ ↓ めっちゃエラー出る… phpStormで地味に面倒だったのでメモ。IntelliJ系とか書いてるけど他のエディタは持っていませんのでご了承ください。私の環境はphpStorm10です。 Posticoを使わずに頑張ってみましたがPosticoいいですよ。 1. 接続情報を取得 Heroku Postgresql - External Connections を参考に、$ heroku pg:credentials DATABASE --app APPNAME を叩く。 もしくはheroku dashboardからapp → plugin → postgresqlでいけるのでは 2. エディタから設定 Preference → Plugins → Data
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
