COPY FROMで異常データをスキップできるようになった話（第45回 PostgreSQLアンカンファレンス@オンライン発表資料）

COPY FROMで異常データを
スキップできるようになった話
2024/02/22
株式会社NTTデータグループ
鳥越淳

© 2024 NTT DATA Group Corporation 2
自己紹介
鳥越淳(とりこしあつし)
@atorik_shi on X/Twitter
• 2008年頃からオープンソースソフトウェアを扱う業務に従事
• 2015年頃からPostgreSQLのサポート・開発
• 『PostgreSQL徹底入門第4版』(翔泳社) 8～13章執筆

（セッションの注意事項）
• 本講演で紹介する機能や仕様は、将来的に変更される可能性があることにご注意くださ
い。
• その他、記載されている会社名、商品名、又はサービス名は、各社の登録商標又は商
標です。

概要
• 開発に携わったCOPY FROMのON_ERRORオプションについて紹介
• 追加で改善提案中なので、コメント・要望募集

COPYコマンドについて
• テーブル-ファイル間でデータを移動できるコマンド
• COPY (テーブル) TO (ファイル): テーブルの内容をファイルにコピー
• COPY (テーブル) FROM (ファイル): ファイルの内容をテーブルにコピー
• INSERT文などに比べ高速にデータロードが可能
=# COPY pgbench_accounts TO '/tmp/data';
COPY 100000
=# TRUNCATE pgbench_accounts;
=# COPY pgbench_accounts FROM '/tmp/data’;
COPY 100000

COPY FROMコマンドのロードファイルに不正なデータは許されない
• 入力データをテーブルに格納する際にエラーが発生すると、COPY全体がエ
ラーとなる
• たとえば、100万件ロードしていて最後の1行でエラーが発生すると、1件もロー
ドされない。ゴミは溜まるので、再利用するためにはVACUUMによる不要領域
回収が必要
$ echo “a¥tb¥tc” >> /tmp/data
=# COPY pgbench_accounts FROM '/tmp/data';
ERROR: invalid input syntax for type integer: “a“
=# SELECT COUNT(*) FROM pgbench_accounts;
count
-------
0
(1 row)

課題: COPY FROMコマンドのロードファイルに不正なデータは許されない
• 全件ロードが必要なケースなら期待どおりの動作だが、ロードできなかったデー
タは無視してよいケースもあるはず
• 世の中の声:
• It is too bad that in 25 years Postgres doesn't have -ignore-errors flag or
option for COPY command. In this era of BigData you get a lot of dirty
records and it can be very costly for the project to fix every outlier[1]
• The ability to make COPY ignore errors is, in my memory, in top five most
commonly requested missing features[2]
[1] https://stackoverflow.com/questions/36634360/how-to-ignore-errors-with-psql-copy-meta-command
[2] https://www.depesz.com/2024/02/07/waiting-for-postgresql-17-add-new-copy-option-save_error_to-rename-copy-option-from-save_error_to-to-
on_error/

ON_ERRORオプションの追加
• 2024年1月 COPY FROMでエラー
時の挙動を指定するON_ERROR
オプションがHEADに追加
• ON_ERROR ignoreを指定すると、
データをCOPY先のテーブルの型に変換時にエラーが発生した場合、当該行
のロードをスキップして、COPYを継続
• スキップした行数はNOTICEレベルのメッセージで出力される
• 順調にいけば次のメジャーバージョンである17で提供
=# COPY pgbench_accounts FROM '/tmp/data' WITH (ON_ERROR ignore);
NOTICE: 1 row was skipped due to data type incompatibility
COPY 100000

ON_ERRORオプションの注意点
• スキップできるのは、 COPY先のテーブルの型に変換する際のエラー
• それ以外のエラーは従来どおりCOPY全体がエラーとなる
• たとえば、 COPY先のテーブルに列が存在しない場合はエラーになる
// 1列分のデータだけ投入してみる
$ echo 100001 >> /tmp/data
=# COPY pgbench_accounts FROM '/tmp/data’ WITH (ON_ERROR ignore);
ERROR: missing data for column "bid“
=# SELECT COUNT(*) FROM pgbench_accounts;
count
-------
0
(1 row)

[議論中] ON_ERRORオプションの課題 ~スキップしたエラー情報の把握
• ignoreオプションでエラー行をスキップした場合、ログにはCOPY全体がスキップ
した件数しか出力されない
• 入力データの何行目がエラーとなり、ロードされなかったかなど、もう少し詳細を
把握したいケースもあるはず
• この点、以下の改善提案について議論中:
• 個々のスキップしたデータの行番号、列名をNOTICEで出力
• スキップした全体の件数をINFOで出力
=# COPY pgbench_accounts FROM '/tmp/data' WITH (ON_ERROR ignore);
NOTICE: detected data type incompatibility at line number 100001 for column aid; COPY
pgbench_accounts
INFO: 1 row was skipped due to data type incompatibility
COPY 100000
https://www.postgresql.org/message-id/CALj2ACVMBrzO5ic%2BXawNqkUEf3_9diUCEE-%3Dyso_3RoEH7D5Uw%40mail.gmail.com

[議論中] ON_ERRORの課題 ~スキップしたエラー情報の把握
on_error tableオプションを追加し、エラー情報の詳細をエラー情報用テーブルに
保存する案もあり:
エラー情報用テーブルのスキーマ案:
userid oid, -- the user oid while copy generated this entry
copy_tbl oid, --copy table
filename text,
lineno int8,
line text,
colname text,
raw_field_value text,
err_message text,
err_detail text,
errorcode text
https://www.postgresql.org/message-id/CACJufxH_OJpVra=0c4ow8fbxHj7heMcVaTNEPa5vAurSeNA-6Q@mail.gmail.com

[議論中] COPY FROMのエラーハンドリング
以下についても提案・議論中。同様の機能や、欲しい機能がある方がいれば、
コミュニティでの議論に参加、この場やXなどでコメントいただけると助かります！
• 許容するエラー件数の上限設定
例. 10件未満のエラーならスキップ、10件以上ならCOPY失敗
https://www.postgresql.org/message-id/flat/63f99327aa6b404cc951217fa3e61fe4@oss.nttdata.com
• 許容するエラー発生割合の上限設定
例. 10%未満のエラーならスキップ、10%以上ならCOPY失敗
https://www.postgresql.org/message-id/flat/63f99327aa6b404cc951217fa3e61fe4@oss.nttdata.com
• 異常データのある行全体スキップではなく、異常データだけNULLなどに置換
https://www.postgresql.org/message-
id/CAKFQuwawy1e6YR4S%3Dj%2By7pXqg_Dw1WBVrgvf%3DBP3d1_aSfe_%2BQ%40mail.gmail.com

COPY FROMで異常データをスキップできるようになった話（第45回 PostgreSQLアンカンファレンス@オンライン発表資料）

Related slideshows

Recommended for you

Recommended for you

Recommended for you

More Related Content

What's hot

What's hot (20)

Similar to COPY FROMで異常データをスキップできるようになった話（第45回 PostgreSQLアンカンファレンス@オンライン発表資料）

Similar to COPY FROMで異常データをスキップできるようになった話（第45回 PostgreSQLアンカンファレンス@オンライン発表資料） (20)

More from NTT DATA Technology & Innovation

More from NTT DATA Technology & Innovation (20)

Recently uploaded

Recently uploaded (10)