MySQLではcharacter set（以後、charset）やcollationをグローバル、データベース、テーブルやカラムレベルで設定することができます。今回はMySQLのデフォルトcollationの注意点を紹介したいと思います。使用するMySQLのバージョンは8.0.26です。 charsetやcollationとはなにかについては説明はしません。よって、charsetやcollationについてご存知ない方は、先にマニュアル「第10章 文字セット、照合順序、Unicode」をご確認ください。 charsetやcollationの各レベルの設定方法 グローバル 以下のシステム変数を設定します。 character_set_server… サーバーのデフォルトのcharset collation_server… サーバーのデフォルトのcollation データベース CREATE
Upgrading to MySQL 8.0? Here is what you need to know... In my previous blog post, I had described the steps to perform an in-place upgrade for upgrading from MySQL 5.7 to MySQL 8.0. In this blog post, I will discuss about the considerations that needs to be taken into account while upgrading to MySQL 8.0 The general in-place upgrade requirement is that MySQL 8.0 will understand the disk image pro
$ docker run -d --rm -e MYSQL_ROOT_PASSWORD=password mysql:8.0 Unable to find image 'mysql:8.0' locally 8.0: Pulling from library/mysql docker: no matching manifest for linux/arm64/v8 in the manifest list entries. この記事はM1MacでDockerを使ってMySQLのコンテナを立ち上げるためのものです。 事前準備 Docker Desktop(Preview)をインストール済 理由 M1Macのプラットフォームはarm64。 mysqlイメージのサポートプラットフォームはamd64。 イメージをプルする際に実行環境のプラットフォームに合わせて自動的にamd64のイメージを取得し、
この記事ははてなデベロッパーアドベントカレンダー2015の12月24日の記事です。 昨日は id:stefafafan さんのエンジニアと英語でした。 こんにちは、こんばんは。 クリスマス・イヴですね、皆さんはどのような一日を過ごされる(た)のでしょうか。 僕は一人です。 改めまして、先日初めての合コンを経験/失敗して二度と行かないと誓った はてなの id:ichirin2501 です。今回は小ネタとしてMySQL(InnoDB)のBULK INSERTにおけるデッドロックの話をしようと思います。ただ、外部キー制約が絡むと複雑になるので今回は触れません。それについてはこちらを参照ください。 あ、タイトルはオマージュです*1。 Topic 検証環境 INSERTのデッドロック 避けられないケース もしくはロックする リトライ処理に注意 初期データ Duplicateの場合 Deadlockの
MySQLエラー：#1205 - Lock wait timeout exceeded; try restarting transaction mysql MySQLのあるテーブルにデータ移行（insert）時にエラーが発生しました #1205 - Lock wait timeout exceeded; try restarting transaction mysql エラー後に「try restarting transaction」で、MySQLがデータ追加プロセスを再起動したようです データ移行SQL文（非常に単純なテーブル間のデータ移動） insert into drills_ch_sentence_temp select * from drills_ch_sentence 原因：不明（おそらくデータ量が多い） はっきりした理由は分かりません おそらくデータ量が多い、テーブル作成時に
起こったこと transactionモードで作業途中、セッションが切れた。 そのとき特定tableにinsertをしたがcommitしていない状態だった。 後ほど再度そのtableをselectしたが、当然commitしていないのでデータがなかった。 しかしinsertしようとすると、 ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction というエラーが表示され失敗した。 原因 transactionがロックを取得したまま放置状態になっていたために発生した。 対処 基本方針は show processlist; と show innodb status; の結果を見比べてそれっぽいthread見つけて kill [thread id] する。 show processlist; してみると、今回
前置き MySQL 5.1で、InnoDBなデータベースを使って何かを開発している最中には、トランザクションがコミット(またはロールバック)される前にプログラム側の処理が(Fatal errorなどで)異常終了したりして、トランザクションがロックを取得したまま放置状態になってしまうことがよくあるらしい(謎)。 そんな時、MySQLのコマンドラインから更新クエリを発行すると、しばらく後に次のようなエラーが返ってくることがある。 ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction 一応参考までに書いておくと、このエラーが返ってくるまでの時間は、次のコマンドで知ることができる。 mysql> show global variables like 'innodb_lock_wait_timeout';
2020年11月に発表されたMacBook Airから搭載されているM1チップというCPUがあります。こちらは従来のMacに搭載されていたCPUがx86/64の命令セットとは異なり、ARMアーキテクチャを採用しているという違いがあります。発売から1年以上たち、インテル製のCPUを搭載したMacがラインナップから無くなったので、次もしMacを購入するとなるとM1チップ搭載のMacを購入することになります。 今回は、その際に問題が起こりがちなDockerでの開発環境の構築について、紹介していきたいと思います。 DockerでMySQLを動かしてみる まずは、dockerコマンドでMySQLを指定して動かしてみようと思います。 % docker run -p 3307:3306 -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:latest Unable
モチベーション QiitaでもPlantUMLを表示できるようになってきたのでいよいよPlantUMLが民主化されてきました。 そこで「データベースの情報を基に自動的にER図作ってくれたらいいのになぁ...」と思ったので勢いで作ってみました。 対象となる技術の選定と制限 ER図の特徴の都合上、各種リレーションの定義を取得するためにはORMが使用されているものを対象に作成する必要があります。 今回は以下が使用されている環境を想定してスクリプトを作成・実行しました MySQL Rails これは実行テストを行った対象である 「ハッカソンの開催情報を自動でお知らせするBot HackathonPortal 」 の実行環境に合わせたためです。 同じ Rails でも Postgresql や SQLite においては実行確認していないのでうまくいくかわかりません。(試してみてうまくいったご報告をい
Replacement for MySQL Until MariaDB 5.5, MariaDB versions functioned as a "drop-in replacement" for the equivalent MySQL version, with some limitations. From MariaDB 10.0, it is usually still very easy to upgrade from MySQL. MariaDB's data files are generally binary compatible with those from the equivalent MySQL version. All filenames and paths are generally the same. Data and table definition fi
mysqlpump クライアントユーティリティは logical backups を実行し、元のデータベースオブジェクト定義およびテーブルデータを再現するために実行できる一連の SQL ステートメントを生成します。 別の SQL サーバーにバックアップまたは転送するために、1 つ以上の MySQL データベースをダンプします。 複数のスレッド、ファイル圧縮、進捗情報の表示、および Oracle Cloud Infrastructure Object Storage ストリーミングや MySQL データベースサービス 互換性チェックおよび変更などのクラウド機能で並列ダンプを提供する MySQL Shell dump utilities の使用を検討してください。 ダンプは、MySQL Shell load dump utilities を使用して MySQL Server インスタンスまたは
発生したエラー mysqlのroot userにはMYSQL_PASSWORDは使えません！と怒られました。 2021-03-18 04:47:36+00:00 [ERROR] [Entrypoint]: MYSQL_USER="root", MYSQL_PASSWORD cannot be used for the root user Use one of the following to control the root user password: - MYSQL_ROOT_PASSWORD - MYSQL_ALLOW_EMPTY_PASSWORD - MYSQL_RANDOM_ROOT_PASSWORD Exited with code 1
本日11時ごろ？ あたりからCircleCIで以下のようなエラーが起こりMySQLが起動しなくなりました。 2021-03-18 03:21:57+00:00 [ERROR] [Entrypoint]: MYSQL_USER="root", MYSQL_PASSWORD cannot be used for the root user Use one of the following to control the root user password: - MYSQL_ROOT_PASSWORD - MYSQL_ALLOW_EMPTY_PASSWORD - MYSQL_RANDOM_ROOT_PASSWORD どうやらdockerイメージのバージョンアップによるものらしいです。 今回はちょっと脳死で暫定対処したので、その方法を紹介します。 2021/03/19追記 こちらの問題はすでに解決
Mysql が立ち上がらない（パスワード設定エラー）Docker で Mysql が立ち上がらなかったのでメモ。 現象Docker で Mysql のコンテナ立ち上げ時にうまく立ち上がらなかったので docker-compose logs でログを確認 同じようなログ2種類を確認しました。 [ERROR] [Entrypoint]: MYSQL_USER="root", MYSQL_USER and MYSQL_PASSWORD are for configuring a regular user and cannot be used for the root user Remove MYSQL_USER="root" and use one of the following to control the root user password: - MYSQL_ROOT_PASSWORD
こんにちは。 開発チームのフリー素材担当、まんだいです。 かなり出遅れてますが mysqldump の後継ツールとなる mysqlpump を使ってみたので、まだ使ったことがない人向けにオススメポイントをまとめてみました。 さすが後継というべきか、基本的なオプションの使い方はそのままで mysqldump から移行してきた人にも優しい設計になっていましたので、ぜひ使ってみてほしいと思いました。 MySQL に同梱されているのがポイント高いですよね。 これだけでも乗り換える価値がある、進捗表示 今回試したデータベースはせいぜい 200MB 程度のものなのであまり恩恵はなかったですが、 mysqlpump はダンプの進行具合を逐一表示してくれます。 mysqlpump -uroot -p --databases xxxxx > xxxxx_20XX0X0X.sql Enter password
問題 今、10GBぐらいあるダンプファイルをMySQLのデータベースにリストアしているんだけど、 いったいいつ頃終わるんでしょうね？ 答え１ 私がよく触るある環境では1GBあたり2分ぐらいかかります。 そんな感じで、いつも作業するときに、時間を気にする癖をつけておくとよいです。 SSDとHDD、物理サーバーとクラウド環境などで違うと思うので、日ごろから気にしておくのが良いです。 答え２ ダンプを投入するMySQLが、バイナリログが出力される設定になっていたら、バイナリログの容量が目安になります。 MySQLのダンプファイルはSQLのテキストデータで、バイナリログも実行されたSQLが書かれていくので、投入が終わるころには、バイナリログがだいたいダンプファイルの容量分増えます。 15分でバイナリログが5GB増えていたら、10GBのダンプが入り終わるのはあと15分、トータルで30分ぐらいかなと予
この記事は「MySQL Casual Advent Calendar 2018」21日目の記事です。 qiita.com 9日目の記事としてこちらも書きました。 masayuki14.hatenablog.com 今回は mysqlpump に関する記事です。 mysqlpump って？ mysqldump の typo じゃないよ mysqlpump は MySQL5.7.8から追加された新しい論理バックアップツールです。 複数のMySQLデータベースをダンプすることができます。 mysqldump の拡張ツールではなく1から新しく設計・開発されたもので、高速化のためにデータベース、テーブルなどのを並列処理でダンプすることができます。 また出力を圧縮したり、進捗を表示するなどの機能もあります。 MySQL5.7で導入された機能を使用しているので、MySQL5.7以上で利用することを前提と
SNSやソーシャルゲーム、アドネットワークなどのシステムではいろいろなログ情報をDBに保存することもあると思います。 そのさい、日々増えつづけるデータやパフォーマンスをどの様にさばいていくかが重要になってきます。 今回はログ系のデータをMysqlでどのように運用していくか、をテーマにいくつかのノウハウをまとめました。 ログ系テーブルの特徴 ログ系のデータとは、つまり何かのアクションの履歴データのことです。 一般的にはこのような形になるかと思います。 CREATE TABLE `t_logs` ( `id` bigint(20) unsigned NOT NULL, `user_id` int(10) unsigned NOT NULL DEFAULT '0', `event_id` int(10) unsigned NOT NULL DEFAULT '0', `created` datet
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
