Location via proxy:   [ UP ]  
[Report a bug]   [Manage cookies]                

タグ

MySQLに関するlockcoleのブックマーク (58)

  • MySQLのデータをシフトJISからUTF-8に変換した際の記録 - sanonosa システム管理コラム集

    今回のエントリーは、先日Shift JISで作っていたデータを多言語対応にすべくUNICODEに変換しようとしたとき苦労した際の記録です。 今回対象としたのは、MySQLからdumpした100MB近くあるデータです。 【一通りの手順】 まずMySQLからデータをdumpします。 % mysqldump [database name] > dump.sql 次にdump.sqlをmoreしてみると「DEFAULT CHARSET=sjis」という記述があるのでこれをutf8に変更します。 % perl -p -w -e 's/sjis/utf8/g' dump.sql > dump2.sql ただいくらDEFAULT CHARSETをutf8に変えても実際のデータがシフトJISなので、データ自体もUTF-8に変えます。 % iconv -c -f shift_jis -t utf-8 dum

    MySQLのデータをシフトJISからUTF-8に変換した際の記録 - sanonosa システム管理コラム集
    lockcole
    lockcole 2007/09/03
    iconvコマンドに-cオプション(無効な文字を無視して無視して続行することができる)をつけて,文字化けするところは無視しつつもShift_JIS to UTF8変換を行う。参考になった。
  • Scaling with MySQL replication

    To deal with Drupal's growth, we're adding a second database server to drupal.org which is useful for at least two reasons. First, we'll be able to handle more SQL queries as we can distribute them between multiple database servers (load balancing). Secondly, this new server can act as a "hot spare" that can immediately take over if the other database server fails (high availability / fail-over).

    Scaling with MySQL replication
    lockcole
    lockcole 2007/07/26
    DBレプリケーションなどの負荷分散技術の取り扱いについて。Drupal意外の主要なCMS/Blog/Wikiのやり方と,Drupal 6でサポートされる機能について。
  • MySQL Proxy:逆襲のニート

    MySQL Proxyという便利なツールが作られたそうです。 MySQL Proxyとは? MySQL Proxyは従来のMySQLクライアントとサーバの間に置くことで、以下のような機能を実現してくれるデーモンプログラムです。 ・ロードバランス ・フェイルオーバ ・クエリの分析 ・フィルタリング/クエリの改変 ・その他 MySQL Proxyは、LUAというスクリプト言語をサポートしているとのこと。 http://forge.mysql.com/wiki/MySQL_Proxy Scripting MySQL Proxy includes lua script support. LUAって何だ? LUA http://www.lua.org/ Lua - WikiPedia Lua(ルア)は、リオデジャネイロ・カトリカ大学の情報工学科コンピュータグラフィックステクノロジーグループ TeCG

    lockcole
    lockcole 2007/07/26
    MySQL Proxyの紹介と,そこで使われている高速スクリプト言語「Lua」について。ゲームプログラムでの採用例が多いらしい。
  • Understanding MySQL Internalsを読む(2) - mir the developer

    前回の記事 [MySQL] Understanding MySQL Internalsを読む(1) Status Reporting Module システム変数、ステータス変数、テーブル情報、レプリケーションの状態、テーブルキャッシュ等を報告する。SHOW系コマンドの処理。ほとんどのコードはsql/sql_show.ccに書かれている。 sql/sql_show.cc: mysqld_list_process() sql/sql_show.cc: mysqld_show() sql/sql_show.cc: mysqld_show_create() sql/sql_show.cc: mysqld_show_fields() sql/sql_show.cc: mysqld_show_open_tables() sql/sql_show.cc: mysqld_show_warnings() s

    Understanding MySQL Internalsを読む(2) - mir the developer
    lockcole
    lockcole 2007/07/26
    O'Reillyの書籍「Understanding MySQL Internals」で読むMySQL内部の仕組み,モジュール関連図の日本語版あり。わかりやすい。
  • MySQLノウハウ

    いろいろなからメモってきたメモのメモ。出典を書いておくのを忘れた。思い出し次第補完するかも。 deleteのコストは高いので、無効化を示すフィールドを作ってupdateすべき slow query logに要注意 多くのエントリでほとんどのフィールドが同じ値を持つ場合はインデックスの効果が小さい →複合インデックスの効果が大きい 複合インデックスは指定の順番が大切。AとBという指定の場合、A単独でもインデックスの効果がある。逆は真でない。 インデックスが使われる場面は フィールド値を定数と比較するとき (where name = 'hogehoge') フィールド値でJOINするとき (where a.name = b.name) フィールド値の範囲を求めるとき (<,>,between) LIKE句が文字列から始まるとき (where name like 'hoge%') min(),

    lockcole
    lockcole 2007/07/25
    ハイパフォーマンスMySQL系の情報。ハードウェアの優先順位は RAM > HDD > CPU > ネットワーク。unionも重複行を削除する処理を行うので処理が遅くなる。union allを使うように。
  • Optimizing MySQL | Managing site performance and scalability | Drupal 7 guide on Drupal.org

    For a general overview read the High Performance MySQL book and/or the MySQL Performance Blog, especially the InnoDB performance basics article. Start with an appropriate MySQL option file. For servers with at least 2GB RAM dedicated to MySQL we recommend my-huge.cnf. For servers with a lot of writes, we recommend my-innodb.cnf instead of the default MyISAM engine type. To reduce the overhead of c

    lockcole
    lockcole 2007/07/25
    MySQLチューニングについて。ふつうのチューニング話,DB Maintenanceモジュールを使ったOPTIMIZE TABLEの実行,エンジンをMyISAMからInnoDBへ変える効果,それからMySQL5から導入されたArchiveエンジンについて。
  • サービス終了のお知らせ

    平素より「PHPプロ!」をご愛顧いただき、誠にありがとうございます。 2006年より運営してまいりました「PHPプロ!」ですが、サービスの利用状況を鑑みまして、2018年9月25日(火曜日)をもちましてサービスを終了させていただくことになりました。 サービス終了に伴いまして、2018年8月28日(火曜日)を持ちまして、新規会員登録ならびにQ&A掲示板への新たな質問、回答の投稿を停止させていただきます。 なお、ご登録いただいた皆様の個人情報につきましては、サービス終了後、弊社が責任をもって消去いたします。 これまで多くの皆様にご利用をいただきまして、誠にありがとうございました。 サービス終了に伴い、皆様にはご不便をおかけいたしますこと、心よりお詫び申し上げます。 件に関するお問い合わせはこちらよりお願いいたします。

    lockcole
    lockcole 2007/07/24
    前処理をどのように行うか。INSERT SELECTを使った一時テーブル作成のやりかた,さらにそれを負荷分散するために別サーバへ送るFEDERATEDエンジンとの併用。そういう使い方ができるのか。
  • phpMyAdmin のテーマを集めてみました

    phpMyAdmin のテーマを集めてみました 2007-07-15-1: [PHP][MySQL] phpMyAdmin をお使いの人は知っていると思いますが、phpMyAdmin はテーマを変更することができます。 複数の phpMyAdmin を使い分けているときに、テーマを変えておくことで誤操作を減らすことができます。 テーマは、SourceForge の phpMyAdmin のプロジェクトからダウンロードできます。 - SourceForge.net: phpMyAdmin http://sourceforge.net/project/showfiles.php?group_id=23067 ところが、テーマのサムネイルなど用意されていないので、どのようなテーマかダウンロードしてみるまでわかりません。 そこで、上記ページからダウンロードできるテーマを集めて、サムネイルを作成して

    lockcole
    lockcole 2007/07/16
    これはうれしい。phpMyAdminのテーマを大きめのサムネイル(+スクリーンショット)で紹介。arctic_oceanあたりをよくDLして使ってるけど,garv_blueもなかなか。テーマ変更で「どのDBをいじっているかわかりやすく」は実践中。
  • spiritlooseのはてなダイアリー - MySQL Proxyがおもしろそう

    http://forge.mysql.com/wiki/MySQL_Proxy ほー・・・なかなかおもしろそう。 mod_proxy_balancer and mod_rewrite for MySQLみたいなかんじかなぁ。 といっても、tritonn みたいに MySQL に組み込むんじゃなくって、別プロダクトのサーバ。 load balancing fail over あたりが mod_proxy_balancer っぽくて Query interception Query rewriting Injecting queries あたりが mod_rewrite っぽい。 mod_rewrite みたいに挙動を選ぶ(PとかRとかPTとか)んじゃなくて、コアの挙動はなくて、全部 RewriteMap prg:/path/to/script みたいなイメージっぽい。 「--proxy-lu

    spiritlooseのはてなダイアリー - MySQL Proxyがおもしろそう
    lockcole
    lockcole 2007/07/12
    MySQL Proxy。「mod_proxy_balancer and mod_rewrite for MySQLみたいなかんじかなぁ。」とのこと。なんか使い道あるかも。
  • Coders4fun » PHP backup of a mysql database

    Make 12 monthly payments Pay 0% interest Start using the domain today. See details

    Coders4fun » PHP backup of a mysql database
    lockcole
    lockcole 2007/07/11
    PHPスクリプトからmysqldumpを実行するだけの簡単なライブラリ。
  • 更新があるシステムにはInnoDBを選ぼう。MyISAMを選択するならそれなりの理由が必要。それにInnoDBのパフォーマンスはそんなに悪くないよ。 || パフォーマンスチューニングBlog: インターオフ

    AWSアドバンスドコンサルティングパートナーの一員として活動する株式会社スタイルズが、AWS導入、移行、開発、セキュリティ、運用保守など、すべてのご相談に乗らせていただきます。 AWSを導入したいが何から始めたらいいかわからない 既存のベンダーが新技術に弱く、良い提案がもらえない クラウドの導入にセキュリティの不安がある AWSをとりあえず導入したが、さらに活用していきたい 社内にAWSの知見を持っている人がいない AWSならではのシステム開発を詳しく知りたい

    更新があるシステムにはInnoDBを選ぼう。MyISAMを選択するならそれなりの理由が必要。それにInnoDBのパフォーマンスはそんなに悪くないよ。 || パフォーマンスチューニングBlog: インターオフ
    lockcole
    lockcole 2007/07/06
    InnoDBが速い。MyISAMを選択するのは,完全検索Onlyの場合か,ログ出力系のテーブルのみ。
  • 【レポート】萌え萌えMySQL「MoSQL」とは? | エンタープライズ | マイコミジャーナル

    FLOSSアプリケーションは収束と発散をたえず繰り返している。有益であり、人気があるFLOSSアプリケーションには、リソースが集中し、開発が加速する。一方でソースコードにアクセスしやすいというそのライセンスの特性から、来の開発者や開発チームが想定していなかった変更が加えられ、新たなブランチが形成されていくこともある。FLOSSアプリケーションのおもしろさはこうした発展が世界規模で実施されている点にあるわけだが、ここではそうしたアプリケーションのひとつとして「MoSQL」を紹介したい。 MoSQL(もえすきゅーえる)はMySQLデータベースを日語が扱いやすいように改善したアプリケーション。MoSQLのサイトによると、次のような点が変更されているようだ。 デフォルトの文字コードはUTF-8 文字コードの範囲外バイト列も喪失することなくそのまま格納 クライアントライブラリにおいて環境変数で文

    lockcole
    lockcole 2007/06/27
    期待のカスタマイズ版MySQL「MoSQL」を紹介している記事。UTF-8,Senna組み込み,日本語エラーメッセージあたりがポイント。パッチは5.0.xx系向けと5.1.xx系向けの2種類とのこと。
  • 「MySQL,PostgreSQLとFirebirdの性能をユーザー会メンバーが徹底比較,判明...

    「更新とJOINが多ければMySQL,シンプルなSELECT主体ならPostgreSQLが向いている。ストアド・プロシージャでシングル・コネクションならFirebirdは非常に速い」---6月23日に開催された「オープンソースカンファレンス2007.DB(OSC2007.DB)」で,各オープンソースDBのコミュニティのメンバーによる性能比較が披露され,従来の一般的なイメージとは異なる“意外な結果”が明らかにされた。 オープンソースカンファレンスは,オープンソース関連コミュニティが主催するイベントで,OSC2007.DBはデータベース関連のコミュニティが集まったイベントである。性能比較セッションを担当したのは,日MySQLユーザ会の堤井泰志氏,日PostgreSQLユーザ会の片岡裕生氏,Firebird日ユーザー会の木村明治氏。「あくまでボランティアによる性能比較であって,最速,最新マ

    「MySQL,PostgreSQLとFirebirdの性能をユーザー会メンバーが徹底比較,判明...
    lockcole
    lockcole 2007/06/25
    MySQL(InnoDB)のJOINは遅くなくて更新が頻繁なDBに向く,PostgreSQLは単純なSELECTが中心の場合に高性能,それからFirebirdは前2者に比べて高負荷には耐えられない代わりに,全般的に高速とのこと。
  • MySQL互換のデータベース、MoSQLが登場 | スラド

    MySQL互換で日語のハンドリングを向上させたオープンソースのデータベースMoSQL(もえすきゅーえる)が登場しました。MySQLと異なる点は、 デフォルトの文字コードはUTF-8(5.0&5.1) (デフォルトでは)文字コードの自動変換は行なわない(5.1のみ) 文字コードの範囲外のバイト列でもそのまま格納。データが失われない(5.0&5.1) デフォルトでSennaを組み込んでいるため、高速な日語全文検索が可能(5.0のみ) ほとんどのエラーメッセージを日語にできる(5.0&5.1) などとなっています。またcharset指定の機能がないアプリケーションでもクライアントライブラリの文字コードを環境変数で指定することでデータベースに日語を格納出来るそうですが、あくまでアプリケーション依存なので出来ない場合もあります。 ちなみにマスコットキャラはイルカの「萌ちゃん」で、スウェーデン

    lockcole
    lockcole 2007/06/25
    名前のセンスに一票。どうもエイプリルフールネタから発展したものらしい。
  • iandeth. - SoftwareDesign誌2007年7月号にてMySQLパフォーマンスチューニングの記事を書きました

    今月18日(2007/06/18)発売のSoftwareDesign誌2007年7月号の特集記事 「MySQL最前線2007」 にて、パフォーマンスチューニングの章を書かせていただきました。 チューニングの話は全体像を把握できない程、奥の深いテーマだと思いますが、今回はそんな中でもごくごく 基的な知識 について、12ページにまとめてみた次第です。以下、記事概要: 4章 MySQL 高速化・安定化の為のチューニングテクニック サーバ設定によるパフォーマンスチューニング インデックスキャッシュ - key_buffer_size テーブルデータ&インデックスキャッシュ - innodb_buffer_pool_size SQL結果をメモリにキャッシュするしくみ - Query Cache SQL構文のチューニング インデックスを有効活用する EXPLAINでインデックス利用状況を確認する A

    lockcole
    lockcole 2007/06/24
    特集の「MySQL最前線2007」にて,MySQLチューニングテクニックについて記事を書いたとのこと。インデックス,SQL構文,そしてアプリケーションボトルネック。まだ買ってなかった!さっそく注文する。
  • ウノウラボ Unoh Labs: MySQL5からのインデックス結合で1テーブル複数インデックスを使う

    GT Nitro: Car Game Drag Raceは、典型的なカーゲームではありません。これはスピード、パワー、スキル全開のカーレースゲームです。ブレーキは忘れて、これはドラッグレース、ベイビー!古典的なクラシックから未来的なビーストまで、最もクールで速い車とカーレースできます。スティックシフトをマスターし、ニトロを賢く使って競争を打ち破る必要があります。このカーレースゲームはそのリアルな物理学と素晴らしいグラフィックスであなたの心を爆発させます。これまでプレイしたことのないようなものです。 GT Nitroは、リフレックスとタイミングを試すカーレースゲームです。正しい瞬間にギアをシフトし、ガスを思い切り踏む必要があります。また、大物たちと競いつつ、車のチューニングとアップグレードも行わなければなりません。世界中で最高のドライバーと車とカーレースに挑むことになり、ドラッグレースの王冠

    ウノウラボ Unoh Labs: MySQL5からのインデックス結合で1テーブル複数インデックスを使う
    lockcole
    lockcole 2007/06/19
    MySQL5から導入されたインデックス結合を試してみて,MySQL4と比較してどのようにインデックスが使われるようになったかを検証。一テーブル一インデックス問題を解消する一手。使い方を知っておいた方がよさそう。
  • Particletree » Backing Up a MySQL Database with PHP

    As Ryan mentioned previously, we quickly realized that just because people are willing to try out an application, they’re not necessarily going to hang around for very long. It’s true that hardware is not all that expensive, but we’d rather not have tens of thousands of unused databases eating up our RAM and other resources. I suggested just deleting the accounts, since we would only remove accoun

    lockcole
    lockcole 2007/06/17
    PHPからmysqldumpコマンドをsystem関数で呼び出す。
  • アシアル株式会社

    アシアルの実績 サーバサイドからフロントエンドUI/UXデザインまで、あらゆる技術・ノウハウを駆使して、幅広い課題を解決してきたアシアルの実績の一端をご紹介します。

    アシアル株式会社
    lockcole
    lockcole 2007/06/13
    PECLのmemcachedを利用する拡張をインストールして,setとgetの処理時間がほとんど変わらないところを検証。欠点はロックのできないところ,としている。コメント欄にて,APCを使った実験へのリンクが。APCも速いとのこと。
  • Open Tech Press | MySQLデータのバックアップ方法

    2007年5月31日10:53 Tom-Adelstein、Bill-Lubanovic(2007年5月29日(火)) ファイルやディレクトリのバックアップは比較的簡単だが、データベースのバックアップとなると、いくつか特別な工夫を施す必要がある。ここではMySQLを取り上げているが、同じ原理はPostgreSQLやその他のリレーショナルデータベースにもあてはまる。 稿は、最近O’Reillyから出版された書籍『 Linux System Administration 』の抜粋。 MySQLサーバを休みなく稼働させ続ける必要がないなら、以下に示すような圧縮なしのオフラインバックアップ手法が手っとり早い。 MySQLサーバを停止させる。 # /etc/init.d/mysqld stop MySQLのデータファイルおよびディレクトリをコピーする。例えば、MySQLのデータディレクトリ/var

    Open Tech Press | MySQLデータのバックアップ方法
    lockcole
    lockcole 2007/06/07
    コマンドラインで使うMySQLのデータバックアップ手法をコマンド別に紹介。それぞれの使い道についても説明されてる。mysqlhotcopy, mysqlsnapshot, replication, そしてmysqldump。
  • 株式会社手嶋屋 - 社長blog

    lockcole
    lockcole 2007/06/06
    UTF-8のデータを移行したときの方法。+.MYDファイルを移動させたり,REPAIR TABLEを実行したりと面倒な作業を行ってようやく移行させたみたい。FreeMindで描かれている。