はてなブックマーク

github.com 本体は ERB.new().result を呼ぶだけで、それをmrubyでdarwin/linuxのx86_64/aarch64向けにビルドした。 以下のようにシングルバイナリプログラムを通してテンプレートファイルを処理できる。 <%- to = ENV["MAIL_TO"] priorities = ENV["PRIORITIES"].split(",").map(&:strip) -%> From: James <james@example.com> To: <%= to %> Subject: Addressing Needs <%= to[/\w+/] %>: Just wanted to send a quick note assuring that your needs are being addressed. I want you to know tha

AWS SSOで各AWSアカウントのManage Consoleを開く場合、AWSアクセスポータルURL（d-xxxxxxxxxx.awsapps.com/start）から遷移するが、赤枠のリンクは固定値のようなので、そのリンクから個別のアカウントのManage Console開くことができる。 リンクのURLは下のようになっていて https://d-12345abcde.awsapps.com/start/#/saml/custom/123456789012%20%28my-account%29/MTIzNDU2Nzg5MDEyX2lucy0xMjM0NTY3ODkwYWJjZWRmX3AtMTIzNDU2Nzg5MGFi%3D%3D /custom/の下は123456789012 (my-account)＝アカウントID (アカウント名)をURLエンコードしたもの。 その下のMTIz

www.aoky.net 昔読んだSteve Yeggeの「バベル案内」のC++ の話に「STL作者が OOP は嫌いだと言っていてショックを受けた」ということが書いてあって、ふーんと思っていたが、最近Alexander Stepanovのインタビュー記事を読んでいてそれっぽい話があった。 www.stlport.org Yes. STL is not object oriented. I think that object orientedness is almost as much of a hoax as Artificial Intelligence. はい。STL はオブジェクト指向ではありません。オブジェクト指向は、人工知能と同じくらいデマだと思います。 この人の別のインタビュー記事も面白い。 stepanovpapers.com Using animals as an exa

PostgreSQLエンジンでAuroraとRDSでpgbenchを使った負荷テストを行った。 テスト環境 クライアント pgbench (PostgreSQL) 14.2 (Ubuntu 14.2-1ubuntu1) EC2のc5.2xlargeインスタンスから実行 クライアントインスタンスの性能上限には引っかかっていないことは確認 以下のようなスクリプトを実行 スケールファクター: 100 トランザクションタイプ: デフォルト（TPC-B like） #!/bin/bash . .rds for i in 8 16 32 48 64; do echo "--- $(date +%FT%TZ) RDS $i" pgbench -i -s 100 -q pgbench -c $i -T 210 sleep 60 done echo "--- $(date +%FT%TZ) RDS end"

ECS ExecがどうもマネージドなSSM Agentを使って動いているということはわかっていたが、実際どうなっているのかよくわからなかった。 New – Amazon ECS Exec による AWS Fargate, Amazon EC2 上のコンテナへのアクセス | Amazon Web Services ブログ デバッグに Amazon ECS Exec を使用する - Amazon ECS AWS Fargateで動いているコンテナにログインしたくて Systems Manager の Session Manager を使ってみた話 - SMARTCAMP Engineer Blog 踏み台EC2を廃止してSession Manager接続に置き換えました | by Daichi Harada | Eureka Engineering | Sep, 2021 | Medium a

github.com 経緯 qrnを作ってからndjsonとかJSON Linesとか呼ばれているJSONを一行にして改行で並べたフォーマット*1がなかなか合理的で便利なことに気づいた。 たとえば 複数行のデータ（SQLなど）をエスケープして一行にまとめられる jqで加工・フィルタリングしやすい とか。 一方でcoreutilsみたいな基本的なツールはなかなか見つからなくて、複数ファイルをJSONのキーでJOINしてキーの値でソートする、みたいなことをやろうとすると、ツール探す・ツール作る・sed/awk/ruby/etc..とひと手間かけなくてはいけなくて、なにかそういうツールが欲しいと思っていた。 sortを作る GUN sortやBSD sortの良いところは、どれだけ大きいファイルの入力しても、時間はかかってもソートしてくれるところで、あれはどうなっているのかなと調べたら外部マージ

SpringOnionというRailsの遅そうなEXPLAINをログ出力するgemを作りました。 github.com 某kamopoさんのMySQLCasualLog.pmの移植？です。 cf. ふつうのWeb開発者のためのクエリチューニング 以前の移植とは異なって、Arproxyを必要とせず、単体で動きます。 何年前の話だよといわれそうですが、未だにスロークエリと戦っていたりするので… Rails 3以前に搭載されていた、遅かったクエリを自動的にEXPLAINする機能とは異なり、フィルタで選別されたすべてのクエリに対してEXPLAINを実行し、まずそうなキーワードが出現したらログに出力します。 また、EXPLAINの実行先は開発用のDBだけでなく任意のDBに向けられます（例: ステージング環境のDBなど）。 使い方 GemfileにSpringOnionを追加して group :dev

CSVとかTSVをJSON LinesにするツールをGoとRustで書いた。 Go版 github.com $ printf 'foo,bar\nbar,zoo' | xjsonl -keys a,b {"a":"foo","b":"bar"} {"a":"bar","b":"zoo"} Rust版 github.com $ printf 'foo,bar\nbar,zoo' | xjr -k a,b {"a":"foo","b":"bar"} {"a":"bar","b":"zoo"} モチベーションとか qrnを作った関係でテキストをJSON Linesに変換するツールが欲しくなったのだが、あまり上記のようなツールが見つからず、joで頑張るのもめんどくさい、ということで自作した。 かなり小さいツールなので、Rust学習のためにポートするにはちょうどいいかと考えてRust版も作成。 Ru

qrnというDBベンチマークツールを作りました。 github.com これは何？ 羅列されたクエリを実行するだけのDBベンチマークツールです。 今のところMySQLにしか対応していませんが、PostgreSQLへの対応はそんなに難しくないと考えています。 羅列したクエリを実行するだけなので、クエリのログ（MySQLならgeneral log）をほぼそのままテストデータにすることができます。 逆に同じクエリを異なるパラメーターで実行するようなことはできないので、そういうむきであればJdbcRunnerなどを使った方がいいと思います。 Installation https://github.com/winebarrel/qrn/releases から最新版をダウンロードしてください。 Usage $ echo '{"query":"select 1"}' >> data.jsonl $ ec

年末で少し時間があったので、書こう書こうと思っていたSendGridのv3 Mail Sendを書きました。 V3 Mail Send API Overview - SendGrid Documentation | SendGrid github.com READMEのUsageを見ればわかるとおり、ほぼAPIに即した薄いクライアントです。 とりあえず、現状で公式クライアントは利用しにくいので、自作した感じです。 非公式とはいっても公式がスキーマを公開しているので、rakeタスクで公式のスキーマを取得して、メール送信ポストリクエストのボディーのバリデーションをJSON Schemaで行うようにしています。 require 'kani_laser' client = KaniLaser::Client.new(api_key: 'ZAPZAPZAP') # see https://sendg

active_record_mysql_xverifyというgemファイルを書いた。 github.com これは何？ RailsでAuroraを使うときに、フェイルオーバー時に旧マスタにつなぎに行く問題をなんとかするやつ。 世間様を見渡すに「コネクションプール使うな。接続を切れ」というのが現状の解決策のようだけど、もうちょっとなんとかしたかったので作成。 使い方 config/environments/production.rbとかに ActiveRecordMysqlXverify.verify = ->(conn) do conn.ping && conn.query('show variables like "innodb_read_only"').first.fetch(1) == 'OFF' end または ActiveRecordMysqlXverify.verify = A

そろそろ腐りそうな知見なので、腐りきる前にメモだけ残しておく。 まあ、基本的にはSendGridなどのクラウドサービスを使った方がいいと思うけど、どこかの誰かの役に立つかもしれないので… Postfixでメール配信の流量制限を行う場合、送る量を制限するか、MTAに入ってくる量を制限するかの２通りの方法があると思う。 送る量を制限しようと思うとslow_destination_rate_delay=1sみたいな設定値を追加して、送信毎に遅延をかけるような感じになると思う。 knowledge4linux.blogspot.com しかし、この方法だと1s以下に設定することができないので、毎分何万通も送るようなシステムだと極端に配信量が下がってしまう。 また、流量制限を行う場合は単に遅延を設けるだけでなく「毎分xxx通」といった厳密な指定がしたい。 そこで、MTAに入ってくる量を制限する。 単

ECSタスクのDockerコンテナのCPU使用率については、監視自体に意味があるのか微妙なところもあるけれど、タスクの制限いっぱいまで常にCPUを使い切っているコンテナは不健康な場合もありそうだということで、Datadogで監視しようとしたことがあった。 docker.cpu.usageはホストの1コアに対するCPUの使用率なので、50%となっていても、ECSのタスク定義でCPU=512としていたら、リミットいっぱいいっぱいまで使っていることになるので、タスクやイメージによって閾値を変える必要が出てくる。そうなるとmulti alertが使えない。 docker.cpu.throttledというメトリクスがあって www.datadoghq.com これはnr_thresholdの値で、割り当てられたCPU時間の限界に達した数をカウントしてくれるのでこれを見ると良さそうだ…と思ったんだけれ

一身上の都合によりsrvdというデーモンを書いた。 github.com これは何？ DNSのSRVレコードをバックエンドにしたconfdみたいなものです。 SRVレコードの値に合わせてミドルウェアの設定ファイルを書き換えて、設定ファイルが変更されたらミドルウェアをリロードする、みたいな。 ことの発端 某所ではMySQLのスレーブへのロードバランサーとして、Railsサーバに同居しているHAProxyを使ってるんですよ。 中央集権的ロードバランサーに比べて、スループットがよいとか、大量のコネクションが一カ所に集中しないとか性能的にはいいんですが、いかんせん設定ファイルをRailsサーバにばらまくのがめんどくさい。設定ファイルをばらまいた後は大量のHAProxyのリロードとRailsのリロード。 それをなんとかしたいと思ったので、いろいろ試してみたんですよ。 NLB スループットが結構落ちる

とある勉強会用にLTネタを作っていたのですが、発表できなくなったので腐る前にブログに書いておきます。 お前は何を（ｒｙ 記事のタイトルについて お前は何を言っているんだ なのですが、元ネタは以下のツイートです。 ここからTCPでやり取りするプロトコルが読み取れるし、mainって名前で同じプロトコル喋るバイナリならstaticにビルドすれば別の言語でもネイティブに動かせるんじゃね？https://t.co/dWjs8YiuFe— Masashi Terui (@marcy_terui) 2018年1月17日 LTのネタになりそうだったのでやってみたわけです。 aws-lambda-goについて じゃあ、まあaws-lambda-goは一体どういう仕組みで動いているんだろうと、ソースを読んでみました。 で、entry.goとfunction.goあたりでだいたい分かりましたが、net/rpcパ

ProxySQLとは ProxySQLはMySQL用のL7のプロキシサーバで、プロキシサーバのレイヤでR/W Splittingできたり、クエリの書き換えをできたり、負荷分散などができたりする便利ミドルウェアです。 www.proxysql.com Dropboxの中の人が書いているみたいで、Perconaの推しミドルウェアみたいです。（開発にも関わっているのかな？） あとQiitaにもいくつか記事が上がってます。 https://qiita.com/search?q=ProxySQL 設定の管理が結構独特で、MySQLっぽく振る舞うsqliteで管理されていて、動的にバックエンドのサーバを書き換えたりすることができます。設定まわりの概念的なものは『ProxySQL触ってみた - Qiita』がわかりやすいかも。 動的なバックエンドの切り替え 管理用インターフェースに対して、以下のようなク

このエントリはElastic stack (Elasticsearch) Advent Calendar 2017の12/8分です。 ES DeskというElasticsearch用のWebアプリを作成しました github.com まずはデモサイトをご覧ください。 http://es-desk.winebarrel.jp/ これは何？ Elasticsearchのインデックスを編集しながら、トライアンドエラーで検証するためのWebアプリです。 以下のような機能があります。 ブラウザからのQuery DSLの送信と結果の保存 データセットの登録・インポート インデックスの作成・編集 Query DSLの登録・編集 Elasticsearchのインデックスのアナライザを変更する検証を行うときに、いままでは「元のインデックスを消して」「curlで修正したインデックスを投入して」「データをロード

github.com これは何？ リクエストが来たとき、バックエンド①が404ならバックエンド②にアクセスして、バックエンド②が404ならバックエンド③にアクセスして…みたいなプロキシサーバ。 開発用の画像配信サーバに画像がなかったときに、本番にアクセスしにいく、みたいな用途で使います。 それnginxで（ｒｙ できます。 なんかこんなQAがあって、 server { listen 80; location / { proxy_pass http://foo.bar.dev/ proxy_intercept_errors on; error_page 404 =200 /production/$uri; } location /production { internal; rewrite ^/production/(.*) /$1 break; proxy_pass http://foo.

Armgという、ARをMySQLのgeometry型に対応させるためのライブラリを書きました。 github.com 使い方は以下の通り。 require 'active_record' require 'armg' ActiveRecord::Base.establish_connection(adapter: 'mysql2', database: 'my_db'); ActiveRecord::Migration.create_table :geoms, options: 'ENGINE=MyISAM' do |t| t.geometry 'location', null: false t.index ['location'], name: 'idx_location', type: :spatial end class Geom < ActiveRecord::Base; end

Webコンソールからパーティションをぽちぽち追加するのに疲れたので、Athena用のシェルを書きました。 github.com 使い方は以下のような感じです。 $ export ATH_OUTPUT_LOCATION=s3://my-bucket $ ath default> show databases; default sampledb default> /use sampledb sampledb> show tables; elb_logs sampledb> select * from elb_logs limit 3; "request_timestamp","elb_name","request_ip","request_port","backend_ip","backend_port","request_processing_time","backend_processin

fstaidというHAデーモンを作りました。 github.com HeartbeatとかCorosyncとかPacemakerの代替を考えて作ったソフトウェアです。 なぜ作ったのか？ それほど多くはないんですがたまに「先方の許可するIPアドレスは１つしかないから、フェイルオーバー時にElasticIPを付け替える感じで」という案件がたまにあるんですよ。 そうすると「Corosync/Pacemakerでクラスタ組むか。だるいな…」ということになって、Heartbeat/Corosync/Pacemakerを使いたくない欲が高まった結果、作成されました。 KeepalivedやSerfを使ってクラスタを組むこともできるんですが、どうもやりたいことに対して、オーバーキル感とか明後日の方向感がぬぐえない感じでいました。 話は変わってMHAです。 MHAいいですよね。安定した動作もレプリケーショ

github.com 認証まわりのセットアップ Google Developer Consoleで適当なプロジェクトを作って、OAuth 2.0 クライアント IDを発行する。 承認済みの JavaScript 生成元: http://localhost:5000 承認済みのリダイレクト URI: http://localhost:5000/auth/google_oauth2/callback .envファイルに認証情報を書いておく。 echo 'GOOGLE_CLIENT_ID=...' >> .env echo 'GOOGLE_CLIENT_SECRET=...' >> .env echo 'GOOGLE_DOMAIN=...' >> .env # If you restrict to use Google Apps doma セットアップ まず、bundle install。 $

hakoで、バッチ系の一発処理用のoneshotコマンドを使ってみる。 hakoのバージョンは>= hako-0.20.2（要Ruby 2.3） $ ruby -v ruby 2.3.0p0 (2015-12-25 revision 53290) [x86_64-darwin15] $ gem install hako ... Fetching: hako-0.20.2.gem (100%) Successfully installed hako-0.20.2 5 gems installed まず、例のごとくECSクラスタとEC2インスタンスを準備する。 ecs-cli configure -r ap-northeast-1 -c hello-hako-oneshot ecs-cli up \ --keypair winebarrel \ --capability-iam \ --vpc

github.com まず、ALB用のロールを作成（自動的には作成されないので要注意） こんな感じでAmazonEC2ContainerServiceRoleをアタッチしたecsServiceRoleを作成。 新しいタスク定義は以下の通り。 hello-hako.yml scheduler: type: ecs region: ap-northeast-1 cluster: hello-hako desired_count: 2 role: ecsServiceRole elb_v2: vpc_id: vpc-... listeners: - port: 80 protocol: HTTP subnets: - subnet-... - subnet-... security_groups: - sg-... app: image: nginx memory: 300 cpu: 256 e

Docker for Macもstableになったし、Vagrantを立ち上げるのもめんどくさくなってきたので、Dockerでrpmとdebを作成するサンプルプロジェクトを作ってみた。 github.com rpm OSはCentOS6。 $ make docker:build:centos docker build -f Dockerfile.centos6 -t docker-pkg-build-centos6 . ... $ make rpm docker run --name docker-pkg-build-centos6 -v /Users/sugawara/src/docker-pkg-build:/tmp/src docker-pkg-build-centos6 make -C /tmp/src docker:rpm ... $ ls pkg/ hello-0.1.0-1.

テンポラリディレクトリを作って、その中で作業して、テンポラリディレクトリを消す…というスクリプトを年間に百回ぐらい書いている気がしたので、うまくラッピングしてくれるtempworkというコマンドを書きました。 github.com Usage: tempwork command... tempworkに続いてコマンドを並べると、テンポラリディレクトリを自動的に作成し、そこに移動してからコマンドを実行して、終わったらテンポラリディレクトリを削除します。 $ tempwork bash -c 'pwd; date > tmp.txt; ls ; cat tmp.txt' # ↓作成されたテンポラリディレクトリ /private/var/folders/xc/phct0zx57cgc4z07mkt7pp8w0000gp/T/tempwork859985632 tmp.txt # ←テンポラリディ