かなり、感覚的な表現で申し訳ないですが参考程度に。。。。orz fluent plugin elasticsearch で detached forwarding server とかゆー送信サーバでエラーが出て retryとか勝手に何回かされると ログが重複する。。。orz 300万行ぐらい送って、elasticsearch側では330万行ぐらいになってた。。。orz fuluentdのバッファメモリをバッファファイルへ変更 ・送信先のバッファファイルが3個以上になったら送信を待つ ・送信元のバッファファイルが2個を超えたら処理を待つ みたいな監視をこさてゆっくりゆっくりと送ってあげる。 送信元のfluentDのchank limitあたりを調整 300万行を90分かけて送ってあげたらドンピシャだったぜ。 【追記】 fluentDが買ってにリスタートしやがった。 しかも送信行数と受信行数に