embulk

環境変数を活用してembulkを便利に使う

はじめまして。2017年度新入社員の増田です。現在WEBサービス開発グループでOJT中です。ちなみに読み方は”ますた“ですのでよろしくお願いします。

今回私が書くのは、環境変数を使ってembulkをより便利に使っていこうというお話です。

embulkとは、Treasure Dataによって開発されたオープンソースのバルクデータローダーです。よくfluentdのバッチ版と称されてますね。embulkは、fluentdと同様にプラグインが充実しており、インプット側とアウトプット側のプラグインを組み合わせれば様々な処理を行うことができます。例えば、csvファイルをRDBに入れたり、RDBからElasticsearchにデータを交換したりなどといった処理が簡単に行えます。また、フィルタープラグインを利用すればインプットしたデータを加工して投入することも可能です。

続きを読む