hadoop アドベントカレンダー 2011 8日目 fair scheduler のイベントログ

hadoop アドベントカレンダー 2011、1日目及びその他空いているところ全部を担当する @ です。


今日は fair scheduler のイベントログを有効にする方法を紹介します。

注: CDH3u2 ベースです

fair scheduler にはイベントログを出力する機能があります。
有効にすると、下記のようなイベントログが ${HADOOP_LOG_DIR}/fairscheduler/hadoop-<ユーザ名>-fairscheduler-<ホスト名>.log に出力されます。

2011-11-29 19:44:07,767 BEGIN_DUMP
2011-11-29 19:44:07,768 POOL pool1 1.0 0 10 0 5 0
2011-11-29 19:44:07,768 POOL default 1.0 0 0 0 0 0
2011-11-29 19:44:07,768 END_DUMP
2011-11-29 19:44:07,856 HEARTBEAT tracker_192.168.11.2:localhost/127.0.0.1:56713
2011-11-29 19:44:07,856 RUNNABLE_TASKS 0 0 0 0
2011-11-29 19:44:07,856 INFO Can't assign another MAP to tracker_192.168.11.2:localhost/127.0.0.1:56713
2011-11-29 19:44:07,857 INFO Can't assign another REDUCE to tracker_192.168.11.2:localhost/127.0.0.1:56713
2011-11-29 19:44:08,159 HEARTBEAT tracker_192.168.11.2:localhost/127.0.0.1:56713
2011-11-29 19:44:08,159 RUNNABLE_TASKS 0 0 0 0
2011-11-29 19:44:08,159 INFO Can't assign another MAP to tracker_192.168.11.2:localhost/127.0.0.1:56713
2011-11-29 19:44:08,159 INFO Can't assign another REDUCE to tracker_192.168.11.2:localhost/127.0.0.1:56713

設定はいたって簡単、mapred-site.xml で mapred.fairscheduler.eventlog.enabled を true に設定するだけです。
ここ に書いてます。

……え、書いてないって?
html ソースにコメントとして書いてますよ。

ちなみに html ソースの下の方には fair スケジューラのアーキテクチャについての記述もあるので興味があれば読んでみてください。


明日は、誰も参加者が増えなければまたなんか書きます。