Hadoopやってみた→簡単に実験できたよ、の巻

今日は、ちょっと涼しくなってきたようだ。
五山を送ると毎年こんなものかもしれない。しかし8月は"とりあえず暑い"という記憶しか残らないものだ。

で、昨日の続きでちょっくら1台、2台、4台のHadoop クラスタで5GB程度ほどのapacheのログを集計してみたよー。社内の人たちからも結構調査の結果焦らされたので、暇つぶしレベルを超えてきたよ。。

TrackerJob総数が4、
これは一応ブロックのレプリケーション数を1で実行したけど、1台でのHDFSでレプリケーション数2ならどうなるんだろ。
結果はうろ覚えなので最後の細かい数字は誤差ということで

実行結果：6分数秒

TrackerJob総数が2×4で8、
HDFS レプリケーション数2でやってみます。

実行結果：3分数秒

TrackerJob総数が4×4で16、
HDFS レプリケーション数2でやってみます。

実行結果：1分30秒 + 数秒

嘘みたいに比例してますけど。。。

4台クラスタリング中にスレーブノード内のjava(hadoopのプロセスですね)を強制的にkillしてみたら、DFSをレプリケーションしてたので問題なく動作したよ。やっぱり賢い！マスコットの象はバカっぽいけど

実行結果：2分数秒

障害耐性の調査でマスタノードがダウンした場合の動作とかもみてみようかなぁ。そんな設定項目とかあったかなぁ。

ところで次バージョンの0.18.0だとhadoop dfs -(追記)　可能になる予定ですって、素敵やん