Napsterを使っている

ネットによる音楽配信もだいぶ一般化してきた今日この頃。
2年ほど前からNapsterを使用しているが、結構満足していたりする。

たとえば以下のような商品

一発勝負~カヴァー・アルバム

普通は買うのに結構勇気いる。。

（視聴してみるとおもしろくて買うかもしれないけどね
「Shu-chi-shin Shu-chi-shin ..」
メタル羞恥心ですから。。あと某ねずみ先輩の曲もあるし）

で、Napsterだと月額1,980で聞き放題、持ち出し放題(Windows Media のDRM対応プレイヤーのみですが)なので、気軽にDLして楽しんでます。

変化に対応

最近本屋で見つけました

Subject To Change ―予測不可能な世界で最高の製品とサービスを作る

「イノベーションの神話」と同じシリーズの製品構築論あたりの本ですかね。

また読んでから感想書いてみますが、読みやすいのでとりあえずおすすめかも。

デザインと製品とユーザーエクスペリエンスがキーワードのようです。

ちょっと気になっていた本

久しぶりの更新。

なんとなしに今日から再開。

スクリプトエンジン プログラミング

で、ちょっとだけ気になっていた本がコレ。
見てみた感じ、スクリプト解析を軽く本気でやっているがために、コンパイラの動作も軽く理解出来てしまうかも本ですかね。

この本の一番良さそうな点は、本の質感かも。
難しいこと書いてあるけど、簡単に読めてしまうのでは感を演出してくれます。

とりあえず読破目指してがんばるぞい。

Hadoopの技術資料発表、の巻

hadoopに関して4台くらいで色々やっていたけど、ちゃんとした調査資料が出た模様

http://preferred.jp/pub/hadoop.html

GoogleのMapReduce＆GFSと比較しながらまとめているようだ。
というわけで、Hadoopについては上記リンクを参照すればかなりの情報が手に入れられるようだ。

一応前回まで色々見ていて気になった点をおもむろに書いてみる。

・マスタサーバの停止について
→Google版ではスレーブの中からマスタに昇格するサーバがあって、DHCPか何かでマスタホスト名で再登録してウンタラカンタラ。。らしい。
Hadoopではそんな機能はなくてマスタが落ちたらそのまま処理は終了する(ようだ。少なくとも自分でやったら何も起こらなかった)

・HDFSのデータブロックのリバランスについて
→ブロック(チャンク)があるサーバに偏った（例えばサーバを追加した場合などでは偏るかと）ときに均等になるように配置をバランシングしてくれるかというとそんなことはないようだ。GFSではやってくれるみたい

・データブロックがローカルにない場合の処理速度
→実験データ(apacheのログファイル。4.7GB程度でした)を集計するタスクは全部で82のmapタスクと1つのreduceタスクに分割された。多分ここから、割り算して64MBくらいのブロックでHDFSは管理されるのではないかと推測される。
で、このタスクであるがローカルにデータがある場合には20秒程度、JobTrackerとは別ノードにあるデータを処理するmapタスクだと2分以上かかっていた。これはシステム配置で考慮しなければいけない点かもしれない

とまあ、こんな感じです。
日本にもMapReduce旋風がやってくるかもなぁ。

おっす、オラZabbixよろしくな、の巻

今日は頭が沸いているようなので、大分痛いエントリというか内容というか。

Zabbixも少しやってみました。
感想としては

導入が比較的楽→CentOSならRPM＋yumでなんとかなる

動作が高速。3年以上前のnagiosのうろ覚えの記憶と比べて

セキュリティも少しは意識が高いか？エージェント・サーバ間のIPアドレス制限がデフォルトで有効

コンフィグファイルが意味不明。zabbix.conf.phpでphpのブロック外に改行あったり、変な文字があると全てのページに埋め込まれる。。。もちろんpngバイナリデータにもよ

集計後のデータとしてはグラフィカルな表示もソツなくこなしてよい感じ

しかしこれといって、派手なアクションがあるわけでもなく、どこか"優等生"を感じる

一見nagiosのほうが派手なのでワクワク感があったかと思う。しかし、だからといってzabbixが駄目なのかというと全然そんなことはなくて、仕事ならこっちの方がよいかもしれない。このあたりの記事もそう言っているし

http://www.thinkit.co.jp/free/article/0706/21/1/

やっぱり個人的には、なんとなくデータセンターの監視ソフトみたいな感じを受けて、気を抜けない感じがプレッシャーなのでした。

Hadoopやってみた→簡単に実験できたよ、の巻

今日は、ちょっと涼しくなってきたようだ。
五山を送ると毎年こんなものかもしれない。しかし8月は"とりあえず暑い"という記憶しか残らないものだ。

で、昨日の続きでちょっくら1台、2台、4台のHadoopクラスタで5GB程度ほどのapacheのログを集計してみたよー。社内の人たちからも結構調査の結果焦らされたので、暇つぶしレベルを超えてきたよ。。

1台の場合

TrackerJob総数が4、
これは一応ブロックのレプリケーション数を1で実行したけど、1台でのHDFSでレプリケーション数2ならどうなるんだろ。
結果はうろ覚えなので最後の細かい数字は誤差ということで

実行結果：6分数秒

2台の場合

TrackerJob総数が2×4で8、
HDFSレプリケーション数2でやってみます。

実行結果：3分数秒

4台の場合

TrackerJob総数が4×4で16、
HDFSレプリケーション数2でやってみます。

実行結果：1分30秒 + 数秒

嘘みたいに比例してますけど。。。

4台クラスタリング中にスレーブノード内のjava(hadoopのプロセスですね)を強制的にkillしてみたら、DFSをレプリケーションしてたので問題なく動作したよ。やっぱり賢い！マスコットの象はバカっぽいけど

一応強制kill後、3台での実行結果

実行結果：2分数秒

障害耐性の調査でマスタノードがダウンした場合の動作とかもみてみようかなぁ。そんな設定項目とかあったかなぁ。

ところで次バージョンの0.18.0だとhadoop dfs -(追記)　可能になる予定ですって、素敵やん

Hadoopやってみた→とりあえず感想、の巻

まだノートPC返ってこないよー。

ということで（？）会社で空いているサーバを借りて話題のHadoopをいじってみた。以前からちょっと触ってみてたのですが、少しクセがあるので、気合を入れてやってみたのはこれが最初。
（きっかけは、id:naoyaさんが公演でhadoopで6台クラスタリングしたら6倍にスケールした、、、的なことをおっしゃっていたので、俄然興味深々になったためだったりする。）

hadoopとは？

公式HP

http://hadoop.apache.org/core/

日本語の文献では

http://codezine.jp/article/detail/2448?p=1

あたりを参照して下さい。

今日やってみたこと

古めの2台のサーバでのクラスタ１と新しいサーバ4台でのクラスタ２で5GBほどのapacheのログを集計してみた。
アクセスURLごとにカウントしてみるような感じ。

えっと、、、

クラスタ１：35分
クラスタ２：1分30秒

。。。ハードウェアの差か？？

ちょっと詳細な情報は出せないのですが、もう少し調査してみます。

クラスタ2のハードだけに絞って1,2,4台とmap,reduceタスク数でのパフォーマンス(処理時間)比較くらいはやろうかな。

感想

クラスタリングの設定もそれほど難しくない(エラーが出たときの対処が勘に頼らざるを得ないが。。。)のと、結構安定動作してます。
2台でクラスタリングしているときに、HDFSでデータブロックのクラスタリングを2にすると両方のサーバにデータブロックが配備されるそうですが、片方のhadoopを無理やり落として、データ領域を削除して、hadoopを再起動すると、データブロックを自動でコピーして復旧してくれたりします。賢い！

で結構速度も出るのですが、これはMapReduceがすごいというよりDFSがすごいのかもしれない。
基本的にHDFSが採用している分散ファイル設計では、ファイルの入力は遅くて、読み込み重視でパフォーマンスが出るようにしてます、たぶん。
MapReduceの分散タスクと関連して、DFSサーバも増やせば、(うまくいけば)mapreduce - 1対 dfs - 1の関係のまま対応してスケールするのではないだろうか。だから6台で6倍なのか？？

というわけで、今日は久々興奮のるつぼでした
興味のある方は、この本も読んでみると楽しいですよ

Googleを支える技術 ?巨大システムの内側の世界 (WEB+DB PRESSプラスシリーズ)