2011年まとめ

4月に転職してからというもの、1ヶ月もアメリカで生活したり、在宅勤務でひたすら引きこもって仕事したりと、普通の人とは随分かけ離れた生活をするようになりました。
hadoop 及びエコシステムと英語のスキルは異様に伸びましたが、本来要求される水準を考えるとまだまだ低いです。

hadoop

障害解析ができるようになった

仕事がら当然ですが。

ソースコードをかなり読めるようになった

これも仕事がら当然です。

パッチを書けるようになった

[HADOOP-7910] add configuration methods to handle human readable size values - ASF JIRA
[HDFS-1314] dfs.blocksize accepts only absolute value - ASF JIRA
[MAPREDUCE-3610] Some parts in MR use old property dfs.block.size - ASF JIRA
[HADOOP-4515] conf.getBoolean must be case insensitive - ASF JIRA


まともなパッチを初めて投稿しました。*1
手順さえわかれば簡単ですね。

JIRAのオープン中のチケット一覧 を見れば、数千ものチケットが残ってることがわかります。
空き時間にちまちま片付けていきたいと思います。

hadoop エコシステム

HBase まだまだです。本当はもう少しできなきゃいけないんですが。来年の目標の一つです。
Hue は Django ベースなのでもうちょい詳しくなりたいところ。
Flume もある程度は触りましたけど全然足りません。
Hive は意外とソースを読んでいないので、もう少し読み進めたいですね。
ほとんど触ってないのが Pig, Sqoop, Whirr, Oozie, Mahout の5つ。
最低限の知識しか持ってないので、もう少し勉強する必要があります。

その他の技術

  • Eclipse
    • 使うとは思ってませんでしたけど気がついたら色々使うようになってました。
  • Java
    • これも自然と身についた技術。
  • Sphinx
    • 最近使い方を覚えたツール。ドキュメントの整理に重宝してます。


他にも色々と細かい技術は習得しましたが省略。

英語

hadoop と並んで今年最も成長したスキルの一つ。
去年とは比較にならないぐらい高速に読み書き会話ができるようになりました。
とはいえ、まだまだ未熟な部分も多いのでこれももっとできるようになりたいです。

メンタル的な部分

非生産的な活動に全く興味を失いました。
Linus も言っているように、ああすべきだとかこれはダメ、あれはダメとか言うより行動を起こした方が早いです。
今の会社の何が楽しいって、基本的にはそういう人達しかいないということです。
もちろん、人間なんで怒ったりもしますし不満も口にします。
でも、その次には行動を起こすのです。
そして何かを成し遂げれば必ずみんなが称賛してくれます。
こんな居心地のいい環境では、愚痴や不満、言い訳などの非生産的な言葉を言っている暇はありません。

来年の目標

  • Hadoop コミッタになる
  • HBase/Hue のコントリビュータになる

とりあえずはこのくらいですかね。
Hadoop を開発するのは、昨今のツールが優秀なのもあって非常に簡単なので、もっと色々開発してみたいですね。
自分で手を動かした方が中身をよく知ることができますし。

この9ヶ月 hadoop にどっぷり浸かって仕事してきましたが、やっぱりこれすごく楽しいです。
来年はこの楽しみを、もっと多くの人に伝えたいですね。

*1:まともじゃないパッチもある https://issues.apache.org/jira/browse/MAPREDUCE-3365