読者です 読者をやめる 読者になる 読者になる

Hadoop の MapReduce2 の JIRA がオープンしたのは2008年初頭です

雑記

http://d.hatena.ne.jp/okachimachiorz/20120408/1333851790

口頭で話しておこうと思いましたが、上記の記事を読んだ方で誤解されている方が増えているようなので一応書いておきます。

Hadoopはその意味では面白いケースだと思います。まずOSSになっていることは間違いなく商用の競合排除にはなりました。似たような製品で同規模のものは、もう商用では出てこないでしょう。その一方で、打ち手を間違えたと思います。HadoopMR2.0のようなものに手を伸ばすのではなく、まちがいなく2年前の段階でNNのHAにリソースの50%以上を突っこむべきでした。その場合MapRやその他のベンダーは、類似のディストリや偽Hadoopの、開発にはいることを躊躇したはずです。ほとんどの後発”Hadoop”は「NN/HDFSの信頼性問題」の解決だけに注力しているのは理由があります。このあたりはApacheの限界でしょう。)

「打ち手を間違えたが……」という点ですが、当時と今では目的が異なります。

Hadoop は今でこそ Cloudera を始めとしたベンダも開発に参加していますが、MapReduce2 の JIRA MAPREDUCE-279 がオープンしたのは4年前です。
当時はユーザ企業だけでしたので*1、自社で必要ない機能を作るモチベーションはありませんでした。
その時点では Yahoo! をはじめとした開発企業にとって、HA よりも MapReduce2 の方が優先順位が高かったのでしょう。

その HDFS HA 機能も HDFS-1623 で完成しましたので、これからは NN の SPOF を心配する必要はなくなります。

*1:Cloudera の創業は2008年10月