読者です 読者をやめる 読者になる 読者になる

Hadoopリンクまとめ(1)

雑記

Part1 / Part2

更新履歴

2010/06/20
  • リンク追加
    • 入門、事例紹介、ニュース
  • Part2へ移動
    • EC2、Pig、MapReduce、HDFS
  • 新規追加
    • 性能測定

公式

wikipedia

入門

事例紹介

技術情報(開発・構築・運用)

セキュリティ

性能測定

  • YDN Blog | Yahoo Blog - Yahoo
    • HDFSのスケーラビリティについて書かれている。下は日本語によるまとめ。
  • Google Groups
    • ネームノードの必要メモリ量は、HDFS全体のデータ量 1PB に対し 1GB らしい。レプリケーションファクターを考慮しなければいけないため、投入可能なデータ量は実際にはもっと少ないことに注意。
    • 可用性の面だけでなく、性能面でもシングルマスター構成の限界が見えてきていることがわかる。
    • 逆に言えば、ペタバイトクラスの処理を想定しない状況ならメモリ不足はそれほど気にしなくていいということだろうか。この辺の細かい部分も検証が必要だろう。
  • Google Groups
  • Google Groups
  • Google Groups