楽天テクノロジーカンファレンス2017でApache Kuduについて発表してきた
楽天テクノロジーカンファレンスに登壇するという貴重な機会をいただいたので、Apache Kuduについて発表してきました。
主催していただいた楽天様、ご聴講いただいた皆様、ありがとうございました。
社外での英語プレゼンだったのでなかなか準備が大変でした。
以下、補足やFAQです。
これ資料英語なんだけど日本語はないの？
この資料そのものの日本語スライドはありませんが、より詳しいスライドが日本語で公開されています。
資料読むのだるいからKuduについて3行でまとめて
- Kuduは、HDFS みたいなシーケンシャルリードの性能と、低レイテンシでのランダムアクセスや更新・挿入が得意なHBaseのようなNoSQLの長所を合わせ持った、新しいOSSのストレージエンジンだよ！
- Kuduを使うと、ラムダアーキテクチャのようなバッチ処理 + ストリーミング処理や、分析クエリ + 更新処理みたいな、今まで複数のコンポーネントを組み合わせないと作れなかったようなシステムがこれ一つでできるよ！
- Kuduの使い道の代表例としては、IoTなどにおけるセンサーデータのリアルタイム分析や、金融ティックデータ分析などのリアルタイムダッシュボード、UPDATE/INSERT文を含む既存DWHからのオフロード・マイグレーションなどがあるよ！(参考)
KuduあればHDFSやHBaseいらなくない？
Kuduはどちらの特徴も備えていますが、性能的にはどちらについても若干劣ります。よって、HDFSやHBaseだけで足りる用途であればそちらを使った方がいいです。
また、Kuduは型を必ず持つので、型を考えずにとりあえず突っ込んでおきたいという場合には適しません。
HDFSやAmazon S3、Azure Data Lake Store のような中央ストレージを持ちつつ、補完のためにKuduを活用していくといいでしょう。
Kuduの性能評価結果を教えて
日本語スライドとしては2015年のスライドのこのページに一応載っていますがちょっと情報古いです。
2017年2月に公開されたCERNによる性能評価が一番新しいと思います。
まとめ
Kuduはリリースされてから2年ほど経って、かなり色々こなれてきた感じがしています。
便利なのでガンガン使っていきましょう！
Kuduについて日本語でもセッション聞きたいという人は、11/7(火)に開催されるCloudera World Tokyo 2017に来てください。私とは別の切り口でのKuduのセッションがあります。
