2011-12-01から1ヶ月間の記事一覧

2011年まとめ

4月に転職してからというもの、1ヶ月もアメリカで生活したり、在宅勤務でひたすら引きこもって仕事したりと、普通の人とは随分かけ離れた生活をするようになりました。 hadoop 及びエコシステムと英語のスキルは異様に伸びましたが、本来要求される水準を考…

hadoopのバージョン表記について

(2012/01/10 追記)Cloudera 社から hadoop 1.0 に関する公式ブログ記事が公開されました。そちらの方がより分かりやすく正確に書いています。まずはそちらをご覧ください。 先日 hadoop-1.0 がリリースされたことが巷で話題になっています。 話題になること…

英語によるhadoop系メーリングリストへのバグレポート提出ガイド

hadoop アドベントカレンダー 2011、1日目及びその他空いているところ全部を担当する @shiumachi です。27日は誰もいないようなのでこれを27日とします。id:showyou さんの担当でした。28日目とします。showyou さんすいません 基本 テンプレ的に書くとこん…

eclipse のエンコーディングを SJIS にしてると hadoop のコンパイルが通らない

eclipse のエンコーディングを SJIS にしていると、/hadoop-common/src/test/java/org/apache/hadoop/fs/TestGlobPattern.java:67 の以下の行が文字化けしてコンパイルが通らなくなります。 assertMatch(false, "{[12]*,[45]*,[78]*}", "3", "6", "9ß"); 最…

emacs の rest-mode のバインディング

id:ymotongpooのreST記事は素晴らしいのですが、現在の rst.el のバインディングは記事を書いたときよりも大分変わっているようなのでまとめておきます。ヘルプのバインディング一覧から引っ張ってきただけでろくにチェックしてません(一応一通り動作確認は…

hadoop アドベントカレンダー 2011 12日目 MapReduce ワークロードのパターン

hadoop アドベントカレンダー 2011、1日目及びその他空いているところ全部を担当する @shiumachi です。 今日は MapReduce のワークロードのパターンについて紹介します。 Hadoop で分散処理できる、とは言いますけど、なんだかんだで性能がいまいち出なくて…

hadoop アドベントカレンダー 2011 9日目 まずはここで検索しよう

hadoop アドベントカレンダー 2011、1日目及びその他空いているところ全部を担当する @shiumachi です。 今日は ML などで質問する前に検索すべきサイトを紹介します。 search-hadoop.com http://search-hadoop.com/ML, javadoc, ソースコードの横断検索がで…

hadoop アドベントカレンダー 2011 8日目 fair scheduler のイベントログ

hadoop アドベントカレンダー 2011、1日目及びその他空いているところ全部を担当する @shiumachi です。 今日は fair scheduler のイベントログを有効にする方法を紹介します。注: CDH3u2 ベースですfair scheduler にはイベントログを出力する機能がありま…

hadoop アドベントカレンダー 2011 1日目 CDH hadoop/hive/hbase を eclipse プロジェクトとしてインポートする

hadoop アドベントカレンダー 2011、1日目及びその他空いているところ全部を担当する @shiumachi です。最初はサポートの話を書こうと思ったのですが、せっかくのアドベントカレンダーの初日なので少しだけ技術的なことを書くことにします。 あと最初に断っ…