はじめに:2010年弾丸ツアー 今年一年を一言でまとめると、「データと向き合った」一年でした。2009年の終わり、私は The Datacenter as a Computer の読書会を通して、分散システムによる大量なデータの処理がこれからの時代にもっと重要になるということを…

概要 イベント名 Hadoopソースコードリーディング第6回 URL http://atnd.org/events/10425 日時 2010/12/17 19:00 - 21:30 場所 楽天株式会社 関連リンク twitterハッシュタグ #hadoopreading Ust http://www.ustream.tv/recorded/11480862 Togetter http://…

Code complete ch22_developper_testView more presentations from Sho Shimauchi.某所で開催中の Code Complete 読書会に誘われたので参加してきました。私の担当は22章の「開発者テスト」です。ユニットテストの話や同値分割とか境界値分析の話など開発者…

第2回のレポートはこちら 概要 イベント名 Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会(第3回) URL http://atnd.org/events/9098 日時 2010/11/19 18:30 - 21:00 場所 スター研修センター神田3F 関連リンク twitter…

Hadoop本2版を買ったその一週間後にDeals of the day で半額セールやられて死にたくなったので腹いせに書く はじめに ここに書いてあるのは全部参考リンク・文献からひっぱってきただけで、ほとんど全部検証してない。間違いがあればなるべく早めに更新する…

自分用メモ。前回はこちら リンク集(2) Google group Google Groups S4論文 リンク先に論文のpdfあり フロー図があるので英語読めない人でも見るのおすすめ API javadoc 前回 API は公開されてないと書いたが、前回の記事の投稿直後に公開された。 各コンポ…

(2010/11/06) 続き書きました自分用メモ。 注意:「リアルタイム」について Yahoo! からの最初のリリースで「リアルタイム」MapReduce と書かれていたので仕方なくそう書いているが、人によっては聞いただけでキレるので注意すること。(特にOS屋さん相手のと…

昨年末にニコニコ動画に投稿された、「等身大初音ミクを作ってみた」という動画を見て、私は大きな衝撃を受けました。その技術力もさることながら、2年もかけて作ったというその執念に非常に感銘を覚えたものです。ロボット制作だけでなく、理想の服を着せた…

青木さんのサイト、まだまだ読み続けてます。前回はこちら。 私のヒーローたち http://www.aoky.net/articles/paul_graham/heroes.htm中学入試の面接などで、「尊敬する人は誰ですか？」などという質問があったりしますが、こうした質問は子供に限らずその人…

第1回 第2,3回 日時 2010/10/17 19:30 - 21:00 場所 都内某所 挑戦者 marqs shiumachi 標的 Data-Intensive Text Processing with MapReduce 範囲 5章残り(marqs), 6.1 (shiumachi) Data-Intensive Text Processing with MapReduce ch6.1View more presentat…

(2010/10/19追記) 続き書きました ここ最近ずっと、青木さんのサイトを読み直しています。なぜ急に思いついたかというと、はてブでお気に入りに登録しているどなたかが青木さんのサイトの古い文書をブックマークしていたのを見て久しぶりに読み直したくなっ…

第1回はこちら 第2回 日時 2010/09/26 19:30 - 21:00？ 場所 都内某所 挑戦者 marqs shiumachi 標的 Data-Intensive Text Processing with MapReduce 範囲 3章残り(marqs)4章途中まで(shiumachi) 第3回(take1) 10/3にやるはずだったが、marqs が会場に着いた…

Hadoop: The Definitive Guide作者: Tom White,Doug Cutting出版社/メーカー: Oreilly & Associates Inc発売日: 2010/10/14メディア: ペーパーバック購入: 2人 クリック: 149回この商品を含むブログ (14件) を見る10/14に第2版が出るのですが(電子書籍版は既…

業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。そのうちの一つに、NTTデータに…

日時 2010/09/23 19:00 - 21:00？ 場所 都内某所 挑戦者 id:marqs id:shiumachi 標的 Data-Intensive Text Processing with MapReduce 範囲 1-2章(shiumachi),3章途中まで(marqs) Data-Intensive Text Processing with MapReduce(Ch1,Ch2)View more presenta…

2年半以上も前にほぼ同様の記事を書いたのですが、以下の2つの記事を読んだら再度掲載したくなりました。http://blog.livedoor.jp/insidears/archives/52373634.htmlhttp://anond.hatelabo.jp/201009171916352008年の初め、The Linux Foundation はオープン…

id:kaigai の主催する勉強会で発表してきました。Hadoop for programmerView more presentations from shiumachi. 答えられなかった質問 Shuffleフェーズって、ソートをどういう仕組みでやってるの？ データ全部をなめてるの？ Partitionerというクラスでデ…

なんかお酒に酔った勢いで書いてみます。 よく「日本はもうダメだ」とか「海外に脱出しよう」ということを聞きます。一方で、「でも英語ができないし」とかいう悩みもよく聞きます。じゃあ、もし海外の企業、たとえばシンガポールあたりの会社が「日本語だけ…

まあそれだけですが。http://github.com/shiumachi/configs/blob/master/.zshrc設定ファイルは全部 configs というディレクトリにまとめて、本来の場所へはシンボリックリンクを貼るように変えました。これで全設定ファイルを集約できそうです。次は .emacs …

年 月 Listening Reading Total 2006 08 365 285 650 2007 07 425 335 760 2010 08 445 395 850 (表のフォーマットはphoのものを勝手に借りました。thx!) 今回は特に素の自分の実力を試したかったので、事前勉強もせずに受けてみました。3年前は1ヶ月ぐらい…

あるオブジェクト群において、全オブジェクト間の類似度を計算するにはプログラムが全データにアクセスできる必要があります。 しかしこれではHadoop上でMapReduceによる計算ができません。 なぜなら、Map/Reduceの処理は分割できなければいけないからです。…

インドから短期出張してきたある一個人に聞いた話なので、ここに記された内容がインド全体にあてはまるとは決して思わないでください。 本やネットではなかなか得られない知識をもらえて、非常に感謝しています。 お礼代わりに、私も可能な限り日本に住んで…

概要 イベント名 Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会(第二回) URL http://atnd.org/events/5987 日時 2010/07/26 18:00 - 20:00 場所 スター研修センター 御茶ノ水 Sun（サン）1F twitterハッシュタグ #hado…

HTC Desire を入手して1週間経ちました。とりあえずこんな感じで使ってます。 ポータブル twitter クライアント まあ普通ですよね。movatwitter を使うのに比べたらよっぽど便利になりました。 標準で入っている Peep というソフトを使っていましたが、あま…

Why SIMフリー？ 簡単手に入る 現在Softbankから出てるDesireは入手困難。大々的に看板出してるくせに、店員さんに聞いてみると「8月末入荷予定です」なんて言われる。看板ぐらいしまってほしい。 海外には普通に出回ってる。1週間経たないうちに手に入る。 …

Hadoop に関するよくある勘違いの一つとして、「古いマシンを有効活用できる」というものがあります。 その根拠となるのが、公式サイトを含めあちこちで書かれる「コモディティサーバの上で動く」という一文です。 The Hadoop Distributed File System (HDFS…

久しぶりにシンプリシティの法則を読み返すと、ふと気づいてしまいました。4次元ポケットが完璧にシンプリシティの法則に沿ったデザインになっていることに。以下解説します。 法則1:削減 4次元ポケットは SHE の法則を満たしています。 縮小(SHRINK) とても…

Part1 / Part22010/05/31 までにブックマークしたものをまとめました。 注: Part1 も大分更新してますので興味のある方はそちらもご覧ください。 更新情報 2010/06/20 新規追加 HBase、Mahout、Cassandra、開発、構築、Streaming、Hive、Cloudera、Zookeeper…

目次 Part1 ファイル 文字列 正規表現 辞書 タプル Part2 リスト Part3(この記事) 数学 ビット演算 条件式 ループ 例外処理 その他 おまけ:今回のテンプレート

リストだけで1記事作れてしまうほど長くなってしまいました。 それだけ頻繁に使ったということですね。 目次 Part1 ファイル 文字列 正規表現 辞書 タプル Part2(この記事) リスト Part3 数学 ビット演算 条件式 ループ 例外処理 その他 おまけ:今回のテンプ…