最近はなるべく技術的な話しか書かないようにしていたのですが、たまには個人的な思考を書いてみることにします。 クリスマスだし、ブログ初めてから8周年でもあるわけですし。 Hadoop は、大量のデータをリーズナブルに計算処理できるようにしたいという課…

前回の記事では私が作成した sphinx 拡張、sphinxcontrib-recentpages の紹介をしました。この記事では sphinx 拡張の開発をしたときに気づいたことなどのメモを紹介します。私は sphinx 拡張の開発は初心者ですので、間違いがあるかもしれません。間違いを…

アドベントカレンダーへの参加を大幅に遅刻しました。すいません。この記事では、私が今年作成した「最近更新したページ一覧」を生成するsphinx拡張、sphinxcontrib-recentpages を紹介します。 sphinxcontrib-recentpages とは？ Sphinx プロジェクト内で作…

アドベントカレンダーへの参加を大幅に遅刻しました。すいません。今年の10月に初参加してきました。事前に分からず、実際に参加してわかったことなどを中心にメモとして残しておきます。 荷物 ディスプレイやキーボード、マウスなどが当たり前のように持ち…

Hadoop アドベントカレンダー 2012 空いているところ担当の shiumachi です。今日は HFile という、HBase の中でもかなりマイナーなツールを紹介します。 概要 HBase のデータは HDFS 上に保存されています。この HDFS 上のデータの基本単位は org.apache.ha…

(2012/10/25 15:48 追記)Cloudera 公式ブログで Impala についての紹介記事を掲載しました。このブログ記事の完全上位互換なのでそちらの記事をご参照ください。Cloudera Impala：Apache Hadoopで実現する、真のリアルタイムクエリ | Hadoopとビッグデータソ…

(注: ここでの話は主にB2BのIT業界の話をしています。他の業界は知りません)IT系のそこそこ有名なスタートアップの会社に勤めている人と何度か話す機会がありましたが、口を揃えて「いいマネージャがほしい」と言います。エンジニアの場合、2つの点で優秀な…

http://togetter.com/li/338325 なんてものを始めています。なんとなくノリで始めてしまった企画で更新も不定期なのですが、ブログにまとめるほどでもないけど共有する価値のある情報はこういう形で流そうかなと思います。案外1ツイートにまとめるのは難しい…

使い捨て python コードの書き方 from Sho Shimauchi サポートの仕事におけるプログラミングというのは通常の開発と少し異なっています。「1時間以内に数十GBのログを解析して問題を特定し対策を回答しなければいけない」などということはしょっちゅう発生し…

(注: 私は拾得物の専門家(e.g. 鉄道会社社員あるいは警察官)ではないのでもしかしたら間違った対処法を書いているかもしれません。もし違っている箇所がありましたらご指摘ください)今日仕事帰りに*1電車の中で携帯電話を拾いました。一応うまく対処できた(=…

なんだかんだで Hadoop 周りの本も結構増えてきましたので下にまとめました。抜けてるのもあると思うので(特に和書)、なんかお薦めありましたらコメントください。追加します。 タイプ別お薦め読書コース 短期間で全部読むのは不可能なので、とりあえず簡単…

前回バグレポートの提出方法というテーマで記事を書きましたが、今回は英語にフォーカスして少し書いてみることにします。 英語の学習法は数多くありますが、もし英語を学ぶ目的が「IT の技術系メーリングリストに投稿し、議論する」ことが目的でしたら少し…

TeamViewer を知らない人に説明すると、相手のPCを遠隔操作可能になる非商用利用フリーのソフトです。Mac/Windows/Linux全対応。TeamViewer をお互いに起動した上でかつ相手のIDとパスワードを知らなければ接続できないので、普段オフにしていれば乗っ取られ…

http://d.hatena.ne.jp/okachimachiorz/20120408/1333851790口頭で話しておこうと思いましたが、上記の記事を読んだ方で誤解されている方が増えているようなので一応書いておきます。 （Hadoopはその意味では面白いケースだと思います。まずOSSになっている…

独立独歩法人分散処理推進機構(DPA)は1日、分散処理ソフト「ハドゥープ」の調査報告書を公開した。報告書は、近年オープンソースの分散処理ソフトとして注目されているハドゥープの市場動向、及び内部設計について調査し、まとめたもの。その報告書の調査結…

下手すると今の10代とか「◯◯ヒット記念」という表現を知らないんじゃないかと思いますけど、とにかくブログのカウンターが100万を回ったので一応記念に。 このカウンター、リロードするたびに1増えるという現代では考えられない仕様なので多分実際にはもっと…

まさに誰得記事これを追加した方がいいというのがあったら教えてくださいこういうのをはてなネイバー(名前忘れた)はてなまとめみたいなキュレーションサービスでまとめればいいのかと今更思ったけど面倒なのでこのまま投稿する アイテム購入前に オフィスビ…

注: 必要があってこの記事を書いているのであって、決して万人向けに書いているわけではありません。 用意するもの(Mac) JDK6 Eclipse maven git protocolbuffer (protoc) 多分最低この5つのツールがあればなんとかなる。pb が必要なのは、pb がないと 0.23 …

なぜ Tex 経由か? rst2pdf ではダメなのか? rst2pdf は現在日本語出力がうまくできませんでした。 私の環境設定の問題かもしれませんが、デバッグするよりもう一つの環境を作った方がいいと判断して Tex 経由で作ることにしました。 用意するもの 都合 10 GB…