雑記

2013年面白かった本

今年面白かった本をあげてみました。 専門書は省いています。 あとここに紹介してない本でも面白い本はたくさんあったのですが、さすがに全部は書ききれないので一部にとどめます。 果て無き渇望 本当にいい本でした。私が果て無き渇望アドベントカレンダー…

声に出して読みたい「果て無き渇望」名文10選

果て無き渇望アドベントカレンダー、15日目担当の shiumachi です。 本書の概要についてはymotongpooの素晴らしい記事があるのでそちらに譲ります。 ここでは、私が個人的に気に入っているフレーズをピックアップして紹介します。 トレーニング前に読むと元…

HBase 0.96 で導入される新しいコンパクション「Exploring Compaction」

Hadoopアドベントカレンダー2013、3日目を担当する @shiumachi です。 今回は HBase 0.96 の新機能を一つ紹介します。 要約 HBase 0.96 は賢くなったのでみんな使おう。 コンパクションのおさらい HBase では、Log Structured-Merge tree (LSM-tree) という…

2013年夏のプログラミング・シンポジウム ビューティフルデータ(3) 午後2 #spro2013

関連リンク 午前のセッション 午後1のセッション togetterまとめ (講演者の方は敬称略) 並列データ処理基盤を用いた並行バグ並列検査方式の検討 荒堀喜貴(東京工業大学) 目的: 並行バグ検査の高速化(並列化) 背景 前提とするプログラム実行モデル 複数スレッ…

2013年夏のプログラミング・シンポジウム ビューティフルデータ(2) 午後1 #spro2013

長いので複数記事に分けました。 [招待講演] 製鉄所における大量品質管理データの解析事例と課題 茂森弘靖(JFEスチール) 15年ぐらい製鉄所の新しい設備を作ってた 5年前に研究所に移ってデータ解析しはじめた JFEスチール 東日本製鉄所 西日本製鉄所 福山・…

2013年夏のプログラミング・シンポジウム ビューティフルデータ(1) 午前 #spro2013

イベントページ: http://atnd.org/event/spro2013 日時: 2013/08/25 場所: ドリコム (講演者の方の氏名は敬称略) [招待講演] パーソナルデータ保護法制に向けた最近の動向 高木浩光(産業技術総合研究所) ここ2年ほどで急にきわどい事例が出始めた (なんかた…

Hadoopのディスクあふれ対策(補足)

最近流行りのディスク容量があふれたときの挙動、Hadoop編を書こうと思ったらwyukawaさんが既に書いてくださったのでやめました。 ……と思ったのですが、せっかくなので id:wyukawa さんが書いてない箇所を補足してみようと思います。( この記事は @kernel023…

MacOSXにnumpy, scipy, matplotlibをインストール

西尾さんの記事を試したかったので、必要なパッケージをインストールしました。 手順 gfortran を入れる→ pip install で必要なものを突っ込む、の順。 コンパイルする必要があるので XCode 必須。まずは gfortran をインストール。 $ brew install gfortran…

勝ち続ける意志力

勝ち続ける意志力 (小学館101新書)作者: 梅原大吾出版社/メーカー: 小学館発売日: 2012/04/02メディア: 新書購入: 24人 クリック: 449回この商品を含むブログ (69件) を見る プロゲーマー、梅原大吾の本。 ゲームに限らず、一つの道に真摯に向き合うための心…

Fabric の run() メソッドと sudo() メソッド

この記事では、Fabricの主要メソッドである run() と sudo() について解説します。サンプルコードは https://github.com/shiumachi/fabric-sample にあります。 run() と sudo() の基本 読みやすくするため、以後は必要がない限り run() メソッドのみを取り…

zsh による Fabric コマンドのタブ補完

Fabricは便利ですが、コマンドが多くなると管理が大変になり、いちいちコピペするのが面倒になります。zsh を使えば、Fabric のタブ補完をすることが可能です。 ここでは、oh-my-zsh を使ったタブ補完の設定方法を紹介します。 oh-my-zsh のインストール id:…

今日からすぐに使えるデプロイ・システム管理ツール Fabric 入門

Fabric は、Python 製のデプロイ・システム管理ツールです。最近、構築や運用を自動化するための様々なツールが出てきています。 構成管理ツールの Puppet や Chef が有名ですが、使うまでに覚えることが多いのが欠点です。 しかし、Fabric は非常にシンプル…

8つの質問で、Hadoop業界の現状を知る

Webサービス系の隆盛があったのかどうかはよく知らないが、Hadoopのリリースが騒がれたのが7年前ぐらいだろうか。Hadoop業界の人材動向が、今どうなってるかって?大方の予想より凄惨ですよ。それが分かる方法がある。Hadoop技術者に技術力を問う8つの質問に…

PyFes 2013.3 参加メモ #pyfes

午前: Riak ハンズオン Riak ハンズオンに参加したと思っていたらいつの間にか Riak ハンズオンを手伝う側に回っていたでござる教訓 インターネットがまともに使えない、かつ全員がMac という特殊な環境だと AirDrop を使って必要なファイルをばらまくという…

最も無価値なものを探す

駅を降り、夜道を歩いて帰る途中、ふと思いつき「今目に映るもののうち、最も無価値なものはなんだろう」と考えてみました。 こんな視点で周囲を見渡すと、普段は全く価値を感じない様々なものが、意外にも価値があることに気づきます。 マンホールや排水口…

hadoopプロジェクトの規模(2013/01/25版)

@cocoatomo に手伝ってもらいながら、hadoop プロジェクトのコードの行数をカウントしました。 サブプロジェクト 行数 common 198,303 hdfs 234,070 mapreduce 221,630 yarn 158,067 hadoop-tools 59,713 maven-plugins 522 合計 872,305 というわけで合計87…

コミュニティに非協力的な人への向きあい方

あけましておめでとうございます。 一昨年は大晦日の夜は一人で過ごしながら hadoop のパッチを書いていましたが、昨年末は大晦日はおろか新年の元旦含めて年末年始ぶっ通しで仕事に追われてました。 そんなわけでコミケもネットで眺めてひっそり楽しむ程度…

Hadoopに関する雑感 (Hadoop アドベントカレンダー2012 XX日目)

最近はなるべく技術的な話しか書かないようにしていたのですが、たまには個人的な思考を書いてみることにします。 クリスマスだし、ブログ初めてから8周年でもあるわけですし。 Hadoop は、大量のデータをリーズナブルに計算処理できるようにしたいという課…

sphinx拡張開発メモ ( #sphinxjp アドベントカレンダー 13.1日目)

前回の記事では私が作成した sphinx 拡張、sphinxcontrib-recentpages の紹介をしました。この記事では sphinx 拡張の開発をしたときに気づいたことなどのメモを紹介します。私は sphinx 拡張の開発は初心者ですので、間違いがあるかもしれません。間違いを…

「最近更新したページ一覧」を生成するsphinx拡張、recentpages ( #sphinxjp アドベントカレンダー 13日目)

アドベントカレンダーへの参加を大幅に遅刻しました。すいません。この記事では、私が今年作成した「最近更新したページ一覧」を生成するsphinx拡張、sphinxcontrib-recentpages を紹介します。 sphinxcontrib-recentpages とは? Sphinx プロジェクト内で作…

Python温泉メモ ( #PySpa アドベントカレンダー 10日目)

アドベントカレンダーへの参加を大幅に遅刻しました。すいません。今年の10月に初参加してきました。事前に分からず、実際に参加してわかったことなどを中心にメモとして残しておきます。 荷物 ディスプレイやキーボード、マウスなどが当たり前のように持ち…

#hadoopAC12jp Hadoop アドベントカレンダー 2012 5日目 HBase の便利ツール(1) HFile

Hadoop アドベントカレンダー 2012 空いているところ担当の shiumachi です。今日は HFile という、HBase の中でもかなりマイナーなツールを紹介します。 概要 HBase のデータは HDFS 上に保存されています。この HDFS 上のデータの基本単位は org.apache.ha…

Cloudera Impala がリリースされました

(2012/10/25 15:48 追記)Cloudera 公式ブログで Impala についての紹介記事を掲載しました。このブログ記事の完全上位互換なのでそちらの記事をご参照ください。Cloudera Impala:Apache Hadoopで実現する、真のリアルタイムクエリ | Hadoopとビッグデータソ…

大企業のマネージャもスタートアップに飛び込もうぜ

(注: ここでの話は主にB2BのIT業界の話をしています。他の業界は知りません)IT系のそこそこ有名なスタートアップの会社に勤めている人と何度か話す機会がありましたが、口を揃えて「いいマネージャがほしい」と言います。エンジニアの場合、2つの点で優秀な…

hadoop tips 集

http://togetter.com/li/338325 なんてものを始めています。なんとなくノリで始めてしまった企画で更新も不定期なのですが、ブログにまとめるほどでもないけど共有する価値のある情報はこういう形で流そうかなと思います。案外1ツイートにまとめるのは難しい…

PyFes LT 2012.08 で「使い捨て python コードの書き方」についてしゃべってきました

使い捨て python コードの書き方 from Sho Shimauchi サポートの仕事におけるプログラミングというのは通常の開発と少し異なっています。「1時間以内に数十GBのログを解析して問題を特定し対策を回答しなければいけない」などということはしょっちゅう発生し…

電車内で携帯電話を拾ったときの対処法メモ

(注: 私は拾得物の専門家(e.g. 鉄道会社社員あるいは警察官)ではないのでもしかしたら間違った対処法を書いているかもしれません。もし違っている箇所がありましたらご指摘ください)今日仕事帰りに*1電車の中で携帯電話を拾いました。一応うまく対処できた(=…

これから Hadoop を学ぶ人向け読書ガイド

なんだかんだで Hadoop 周りの本も結構増えてきましたので下にまとめました。抜けてるのもあると思うので(特に和書)、なんかお薦めありましたらコメントください。追加します。 タイプ別お薦め読書コース 短期間で全部読むのは不可能なので、とりあえず簡単…

技術系メーリングリスト上で使える英語の習得法

前回バグレポートの提出方法というテーマで記事を書きましたが、今回は英語にフォーカスして少し書いてみることにします。 英語の学習法は数多くありますが、もし英語を学ぶ目的が「IT の技術系メーリングリストに投稿し、議論する」ことが目的でしたら少し…

とりあえず親(とか自分が「サポート」する全ての関係者)のPCにはTeamViewer突っ込んでおこう

TeamViewer を知らない人に説明すると、相手のPCを遠隔操作可能になる非商用利用フリーのソフトです。Mac/Windows/Linux全対応。TeamViewer をお互いに起動した上でかつ相手のIDとパスワードを知らなければ接続できないので、普段オフにしていれば乗っ取られ…

Hadoop の MapReduce2 の JIRA がオープンしたのは2008年初頭です

http://d.hatena.ne.jp/okachimachiorz/20120408/1333851790口頭で話しておこうと思いましたが、上記の記事を読んだ方で誤解されている方が増えているようなので一応書いておきます。 (Hadoopはその意味では面白いケースだと思います。まずOSSになっている…

ハドゥープ、象ではなく猿が動かしていたと判明

独立独歩法人分散処理推進機構(DPA)は1日、分散処理ソフト「ハドゥープ」の調査報告書を公開した。報告書は、近年オープンソースの分散処理ソフトとして注目されているハドゥープの市場動向、及び内部設計について調査し、まとめたもの。その報告書の調査結…

1,000,000 hit & 5,000ブックマーク記念

下手すると今の10代とか「◯◯ヒット記念」という表現を知らないんじゃないかと思いますけど、とにかくブログのカウンターが100万を回ったので一応記念に。 このカウンター、リロードするたびに1増えるという現代では考えられない仕様なので多分実際にはもっと…

オフィス設営時に購入すべきアイテムリストのメモ

まさに誰得記事これを追加した方がいいというのがあったら教えてくださいこういうのをはてなネイバー(名前忘れた)はてなまとめみたいなキュレーションサービスでまとめればいいのかと今更思ったけど面倒なのでこのまま投稿する アイテム購入前に オフィスビ…

hadoop コミュニティ開発メモ

注: 必要があってこの記事を書いているのであって、決して万人向けに書いているわけではありません。 用意するもの(Mac) JDK6 Eclipse maven git protocolbuffer (protoc) 多分最低この5つのツールがあればなんとかなる。pb が必要なのは、pb がないと 0.23 …

Sphinx で 日本語 pdf を出力する(Mac OS X Lion)

なぜ Tex 経由か? rst2pdf ではダメなのか? rst2pdf は現在日本語出力がうまくできませんでした。 私の環境設定の問題かもしれませんが、デバッグするよりもう一つの環境を作った方がいいと判断して Tex 経由で作ることにしました。 用意するもの 都合 10 GB…

2011年まとめ

4月に転職してからというもの、1ヶ月もアメリカで生活したり、在宅勤務でひたすら引きこもって仕事したりと、普通の人とは随分かけ離れた生活をするようになりました。 hadoop 及びエコシステムと英語のスキルは異様に伸びましたが、本来要求される水準を考…

hadoopのバージョン表記について

(2012/01/10 追記)Cloudera 社から hadoop 1.0 に関する公式ブログ記事が公開されました。そちらの方がより分かりやすく正確に書いています。まずはそちらをご覧ください。 先日 hadoop-1.0 がリリースされたことが巷で話題になっています。 話題になること…

英語によるhadoop系メーリングリストへのバグレポート提出ガイド

hadoop アドベントカレンダー 2011、1日目及びその他空いているところ全部を担当する @shiumachi です。27日は誰もいないようなのでこれを27日とします。id:showyou さんの担当でした。28日目とします。showyou さんすいません 基本 テンプレ的に書くとこん…

eclipse のエンコーディングを SJIS にしてると hadoop のコンパイルが通らない

eclipse のエンコーディングを SJIS にしていると、/hadoop-common/src/test/java/org/apache/hadoop/fs/TestGlobPattern.java:67 の以下の行が文字化けしてコンパイルが通らなくなります。 assertMatch(false, "{[12]*,[45]*,[78]*}", "3", "6", "9ß"); 最…

emacs の rest-mode のバインディング

id:ymotongpooのreST記事は素晴らしいのですが、現在の rst.el のバインディングは記事を書いたときよりも大分変わっているようなのでまとめておきます。ヘルプのバインディング一覧から引っ張ってきただけでろくにチェックしてません(一応一通り動作確認は…

hadoop アドベントカレンダー 2011 12日目 MapReduce ワークロードのパターン

hadoop アドベントカレンダー 2011、1日目及びその他空いているところ全部を担当する @shiumachi です。 今日は MapReduce のワークロードのパターンについて紹介します。 Hadoop で分散処理できる、とは言いますけど、なんだかんだで性能がいまいち出なくて…

hadoop アドベントカレンダー 2011 9日目 まずはここで検索しよう

hadoop アドベントカレンダー 2011、1日目及びその他空いているところ全部を担当する @shiumachi です。 今日は ML などで質問する前に検索すべきサイトを紹介します。 search-hadoop.com http://search-hadoop.com/ML, javadoc, ソースコードの横断検索がで…

hadoop アドベントカレンダー 2011 8日目 fair scheduler のイベントログ

hadoop アドベントカレンダー 2011、1日目及びその他空いているところ全部を担当する @shiumachi です。 今日は fair scheduler のイベントログを有効にする方法を紹介します。注: CDH3u2 ベースですfair scheduler にはイベントログを出力する機能がありま…

hadoop アドベントカレンダー 2011 1日目 CDH hadoop/hive/hbase を eclipse プロジェクトとしてインポートする

hadoop アドベントカレンダー 2011、1日目及びその他空いているところ全部を担当する @shiumachi です。最初はサポートの話を書こうと思ったのですが、せっかくのアドベントカレンダーの初日なので少しだけ技術的なことを書くことにします。 あと最初に断っ…

ロードマップよりポートフォリオ

最近、こんなことを聞かれました。 「shiumachi 君、人生のロードマップとかそういうの持ってないの?」 「ありません」 と即答すると、「夢がないねぇ」と不思議そうな顔をされましたが、ないものはしょうがありません。小学生だか中学生の頃に、「人生の計…

アメリカのIT企業で働くために行った英語の勉強法など

こちらの記事を読んで、自分も書きたくなったので書いてみました。 といっても私は別に仕事で普通に日本語も使うし、半年ちょっとしか働いてないのでえらそうなことは何も言えませんが。 あくまで自分のメモ用。 入社前のスペック 小さい頃USに4年間住んでた…

第1回Hadoopアンカンファレンス感想

ずっと感想書こうと思ってたのですが、あまりに忙しすぎて書く暇もなく放置してたので、メモ程度でもいいので書き残しておくことにします。 5月にSFで参加した HUG Meetup に感動し、ノリで始めたアンカンファレンスですが、台風吹き荒れる中50名近くの方に…

HBase のメジャーコンパクション実行時間

なんでCompleted major compactionってlogがたくさん出てるのさー defaultはdailyじゃないんかーい #hbase2011-08-30 20:18:15 via Silver Bird @hamburger_kid なんか3時間くらいおきにトリガーは動いちゃうみたいですね。その時点で前回のメジャーコンパク…

アンカンファレンス企画メモ

第一回hadoopアンカンファレンスを実施したのでそのメモ。 イベントの内容ではなく、どうやって企画・運営したかのメモ。 完全に自分用。 概要 アンカンファレンスについて http://ja.wikipedia.org/wiki/BarCamp http://en.wikipedia.org/wiki/Unconference…