git や homebrew などに言及しているので「プログラマ向け」と書いてますが、別にプログラマじゃなくても人によっては有用と思います。 現在のドライブ使用量の確認 コマンドじゃないけど、グラフィカルに全体の使用量とその内訳をみたい場合はGrandPerspect…

前回の記事で紹介した、The Economistの政府対企業の特集の記事の1つに、個人情報関連の記事があったのでこれも要約してみました。 個人情報関係の情報を追いかけている人にとっては目新しい内容ではないですが、「政府と企業」という特集の中でわざわざ一つ…

The Economist の2月20日号で、企業対政府についての特集がありました。以下、ざっと要約してみました。自分なりの解釈も入ってるので、原文にない情報が含まれている可能性があります。正しく引用したい場合は原文を参照してください。 企業と政府の関係は…

Confluenceには稟議書というブループリントがあります。 何らかの意思決定をしなければいけないときに、議論をするためのページを作るためのテンプレートですが、地味に便利です。意思決定に必要な情報が多い場合、チャットだけではそうした情報を正しく把握…

今年面白かった本をあげてみました。 専門書は省いています。 あとここに紹介してない本でも面白い本はたくさんあったのですが、さすがに全部は書ききれないので一部にとどめます。 果て無き渇望 本当にいい本でした。私が果て無き渇望アドベントカレンダー…

果て無き渇望アドベントカレンダー、15日目担当の shiumachi です。 本書の概要についてはymotongpooの素晴らしい記事があるのでそちらに譲ります。 ここでは、私が個人的に気に入っているフレーズをピックアップして紹介します。 トレーニング前に読むと元…

Hadoopアドベントカレンダー2013、3日目を担当する @shiumachi です。 今回は HBase 0.96 の新機能を一つ紹介します。 要約 HBase 0.96 は賢くなったのでみんな使おう。 コンパクションのおさらい HBase では、Log Structured-Merge tree (LSM-tree) という…

関連リンク 午前のセッション 午後1のセッション togetterまとめ (講演者の方は敬称略) 並列データ処理基盤を用いた並行バグ並列検査方式の検討 荒堀喜貴(東京工業大学) 目的: 並行バグ検査の高速化(並列化) 背景 前提とするプログラム実行モデル 複数スレッ…

長いので複数記事に分けました。 [招待講演] 製鉄所における大量品質管理データの解析事例と課題 茂森弘靖(JFEスチール) 15年ぐらい製鉄所の新しい設備を作ってた 5年前に研究所に移ってデータ解析しはじめた JFEスチール 東日本製鉄所 西日本製鉄所 福山・…

イベントページ: http://atnd.org/event/spro2013 日時: 2013/08/25 場所: ドリコム (講演者の方の氏名は敬称略) [招待講演] パーソナルデータ保護法制に向けた最近の動向 高木浩光(産業技術総合研究所) ここ2年ほどで急にきわどい事例が出始めた (なんかた…

HBaseコミッター達による、NoSQLの記事への反論が面白かったので翻訳してみました。著者の許諾取得済み。Thanks Stack and the other authors! 本文 原題: Taking the Bait Information Weekは先日、「HBase はNoSQL を支配するのか?」という記事を掲載した…

最近流行りのディスク容量があふれたときの挙動、Hadoop編を書こうと思ったらwyukawaさんが既に書いてくださったのでやめました。 ……と思ったのですが、せっかくなので id:wyukawa さんが書いてない箇所を補足してみようと思います。( この記事は @kernel023…

西尾さんの記事を試したかったので、必要なパッケージをインストールしました。 手順 gfortran を入れる→ pip install で必要なものを突っ込む、の順。 コンパイルする必要があるので XCode 必須。まずは gfortran をインストール。 $ brew install gfortran…

勝ち続ける意志力 (小学館101新書)作者: 梅原大吾出版社/メーカー: 小学館発売日: 2012/04/02メディア: 新書購入: 24人 クリック: 449回この商品を含むブログ (69件) を見る プロゲーマー、梅原大吾の本。 ゲームに限らず、一つの道に真摯に向き合うための心…

この記事では、Fabricの主要メソッドである run() と sudo() について解説します。サンプルコードは https://github.com/shiumachi/fabric-sample にあります。 run() と sudo() の基本 読みやすくするため、以後は必要がない限り run() メソッドのみを取り…

Fabricは便利ですが、コマンドが多くなると管理が大変になり、いちいちコピペするのが面倒になります。zsh を使えば、Fabric のタブ補完をすることが可能です。 ここでは、oh-my-zsh を使ったタブ補完の設定方法を紹介します。 oh-my-zsh のインストール id:…

Fabric は、Python 製のデプロイ・システム管理ツールです。最近、構築や運用を自動化するための様々なツールが出てきています。 構成管理ツールの Puppet や Chef が有名ですが、使うまでに覚えることが多いのが欠点です。 しかし、Fabric は非常にシンプル…

Webサービス系の隆盛があったのかどうかはよく知らないが、Hadoopのリリースが騒がれたのが7年前ぐらいだろうか。Hadoop業界の人材動向が、今どうなってるかって？大方の予想より凄惨ですよ。それが分かる方法がある。Hadoop技術者に技術力を問う8つの質問に…

午前: Riak ハンズオン Riak ハンズオンに参加したと思っていたらいつの間にか Riak ハンズオンを手伝う側に回っていたでござる教訓 インターネットがまともに使えない、かつ全員がMac という特殊な環境だと AirDrop を使って必要なファイルをばらまくという…

駅を降り、夜道を歩いて帰る途中、ふと思いつき「今目に映るもののうち、最も無価値なものはなんだろう」と考えてみました。 こんな視点で周囲を見渡すと、普段は全く価値を感じない様々なものが、意外にも価値があることに気づきます。 マンホールや排水口…

@cocoatomo に手伝ってもらいながら、hadoop プロジェクトのコードの行数をカウントしました。 サブプロジェクト 行数 common 198,303 hdfs 234,070 mapreduce 221,630 yarn 158,067 hadoop-tools 59,713 maven-plugins 522 合計 872,305 というわけで合計87…

あけましておめでとうございます。 一昨年は大晦日の夜は一人で過ごしながら hadoop のパッチを書いていましたが、昨年末は大晦日はおろか新年の元旦含めて年末年始ぶっ通しで仕事に追われてました。 そんなわけでコミケもネットで眺めてひっそり楽しむ程度…

最近はなるべく技術的な話しか書かないようにしていたのですが、たまには個人的な思考を書いてみることにします。 クリスマスだし、ブログ初めてから8周年でもあるわけですし。 Hadoop は、大量のデータをリーズナブルに計算処理できるようにしたいという課…

前回の記事では私が作成した sphinx 拡張、sphinxcontrib-recentpages の紹介をしました。この記事では sphinx 拡張の開発をしたときに気づいたことなどのメモを紹介します。私は sphinx 拡張の開発は初心者ですので、間違いがあるかもしれません。間違いを…

アドベントカレンダーへの参加を大幅に遅刻しました。すいません。この記事では、私が今年作成した「最近更新したページ一覧」を生成するsphinx拡張、sphinxcontrib-recentpages を紹介します。 sphinxcontrib-recentpages とは？ Sphinx プロジェクト内で作…

アドベントカレンダーへの参加を大幅に遅刻しました。すいません。今年の10月に初参加してきました。事前に分からず、実際に参加してわかったことなどを中心にメモとして残しておきます。 荷物 ディスプレイやキーボード、マウスなどが当たり前のように持ち…

Hadoop アドベントカレンダー 2012 空いているところ担当の shiumachi です。今日は HFile という、HBase の中でもかなりマイナーなツールを紹介します。 概要 HBase のデータは HDFS 上に保存されています。この HDFS 上のデータの基本単位は org.apache.ha…

(2012/10/25 15:48 追記)Cloudera 公式ブログで Impala についての紹介記事を掲載しました。このブログ記事の完全上位互換なのでそちらの記事をご参照ください。Cloudera Impala：Apache Hadoopで実現する、真のリアルタイムクエリ | Hadoopとビッグデータソ…

(注: ここでの話は主にB2BのIT業界の話をしています。他の業界は知りません)IT系のそこそこ有名なスタートアップの会社に勤めている人と何度か話す機会がありましたが、口を揃えて「いいマネージャがほしい」と言います。エンジニアの場合、2つの点で優秀な…

http://togetter.com/li/338325 なんてものを始めています。なんとなくノリで始めてしまった企画で更新も不定期なのですが、ブログにまとめるほどでもないけど共有する価値のある情報はこういう形で流そうかなと思います。案外1ツイートにまとめるのは難しい…