楽天テクノロジーカンファレンス2017でApache Kuduについて発表してきた

楽天テクノロジーカンファレンスに登壇するという貴重な機会をいただいたので、Apache Kuduについて発表してきました。 Apache Kudu - Updatable Analytical Storage #rakutentech from Cloudera Japan 主催していただいた楽天様、ご聴講いただいた皆様、あ…

ブラウザ上で簡単にビッグデータを扱えるOSS: Hue についての簡単な紹介

ドワンゴさんの主催でHue Meetupが開催されることになったので、いい機会だから Hue について、自分の復習がてらまとめておきます。 Hue って何? Hadoopエコシステムを操作するためのWebインタフェースです。 Hadoopエコシステムの多くは、管理Web UIは持っ…

進捗ヤバいプロジェクトに直面した経験がある人なら(多分)楽しめるカードゲーム「Not My Fault!」

エンジニアがプロジェクトがオンスケであると嘘をつき続けるゲームは盛り上がった pic.twitter.com/aWkKIPtAAS— Yoshifumi Yamaguchi (@ymotongpoo) 2017年7月30日 @ryushi さんの主催で仲間内で集まってボードゲーム・カードゲームで盛り上がったのですが、…

「Hadoopの時代は終わった」の意味を正しく理解する

Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったと…

「プログラミングを独習するには10年かかる」を読んでから10年以上経った

ある方から「どうすればコードが書けるようになるんですか?」という質問を受けました。 その場で自分の考えを伝えたものの、そもそもソフトウェアエンジニアでもない自分がそんな質問をされる立場になると思ってもいなかったので、人生どうなるか分からない…

誰でもできる、プレゼンが劇的にうまくなる基本テクニック

私も「テクニカルエバンジェリスト」などという大層な肩書を会社からいただいており、講演や連載記事などの執筆を行っていますが、私のプレゼン技術は数年前にMSの西脇さんのプレゼンセミナーに参加させていただいて学んだものがほとんどで、正直言うとこの…

HoloLens所感: 33万円で買える未来

HoloLensを購入しました。$3000(当時の日本円で33万円)と、決して安くはない買い物でしたが、届いてから丸一日経った時点での感想としては、購入の判断は正しかったということでした。左右の物体は、サイズ比較のために置いたパワーブロックです。元々VRデバ…

2016年アドベントカレンダーのはてブ数の分析

sucroseさんのアドベントカレンダーのはてブ数ランキングを見て、自分もちょっとやってみようと思い、年末年始で作ってみました。 ただ同じことするのは芸がないので、 Tableau Publicを使ってインタラクティブに操作できるようにしました。Tableau の Viz …

暴漢に襲われた

こんにちは、マンションを一目見てから10分で購入したけどISPへの支払いが出来てなくて現在インターネットが止められているPyspa界の普通の人 shiumachi です。 この記事は pyspa Advent Calendar 2016 の19日目の記事です。昨日は @tokoroten のエントリ で…

新Google翻訳を使って3700ワードの技術文書を1時間で翻訳した

新しいGoogle翻訳がニューラルネットワークに基づく機械翻訳に移行して品質が向上した、というので早速使ってみました。翻訳対象はHadoopのFair Schedulerに関するドキュメントです。Fair Schedulerは、Capacity Schedulerと並ぶHadoopの2つのスケジューラの…

セールスエンジニアという仕事

現在の自分の肩書である「セールスエンジニア」という仕事がどのようなものか知らない方も多く、毎回説明するのが大変なのでブログ記事にしました。セールスエンジニアという仕事はなかなか馴染みがありませんが、20代後半から30代のITエンジニアのキャリア…

リスクヘッジと給料と英語

この記事の要約 英語が話せるようになれば、日本の人材市場ではなくグローバルの人材市場で自分の価値を判断されるようになる ITエンジニアにとって日本語のみの仕事はグローバルに比べて給料・待遇ともに劣っていて、各種経済予測からこれが改善されること…

voluntas-bot の歴史を振り返る

voluntas-bot とは? voluntas-bot (以下bot) とは、 @moriyoshit が開発した pyspa チャットのための bot ツールである。普通のchatbot同様、コマンド入力に応じた動作を行うことができるのが、sayingコマンド(通称「語録」)という非常にユニークな操作がで…

転職してから4年が経ちました

といっても4月1日の話なのでもう一ヶ月以上も前になるのですが、色々と忙しくて後回しにしてました。 ブログで転職報告してから4年の間、どういう仕事をしてきたのか書いてないことに気づいたので、せっかくなのでちょっとまとめてみようと思います。 1年目(…

アメリカとイギリスのドローン規制

首相官邸へのドローン襲撃事件をきっかけに、日本でもドローンに対する規制の議論が盛り上がってきました。 意外と規制反対している人が多くて驚きましたが、実際に海外だとどんな規制があるのだろうと思って調べてみました。(注意: 私は法律の専門家でもド…

ニューヨークの #ingress ポータル紹介

先日ちょっと出張でニューヨーク行ってきたのでingressをプレイしてきました。 たくさんポータルキーを取得したのですが、帰国後は特に使い道もなかったので泣く泣く処分。 ただ捨てるのももったいないので、記録として残すことにします。 また、NYCでプレイ…

Ingress iOS版で開始して一週間でレベル8になるまで

スバル男爵(本人の意思により仮名)からしきりに薦められていた Ingress ですが、待望の iOS 版が登場したので早速プレイしました。 陣営はレジスタンス(青)です。 第 -1 日(事前準備) 以下のページを一通り読んで、基本知識を頭に入れておいた。 http://ingr…

Hadoop Conference Japan 2014 #hcj2014 でImpalaがPrestoより19倍速いという話をしてきた

Evolution of Impala #hcj2014 from Cloudera Japan タイトルとスライドの通りです。Hadoop Conference Japan を運営された皆様、本当にお疲れさまでした。 また、私のセッションに参加して話を聞いていただいた皆様、ありがとうございました。朝のキーノー…

異能力者が抱える承認欲求: 不戦無敵の影殺師2巻

(「不戦無敵の影殺師」 1-2巻のネタバレ注意!!)echizen_tm 氏の紹介記事を読んだのをきっかけに購入した「不戦無敵の影殺師(ヴァージンナイフ)」ですが、すっかりファンになってしまい、先日発売した2巻を読んでからは、久々に感想記事をブログで書こうと…

Clouderaで作るデータ分析環境

wyukawaさんがデータ分析環境について書いていましたが、全部 CDH を使えば実現可能なので便乗して書いておこうと思います。 1. ETL 処理 CDH なら以下のツールがあります。 Sqoop RDBMS / DWH などに対するインポート・エクスポートツール。最近日本語の本…

プログラマ向けMacの不要なファイルを削除するためのコマンド

git や homebrew などに言及しているので「プログラマ向け」と書いてますが、別にプログラマじゃなくても人によっては有用と思います。 現在のドライブ使用量の確認 コマンドじゃないけど、グラフィカルに全体の使用量とその内訳をみたい場合はGrandPerspect…

個人情報を巡る政府と企業の関係

前回の記事で紹介した、The Economistの政府対企業の特集の記事の1つに、個人情報関連の記事があったのでこれも要約してみました。 個人情報関係の情報を追いかけている人にとっては目新しい内容ではないですが、「政府と企業」という特集の中でわざわざ一つ…

The Economist で企業対政府についての特集

The Economist の2月20日号で、企業対政府についての特集がありました。以下、ざっと要約してみました。自分なりの解釈も入ってるので、原文にない情報が含まれている可能性があります。正しく引用したい場合は原文を参照してください。 企業と政府の関係は…

Confluenceの稟議書機能を使う

Confluenceには稟議書というブループリントがあります。 何らかの意思決定をしなければいけないときに、議論をするためのページを作るためのテンプレートですが、地味に便利です。意思決定に必要な情報が多い場合、チャットだけではそうした情報を正しく把握…

2013年面白かった本

今年面白かった本をあげてみました。 専門書は省いています。 あとここに紹介してない本でも面白い本はたくさんあったのですが、さすがに全部は書ききれないので一部にとどめます。 果て無き渇望 本当にいい本でした。私が果て無き渇望アドベントカレンダー…

声に出して読みたい「果て無き渇望」名文10選

果て無き渇望アドベントカレンダー、15日目担当の shiumachi です。 本書の概要についてはymotongpooの素晴らしい記事があるのでそちらに譲ります。 ここでは、私が個人的に気に入っているフレーズをピックアップして紹介します。 トレーニング前に読むと元…

HBase 0.96 で導入される新しいコンパクション「Exploring Compaction」

Hadoopアドベントカレンダー2013、3日目を担当する @shiumachi です。 今回は HBase 0.96 の新機能を一つ紹介します。 要約 HBase 0.96 は賢くなったのでみんな使おう。 コンパクションのおさらい HBase では、Log Structured-Merge tree (LSM-tree) という…

2013年夏のプログラミング・シンポジウム ビューティフルデータ(3) 午後2 #spro2013

関連リンク 午前のセッション 午後1のセッション togetterまとめ (講演者の方は敬称略) 並列データ処理基盤を用いた並行バグ並列検査方式の検討 荒堀喜貴(東京工業大学) 目的: 並行バグ検査の高速化(並列化) 背景 前提とするプログラム実行モデル 複数スレッ…

2013年夏のプログラミング・シンポジウム ビューティフルデータ(2) 午後1 #spro2013

長いので複数記事に分けました。 [招待講演] 製鉄所における大量品質管理データの解析事例と課題 茂森弘靖(JFEスチール) 15年ぐらい製鉄所の新しい設備を作ってた 5年前に研究所に移ってデータ解析しはじめた JFEスチール 東日本製鉄所 西日本製鉄所 福山・…

2013年夏のプログラミング・シンポジウム ビューティフルデータ(1) 午前 #spro2013

イベントページ: http://atnd.org/event/spro2013 日時: 2013/08/25 場所: ドリコム (講演者の方の氏名は敬称略) [招待講演] パーソナルデータ保護法制に向けた最近の動向 高木浩光(産業技術総合研究所) ここ2年ほどで急にきわどい事例が出始めた (なんかた…