2013-01-01から1年間の記事一覧

HTraceによるHBaseのトレーシング

(この記事は、Hadoop Advent Calendar 2013の10日目の記事です) 並列分散処理の解析 HadoopやHBaseのような並列分散環境では、処理が多数のノードをまたがって実行されるために、トレーシングや性能のプロファイリングが難しくなります。各ノードで動作する…

Stormのソースコードを読むためのメモ

環境 GNU Global GNU GLOBALはソースコードタギングツール。Emacs/Vimと組み合わせて使う。対応しているプログラミング言語はC, C++, Yacc, Java, PHP4 and assemblyだけだが、タグテーブル作成にctagsを利用するモードを使うとかなりの言語をカバーできる。…

RabbitMQ tutorialsのErlangクライアントのサンプルコードを1行ずつ実行する

https://github.com/rabbitmq/rabbitmq-tutorials/tree/master/erlangにあるやり方で、Erlangクライアントのサンプルはすぐ動かせる。 $ git clone https://github.com/rabbitmq/rabbitmq-tutorials $ cd rabbitmq-tutorials/erlang $ wget http://www.rabbi…

RabbitMQの挙動の調べかた

Erlangのお勉強も兼ねて。まず、Erlangをインストールする。 $ sudo apt-get install erlangソースコードを読むとき用の仕込みとして、.emascに以下のような記述を追加する。 (setq load-path (cons "/usr/lib/erlang/lib/tools-2.6.7/emacs " load-path)) (…

PuppetのSSL関連のエラーについて

puppetをmaster/agent構成で利用していると、agentからmasterへの通信でSSLが使われるため、証明書関連のエラーではまりがち。証明書はmasterやegentを起動した際に自動的に作ってくれるし、master側がCAとして署名してくれるので設定自体の手間はないが、そ…

ClojureのREPLで動きを解析

バイナリでznodeに格納されているデータを読み出してみた場合の例。 $ cd storm $ lein repl user=> (use '(backtype.storm config)) nil user=> (use '(backtype.storm zookeeper)) nil user=> (import '(backtype.storm.utils Utils)) backtype.storm.util…