2010/11/30

MyProxyをcvsからbuildするfor Mac

GTは入っている前提で,MyProxycvsから持ってきてbuildする手順です.

cvsから持ってきたMyProxyをbuildする場合,configureがないので,bootstrapを擦る必要があります.が,そのままではautotoolsの関係で動かないようなので,まずは,autotoolsを入れる必要があります.

autotoolsを入れる
$ cvs -d :pserver:anonymous@cvs.globus.org:/home/globdev/CVS/globus-packages co autotools
$ cd autotools
$ ./install-autotools $GLOBUS_LOCATION
$ cd ../

これで,bootstrapが出来るようになる.
$ ./bootstrap

configureには,Globus Toolkitのflavor設定が必要.
$ ./configure --with-flavor=gcc32

あとは,make, make installでOK.
$ make
$ make install

configureで,prefixが指定できるようにも見えますが,指定しても,make installで入る先は,$GLOBUS_LOCATIONになってしまうようです・・・.

Macでパスワード付きzipを解凍

 Macで,zipファイルを解凍するとき,パスワードが掛かっているとデフォルトの「アーカイブユーティリティ」では解凍できません.で,そんな時は,unzipコマンドを使えばできるのでやっていたのですが,中身が日本語だと化ける.
それを解決してくれたのが,The Unarchiver です.
パスワード入力もできるし,解凍する時に文字エンコーディングも指定(自動判定機能付きのようだ)できます.助かる.早速,zipのデフォルトアプリケーションを変更した.

参考にさせていただきました:
http://www.atelierkinoco.com/reo/2009/04/maczip.html

2010/11/18

WorldWide Telescope

MicrosoftのWorldWide Telescopeのデモを見せてもらいました.
見せてもらった後に気づいたけど,2年前にも見ていた.Google EarthやNASA WorldWindと同じ流れなわけですが,宇宙(ボイド構造)から地球の地下までスムーズに繋がる辺りがきれいに出来ていて使ってみたくなりました.
 # 2年前に見たときは,かっこいいとは思ったけど使いたいとは特に思わなかった...

ちなみに,宇宙のところは,SDSSでもとまっている距離をそのまま使っているリアルな構造を表現していて,かつ,各点にズームするとちゃんと観測画像が出てくる.

もう一つ良かったのは,地下構造の表現.
地震の震源が地表面から透けて見えるようになっていて,こうやって見せると良いのかと感心した.

2010/11/15

デフォルトアプリケーションの変更

Macで拡張子によって開くアプリケーションが設定されますが,後から変更する場合は,変更したいファイルの情報をみる(Command - I)を開いて,
「このアプリケーションで開く」
というところで,アプリケーションを指定することで変更できます.
さらに,その拡張子全体に適用したい場合には,その下の
「類似したすべての書類を開くときにこのアプリケーションを使用します.」
「すべてを変更」ボタンをクリックすると出来ます.
【類似したすべての書類」が拡張子なのか分からないところですが...

2010/11/09

エリス (Eris)

Eris Gets Dwarfed (Is Pluto Bigger?)より

Erisがdwarf planet(準惑星)であることには変わりがないが,冥王星よりも「大きい」惑星状天体をどう扱うか?という議論の発端とも言えるErisが,やっぱり冥王星よりも小さそうであるという発表.
正確には,掩蔽観測によって,Erisの半径が,1,170 km「以下」であるという結果が得られているだけである.冥王星の半径を「1,172 (±10) km」としている(この記事では)ので,Erisの方が小さいと結論づけるのはまだ早そう.
少なくとも,冥王星よりもErisの方が大きいという優位な証拠は無くなったと言えるでしょう.おんなじ位.と考えるのが妥当な気がする.

参考:

2010/11/07

Gfarmレプリカの移動

Gfarm v2 (v1とはオプション違ったかも)で,レプリカを移動する方法.

gfrep -m -h slist -H dlist target_dir

slistに含まれるホストのレプリカをdlistにあるホストに「移動」する.このやり方では,敢えて -N <#> オプションを指定せず,一つのレプリカを対象としています.考え方としては,
  • レプリカを退避したいノードをslistに記載
  • slist以外のノードをdlistに記載
  • かつ,レプリカを書き込まれたくないノードは,readonlyに設定
readonlyに設定するのが面倒だったら,dlistに含めなければOKです.readonlyになっていれば,dlistで指定されたとしてもレプリカは書き込まれません.

たとえば,負荷集中が起こっているノードをdlistに書いて,それ以外をslistへ.加えて,残量100GBを切っているノードをreadonlyに設定.とかするとぼちぼち動きます.

ちなみに,Gfarmファイルシステム上のファイルをシェルの補完機能で追跡することは出来ません.なので,gfarm2fsを用いてマウントしたディレクトリに移動してからgfrep等のGfarmコマンドを操作すると,ファイル名補完ができるので便利です.
ただし,Gfarm v2では,$GFS_PWDが無くなってしまったので,トップディレクトリから移動せずに操作する必要があります.ちょっと使いにくい.

gfmdのメモリサイズ

Gfarmを構成するメタサーバについては,メモリ量を予め予測してサーバを用意しておく必要があります.

2010/11/07現在,2500万ファイルで,8.5GBのメモリが利用されています.単純な割り算ではレプリカの数とか,パス名の長さによって変わってくるので定かではありませんが,ファイル辺り,365Bのメモリを使用しているようです.
メタサーバメモリ = 想定されるファイル数 × 400B
と思っておけば良いでしょうか.余裕を見て1KBとすると,100万ファイルで1GBのメモリが必要という計算.

さらに,gfmdはメモリ上にしかメタ情報を持たないため,DISKに書き込むためにPostgreSQLサーバも用意する必要があります.Gfarmのインストールスクリプトでは1GBに設定されているようですが,多いにこしたことは無いでしょう.
gfmdとPostgreSQLは単一サーバでも良いですし,2台に分けても大丈夫です.

2010/11/09追記
そんなに使わないはず.という指摘を頂いたので,再計算.
8.7GB / 25,471,942 files = 366.7B
あほだ.KBじゃない.Bだ.
また,ほとんどレプリカをまだ作成していない状態です.

Gfarmで特定のノードを書き込み不可にする

Gfarmを使っていると,特定のノードのDISKが溢れそうになったり,RAID再構築中は書き込みを避けたいとか思ったりします.このような場合は,
${gfarm_sppol_dir}/.readonly
というファイルを作成すれば,仮想的にそのノードのDISKの残容量が0になり,書き込みスケジュールの対象から外れます.gfdfの出力も,
28118482944 28118482944           0   100%   xxxx
のように利用率が100%もしくは,100%以上?!になります.
v1安定化開発の時に思いつきで入れてもらった機能でしたが,v2の今でも健在です.

RELNOTES:
  - support read-only mode experimentally, which is enabled by
    creating ".readonly" file in the top spool directory by
    administrators.

ということなのですが,どの辺がexperimentallyなのかはよく分かりません.
少なくとも,v1当時はgfrepでdistinationを明示するとこのreadonlyを無視してしまっていたのですが,v2ではこの問題は無くなっています.

蛇足ですが、readonlyにしたとしても、レプリカの削除は出来ます。なので、readonlyにしておいて、他のノードにレプリカを gfrep -m で移動する等が可能です。これをうまく使って空き容量の平滑化をしたり、アクセス集中を避けたりするのでしょう。

2010/11/06

Comet Hartley 2 Flyby

by APOD
ハートリー(ハートレイ)彗星接近時の画像.かっちょえ〜〜〜.


ラッコらしいけど.

ハリー彗星

ウィキペディアより

ハレーという呼び名が一般的となってしまっているが,カタカナで書くなら「ハリー」の方が近い.

こういうのって,変えていくの大変なんでしょうね.
日本人にとって発音可能な範囲で,呼び方は正しいものに近付けたほうが良いと思う.

2010/11/05

ローカルI/Oの罠

Gfarmの最大の特徴は、ローカルにデータがある場合に台数に応じたファイルI/O性能をスケーラブルにすることにある。
一方で、特定のファイルシステムノードでファイルを書き出した場合、基本的に常にローカルノードが選択されてしまい、ファイル実体がそのノードに集中してしまうという問題がある。これによって、例えばある観測日のデータが特定のノードに集中していてそれを並列処理しようとすると、readアクセスがそのノードに集中するため、そのノードのロードアベレージが軽く10とかいってしまう。
これを明示的に回避するためには、ファイルシステムノードでは無いノードからデータを書き出すようにするか、ローカルディスクを優先しないという設定を入れる必要がある。

Gafrm v1の場合、
export GFARM_WRITE_LOCAL_PRIORITY=disable
とすると出来る。v2はまだ分からない。

アクセスが集中すると,こうなる.

2010/11/02

晴天

今日は久しぶりに天気が良いです.
職場から見た筑波山.

2010/11/01

Ghost

APODより.
個人的には,30日のケフェウス座の方がそれっぽいと思う.

10/30  Ghost of the Cepheus Flare

10/31 Halloween and the Ghost Head Nebula