2010/12/21

ノードDISK溢れ対策

Gfarmは,ファイルシステムノードで,書き込みをした場合に,そのノードにファイルを配置します.しかし,version 2.3.2では,minimum_free_disk_spaceの設定(gfmd.confに設定する)の動作が完全とは言えないので,DISKが少なくなってきたノードをreadonlyに設定する必要があります.また,gfmdで一括管理されてしまうので,個別ノードで空き容量がいくつ以下になったら,書き込まない.という設定ができません.

これを回避する一番簡単な方法は,dfで監視しつつ,空き容量が減ってきたら,readonlyに設定するという方法です.dfとって,.readonlyをtouchしたりrmするだけなので,頻繁にやっても問題ないと思います.

スクリプトの例:
(SPOOL_DIRECTORYは書きなおしてください)
#!/bin/sh

PATH=/usr/bin:/bin
LANG=C
export PATH LANG

ROfile="SPOOL_DIRECTORY/.readonly"
DisPnt=100000000
EnbPnt=150000000

# ---------------------------------------------------- #

NowAvail=`df -k -P /data | grep lvol0 | awk '{print $4}'`

if [ $NowAvail -lt $DisPnt ]; then
    test -f $ROfile        || touch $ROfile
fi

if [ $NowAvail -gt $EnbPnt ]; then
    test -f $ROfile        && rm $ROfile
fi

# ---------------------------------------------------- #
exit 0

2010/12/14

SGEスクリプトの exit 99

昔はまったのが、SGE (Sun Grid Engine)用の実行スクリプトで、exit 99で終了している場合、永久にスクリプトが終わらないという罠にはまった。

http://docs.sun.com/app/docs/doc/817-7680/chp11-1?l=ja&a=view

99でスクリプトを終了すると、自動的に再キューイングされるのです。
この場合、jobidは変わらないため、qstatで見ているだけではいつまでも終わらない。という状況になります。標準出力&エラー出力のファイルも引き続き利用されて、追記されます。
 # 一応、statusが、Rq, Rrと大文字のRが付与されるので再キューイングされたのは分かるのですが

2010/12/02

Gfarmのログ

Gfarmのログは,デフォルトではloca0に出力されます.
このログには,gfmd, gfsd, gfarm2fsのログが出力されるのですが,特に認証(接続)が発生すると大量のログが出力されます.
gfarm2fsで使っている分には頻繁な接続は発生しないのでさほどログは出力されませんが,gfコマンドを使うと,都度ログが出てくるのでログのサイズに注意が必要です.
必要に応じて,rotateすると良いです.

全球DEM

ASTERってのは,15m分解能の近赤外(センサの中では,可視近赤外(VNIR)と分類されるうちのバンド3)の直下視と後方視を使って,標高データ(DEM; Digital Elevation Model)を作ることが出来ます.2000年からこれまで観測されたデータをつなぎあわせてDEMをモザイクにしたのが,ASTER GDEMです.分解能は1秒角(赤道で,約30m).
これに対して,よく利用されているSRTM (Shuttle Radar Topography Mission)は,ほぼ全球を3秒角(赤道で,約90m)でカバーしています.アメリカは,SRTM1(1秒角分解能)が提供されています.ちなみに,SRTMは毛利衛宇宙飛行士が搭乗したフライト(STS-47)です.

参考:
 とりあえず.紹介だけ.もう少し書く予定.

三つ葉

いただき物の三つ葉を育て始めました.こんなにちっちゃい入れ物で大丈夫なのかな?