by APOD
ハートリー(ハートレイ)彗星接近時の画像.かっちょえ〜〜〜.
ラッコらしいけど.
2010/11/06
2010/11/05
ローカルI/Oの罠
Gfarmの最大の特徴は、ローカルにデータがある場合に台数に応じたファイルI/O性能をスケーラブルにすることにある。
一方で、特定のファイルシステムノードでファイルを書き出した場合、基本的に常にローカルノードが選択されてしまい、ファイル実体がそのノードに集中してしまうという問題がある。これによって、例えばある観測日のデータが特定のノードに集中していてそれを並列処理しようとすると、readアクセスがそのノードに集中するため、そのノードのロードアベレージが軽く10とかいってしまう。
これを明示的に回避するためには、ファイルシステムノードでは無いノードからデータを書き出すようにするか、ローカルディスクを優先しないという設定を入れる必要がある。
Gafrm v1の場合、
アクセスが集中すると,こうなる.
一方で、特定のファイルシステムノードでファイルを書き出した場合、基本的に常にローカルノードが選択されてしまい、ファイル実体がそのノードに集中してしまうという問題がある。これによって、例えばある観測日のデータが特定のノードに集中していてそれを並列処理しようとすると、readアクセスがそのノードに集中するため、そのノードのロードアベレージが軽く10とかいってしまう。
これを明示的に回避するためには、ファイルシステムノードでは無いノードからデータを書き出すようにするか、ローカルディスクを優先しないという設定を入れる必要がある。
Gafrm v1の場合、
export GFARM_WRITE_LOCAL_PRIORITY=disable
とすると出来る。v2はまだ分からない。アクセスが集中すると,こうなる.
2010/11/02
2010/11/01
Ghost
APODより.
個人的には,30日のケフェウス座の方がそれっぽいと思う.
10/30 Ghost of the Cepheus Flare
10/31 Halloween and the Ghost Head Nebula
個人的には,30日のケフェウス座の方がそれっぽいと思う.
10/30 Ghost of the Cepheus Flare
10/31 Halloween and the Ghost Head Nebula
登録:
投稿 (Atom)