大規模最適化問題、グラフ探索、機械学習やデジタルツインなど

旧名:最適化問題に対する超高速&安定計算

2011-03-01から1ヶ月間の記事一覧

TEPS 値 その2

詳細は省略するが Magny-Cours 48 コアで 1.8GTEPS(traversed edges per second)の値が出ている。NY (26万点, 73万枝)データで全対全最短路の計算が 108秒で計算できるので、概算では 264,346(点) x 733,846(枝) / 108秒 ≈ 1.8Gとなっている。全米データ(240…

TEPS 値

1:数千万点の場合: TEPS(traversed edges per second)値は 1コアで10^7 = 1000万程度。よって、全米データ(2400万点, 5800万枝)に対する最短路計算は 5 秒程度で終了する(全ての枝を1回程度スキャンするので)。 2:10億点の場合 性能がメモリバンド幅に…

SCOPE つくば合宿と JORSJ 特集号

SCOPEつくば合宿は開催する方向で進んでおります。先日の日本OR学会春季発表会及び統数研での研究集会等で発表することができなかった方も積極的に参加していただければ幸いです。 開催日 : 2011年5月28日(土), 29日(日) (予定) 会 場 : 筑波大学 筑波キャ…

最適化分野におけるクラウド技術の利用

現在、某学会誌の解説記事のために以下の内容で共同で(4名)原稿を作成している(ただし、書いている間に内容が少し変わりつつある)。紙面の制約があってそれほど詳しく書くことは出来ないが、Graph 500 に関しては日本語での最初の解説になるだろう。 最…

現状について その2

先日、ブログに書いた以下の件ですが、様々なご意見や提案等を頂きました。今週はこの件に関して様々な打ち合わせがあります。関係者の方はご協力下さい。 2:近日中に最適化(広くはOR)、アルゴリズムサイエンス分野として防災計画の策定、災害時の避難と…

Magny-Cours 48 コアマシン

クラスタ計算機は電力不足から全力稼働できるのは、まだまだ先になりそうですので Magny-Cours 48 コアマシンをもう一台増やして計算機を増強することになりました(実際の納品はかなり後になりそう)。1台でも48コアを搭載しているので、ちょっとしたミ…

SCOPE つくば合宿 その2

以下の SCOPE つくば合宿ですが、今後事態の悪化が無ければ開催する予定で動いております。今年は、先日中止となった日本OR学会(5大学交流会を含む)や統数研での研究集会等で発表が出来なくなった方に参加、発表していただくことが出来ないか検討しており…

中心性の計算

今日は全体での卒業式が中止になりましたが、学科単位での卒業式は行うことになっています。 ところで、以下の全米データに対する厳密な中心性の計算に関してですが、クラスタ計算機の停止によって現在中断しています。しかし、別のアルゴリズムを採用して、…

FireFox 4

FireFox 4 が使用できるようになったので、インストールして現在唯一フルスペックで動作可能な最短路オンライン・ソルバーで性能を比較してみた。 FireFox 3.6.15 : 17秒 FireFox 4.0 : 16秒 計算結果を返す転送部分が実行時間の多くを占めているようなので…

現状について

計算サーバの運用を最小限に抑えておりますので、今後も数値実験等に関する記事は少なくなると思います。現在は以下の作業に追われております。 1:4月以降の授業運営について 電源無しで授業が行えるか?通勤、通学困難による大規模な遅延についての対応…

SCOPE つくば合宿

問い合わせをいただいております以下の合宿の件ですが、つくば市全体の被害が大きいので現時点では開催出来ない可能性もございます。ただし、建物等への損傷はそれほど大きくなく、ライフラインの復旧によって大きく状況が改善する場合もありますので、現時…

今後の計画について

現在、火力発電所を中心に発電能力を上げていく努力が行われていますが、この夏には需要量が供給量を上回るのは確実で、23区でも都心の3区以外は計画停電が行われる可能性も高くなってきました。 東電の発電能力、震災前7割に回復へ 2火力再開で 今後の…

日本OR学会2011年春季研究発表会中止と SCOPE延期のお知らせ その2

3月17、18日開催予定の日本OR学会2011年春季研究発表会は中止となりましたが、18日開催予定の5大学交流会も同時に延期となっています。 また SCOPE 講演会(19日)も延期となっていますが、こちらは延期というよりも一部講演者を交替して再構成し…

研究関係の計算サーバ停止のお知らせ その2

現在の電力供給量や今後の電力需要量の増大を考慮しますと、以前のような規模での計算サーバの再開にはかなり時間がかかると思います。 現在は最小限の構成で優先度の高い計算のみを行なっています。決して全て止めて研究が停止しているわけではありません。

日本OR学会2011年春季研究発表会中止と SCOPE延期のお知らせ

3月17、18日開催予定の日本OR学会2011年春季研究発表会は中止となりました。 日本オペレーションズ・リサーチ学会2011年春季研究発表会中止のお知らせ また 19 日開催予定の 2011 年度第1回 SCOPE講演会は延期となりました。今後開催時期等については決…

研究関係の計算サーバ停止のお知らせ

首都圏の電力不足から研究室の全てのクラスタ計算機を含めて、ほとんどのサーバを停止しました(3月12日停止)。 稼働再開は様々な状況を判断して決めたいと思います。

2011年度第1回 SCOPE講演会

2011 年度の第1回 SCOPE 研究会をOR学会後の 3月19日に行ないます。当日は土曜日のため 6号館では暖房が使えませんので、3号館の 3300 号室を用います。夜は懇親会もありますので、是非ご参加下さい。 ○2011年度第1回 SCOPE 研究会 日 時 : 2011年3月19日…

全米グラフに対する中心性

全米グラフに対して四つの中心性を厳密に計算するという実験を行っているが、予想よりも時間がかかっている(120 CPU コアでは少なかったか?)。現在ではすでに半分(進捗度 50%)を越えている。この中心性の計算についても SDP とは異なった意味で、CPU コア数…

クラスタ計算機

東工大の研究室で Magny-Cours 48 コア搭載マシンが 5 台構成のクラスタ計算機を見せていただいた。これでだけでも 48 x 5 = 240 コアなので、以下のクラスタ計算機をコア数では上回ることになる。結果的には SDP でも最短路の計算でも Magny-Cours クラスタ…

並列 Cholesky 分解のパラメータ その2

Two-dimensional block-cyclic 分割するときの行列のサイズのパラメータ調整を今度は 8 スレッドで行った。クラスタ計算機には 16 ノード x 12 コアで合計 192 コアが搭載されているが、16 ノード x 8 コア で合計 128 コアだけを用いて適切な行列のブロッキ…

Magny-Cours 48 コア v.s. Nehalem-EX 32コア

今度は Magny-Cours 48 コア v.s. Nehalem-EX 32コアの対決となる。以下の小さな問題ではいい勝負なのだが、この種の量子化学の問題では以下のようなブロック対角構造をしているので(ブロック数が多く、行列のサイズが大きい)、さらに大きな問題ではコア数…

Graph 500, 超大規模ネットワークにおける高速探索, 中心性

現在の研究に対する説明のスライドを掲載。内容については以下の画像を参考にしていただきたい。 Graph 500 超大規模ネットワークにおける高速探索 中心性

Magny-Cours 48 コア v.s. Westmere-EP 12コア

Magny-Cours 48 コア (AMD Opteron 6174) は当初はあまり性能面で期待していなかったのだが、使い方に慣れてくると意外と?使えるマシンと思えてきた。特に問題2は Magny-Cours 48 コアが弱いと思われたいた Cholesky 分解で Westmere-EP 12コア に圧勝して…

並列 Cholesky 分解のパラメータ

SDPARA では、Cholesky 分解の並列化に ScaLAPACK を用いているが、Two-dimensional block-cyclic 分割するときの行列のサイズのパラメータを調整してみたところ、128 が良いという結果になった。もっと大きな方が良いのかと思ったのだが、結果は結果として…

超大規模グラフと最短路計算

10 億点を越えるような超大規模グラフはランダム生成したものしか保有していないので以下のグラフを用いて最短路計算を行った。データ量が大きくなるので1コアのみを用いる。ある種ごまかしのきかないベンチマークである。 ◯ ランダム生成グラフ 10 億点, 2…

MacBook Pro と最短路問題

Sandy Bridge 搭載の MacBook Pro を用いて、最短路問題に対するソフトウェアによる比較実験を行った。最短路問題では浮動小数点演算をほとんど使用しないので、既存の Core i7 に対する優位性は特に見られない。 ◯問題 DIMACS USA データ:1000クエリ Core …

DNN緩和問題と QAP(二次割当問題) その6

DNN緩和問題と QAP(二次割当問題)に関する講演を聞いたが、n = 15, 16 ぐらいでも SDP 緩和問題を解く際には、かなりの CPU 時間を要するようだ(15000 秒から 20000秒)。ところが以下の計算機と SDPARA を用いると 39 2.0e-10 7.3e-10 4.1e-13 +7.42e-01 +7.…

SCOPE@つくば -未来を担う若手研究者の集い2011

今年も SCOPE@つくば合宿を行う予定です。以下は開催日等の情報ですが、今後変更する予定もありますのでご注意下さい。任期3年目ということでいよいよ SCOPE@つくば合宿も今年で最後となります。 開催日 : 2011年5月28日(土), 29日(日) (予定) 会 場 : 筑…

openmpi と mvapich2 その2

現在運用中の以下の新クラスタ計算機では二種類の MPI が使用可能である。 1: OpenMPI 1.5.1 2: MVAPICH2 1.6rc1 念のために両者の性能差があるのかを調べてみた。結果は以下の通り。現時点では速度差はともかく超巨大 SDP の場合では MVAPICH2 でしか解くこ…

SDPARA と Magny-Cours 48 コア と Affinity 設定

以下の計算サーバ (AMD Opteron : 通称 Magny-Cours) を 4 個搭載しているので、合計で 4 x 12 = 48 コアが存在する。この Magny-Cours は AMD Isntabul (6 コア) の CPU を二つ重ねたような構造を持っているので、12 コアの CPU であるが 6 コア x 2 CPU と…