大規模最適化問題、グラフ探索、機械学習やデジタルツインなど

旧名:最適化問題に対する超高速&安定計算

2012-02-01から1ヶ月間の記事一覧

X10 版 SDPA

PGAS 言語 X10 を用いた SDP に対する内点法の実装に関する発表を以下の研究発表会で行います。実際には SDPA の X10 化になります。 第133回ハイパフォーマンスコンピューティング研究発表会 ■日時: 2012年3月26日(月)~2012年3月27日(火) ■場所: 有馬ビ…

TSUBAME 2.0 と SDPA, SDPARA その11

昨日続きで性能効率 14.6 % ということは 6.2730e+13 FLOPS * (290.08 / 1975.6) = 9.2107e+12 FLOPS なので、要するに 410 ノード(2CPU)で約 9.2 TFLOPS しか出ていないことになる。 原因としては 1:各ノードでの行列サイズが小さい 2:ネットワーク性能…

TSUBAME 2.0 と SDPA, SDPARA その10

TSUBAME 2.0 における Cholesky 分解(ScaLAPACK)の性能評価について。 ◯QAPLIB (tai30a.dat-s) の DNN 緩和問題 mDIM = 379350 nBLOCK = 2 bLOCKsTRUCT = -485758 842 この問題では N = 379,350 なので、Cholesky 分解の FLOPS 値は = 1.8197e+16 となる。 T…

Gurobi 4.6.1 v.s. CPLEX 12.4 その2

昨日と同じ実験を Intel Xeon Westmere-EX 40 コアマシンで行ってみた。全体的にメモリ消費量は Gurobi の方が大きいが、性能的にも Gurobi の方が上になる。 ◯問題 gmu-35-40.mps (MIPLIB2010) 最適解 -2.4065401670e+06 Gurobi 4.6.1 : 43.55秒 CPLEX 12.4…

Gurobi 4.6.1 v.s. CPLEX 12.4 その1

Gurobi と CPLEX の最新版の比較を行った。以前の結果と比較すると CPLEX の性能が上がってきたという印象を受ける。 ◯問題 gmu-35-40.mps (MIPLIB2010) 最適解 -2.4065401670e+06 Gurobi 4.6.1 : 18.17秒 CPLEX 12.4 : 10.10秒 ○問題 S-20-20-2-3.mps(ロッ…

MIPLIB2010 の現状

MIPLIB2010 の現状について。最適解が判明した問題が以下のように増えつつあり、open から easy(1時間以内), あるいは hard に分類される問題が増えてきた。 News (a complete and more detailed changelog can be found here) Feb 2012 buildingenergy solv…

SDPA 対 SDPARA 対 CSDP

SDP ソフトウェアの比較に CSDP に追加した。この問題では SDPARA > SDPA > CSDP の順に速い。SDPA だけ HT 使用時(80コア)に高速となっている。 ◯問題 Be.1S.SV.pqgt1t2p.dat-s SDPA 7.4.0 (40コア) : 471.30s SDPA 7.4.0 (80コア) : 443.66s SDPARA 7.4.0 …

SDPARA-C

このブログでも過去に取り上げているが、SDPARA-C というソフトウェアがある。こちらの記事などに登場。SDPA Online Solver からも使用することができる。 ◯SDPARA-C 行列補完の理論を用いて特殊な疎性を持つ問題に対応 K. Nakata, M. Yamashita, K. Fujisaw…

TSUBAME 2.0 と SDPA, SDPARA その9

前回の続きでより詳細な内容。 TSUBAME 2.0 での長時間の実験用に SDPARA にチェックポイント機能を追加した。 注意点:再開前と再開後の各種パラメータは基本的に同じにしておくこと。 ◯途中で Ctrl-C で強制的に切ってしまう。 time mpiexec -machinefile …

第133回ハイパフォーマンスコンピューティング研究発表会

以下の日程で第133回ハイパフォーマンスコンピューティング研究発表会が開催されます。発表申し込みはすでに終了しておりますが、宿泊を希望される方は早めに申し込み下さい。 ◆第133回 ハイパフォーマンスコンピューティング研究発表会 ■議題:一般 ■日時:…

TSUBAME 2.0 と SDPA, SDPARA その8

TSUBAME 2.0 での長時間の実験用に SDPARA に以下の機能を追加した。SDPA に同様の機能を追加するのも有効だろう。 1:各反復の終了時に変数行列とベクトル、及び thetaP と thetaD の値をファイルに書き出す。 2:1の情報から初期点などの情報を作成して…

「FX10スーパーコンピュータシステム」利用説明会

東大の新スパコン FX10 の利用説明会が以下の日程で開催されます。事前登録が必要となっています。一般ユーザーが富士通の SPARC システムを使えるのは京よりもこちらの方が早いでしょう。 「FX10スーパーコンピュータシステム」利用説明会 2012 年 2 月 20 …

SDPA 対 SDPARA

Xeon Westmere-EX 40 コアマシンについて。これだけコア数が多いと 40 コアをフラットに並べて計算するよりも、4CPU x 10 コアと言ったように MPI と OpenMP で二段階並列にした方が速くなる問題も多い。 ◯問題 Be.1S.SV.pqgt1t2p.dat-s SDPA 7.4.0 (40コア)…

Westmere-EX 40 コアマシンは速い

Westmere-EX 40 コアマシンと Magny-cours 48 コアマシンとの比較を行った。大きな MIP では、やはり Westmere-EX 40 コアマシンは速い。 ◯最適化ソフトウェア CPLEX 12.3.0.1 ◯問題 gmu-35-40.mps (MPILIB2010) 最適解 -2.4065401670e+06 計算サーバ1 : 35…

Westmere-EX 40 コアマシン

Westmere-EX 40 コアマシンが到着したので、以下の三つの計算サーバで簡単な数値実験を行った。なおサーバ1と2は HyperThreading(HT)に対応している。やはりサーバ1が他よりもかなり速いという結果になっている。 ◯問題 Be.1S.SV.pqgt1t2p.dat-s サーバ1…

シンポジウム”世界最速の京と、その次”

以下のシンポジウムが16日に理研(和光)で開催予定となっています(参加申し込み手続きは終了)。 世界最速の京と、その次 2011年度理研シンポジウム 理研と富士通の共同開発したスパコン「京」コンピュータは2011年11月に10ペタフロップスを超える性能を…

cpuspeed と性能

以下の計算サーバでは cpuspeed を on にして、省電力機能を有効にすると、アイドル時では 1.6GHz までクロックが低下するが、負荷をかけると 3.46GHz までクロックが上昇する。 ここで SDPA 7.4.0 を用いて cpuspeed の on と off での性能差を調べてみた。…

FX10 スーパーコンピュータシステム

東大の次期 FX10 スーパーコンピュータシステムのホームページがオープンしている。 ◯主な仕様 総理論演算性能 1.135 PFlops 総主記憶容量 150 TByte 総ノード数 4,800 インターコネクト 6 次元メッシュ / トーラス ローカルファイルシステム 1.1 PByte 共有…

TSUBAME 2.0 と SDPA, SDPARA その8

TSUBAME での SDPARA の実行に関してネットワーク性能の低下が気になるので、こちらの OPT クラスタでネットワークの性能差でどれだけ実行時間が変わるのか、ブロックサイズを一緒に調査した。mpich2 は GbE, mvapich2 は Infiniband(QDR)となっている。ちな…

購入検討品 その2

以下の購入検討品の中で残念ながら2と3は中止になりましたが、すでに新案の提出も行っております。 -------------------------------------------------------------------------------------------------------------- 1: ASUS ZENBOOK UX31E MacBook Air…

SCOPE研究会終了のお知らせ

2009年3月から SCOPE(計算と最適化の新展開)研究会を開催して参りましたが、2012年2月でその活動を終了することになりました。研究会としての最後の仕事は以下の JORSJ 特集号となりました。また、この3月から新しい研究会(最適化の理論と応用:主査 牧野和…

TSUBAME 2.0 と SDPA, SDPARA その7

404 ノードで 2月8日実行予定となっているので、そうすぐです。 ◯QAPLIB (tai30a.dat-s) の DNN 緩和問題 mDIM = 379350 nBLOCK = 2 bLOCKsTRUCT = -485758 842 この問題では N = 379,350 なので、Cholesky 分解の FLOPS 値は = 1.8197e+16 となります。TSUB…

小ネタ三つ

小ネタ1: ブロックサイズは 128 か 256 なのか悩んだが、結局 256 で TSUBAME 2.0 のキューに入れることになった。 小ネタ2: SDPA-DD の計算(TSUBAME 2.0 は1ノードだけ使う) ◯問題 : mcp1000-10.dat-s ◯東工大 TSUBAME 2.0 & SDPA-DD 7.1.2 : 993.09…

Concorde TSP

TSPソルバーとして有名な Concorde の iPad/iPhone 版が iTunes から無料で入手可能になっている。 問題については、例題(3題)、TSPLIB から入手あるいはファイルの upload などができるようになっている。 以下は gr120(ドイツ:点数120) を解いている過…

Tesla C2075 x 4 マシン

以下の計算サーバを2台購入した。1台の漏電?のためマザーボードにアナログ RGB ケーブルを挿そうとすると火花が飛びまくる。というわけで、これはいきなり修理となった。バンド幅テストを行ったが、4台同時の場合は1台の4倍以上の性能値になる場合がある…

SDPA 7.4.0 (X10 比較用)

X10 版 SDPA との性能比較用に F1, F2 式を用いる問題を用いて SDPA 7.4.0 の数値実験を行った。 ◯問題 : control11.dat-s 実行時間 : 25.212秒 F1 式 : 20.786秒 F2 式 : 0.177秒 F3 式 : 3.258秒 ◯問題 : D512.dat 実行時間 :161.58秒 F1 式 : 79.570秒 F2…

SDPA-DDとGPUとTSUBAME その4

SDPA-DD on TSUBAME では、4倍精度行列積(Rgemm)演算を GPU を用いて高速化している。Cholesky 分解にはいろいろな方法があるが、以下のように幾つかのブロックに分けて計算する場合には、以下の2、3のように行列積演算が必要になる。 そこで簡単な実験を…

X10 のホームページ

X10 のホームページ http://x10-lang.org/index.php が昨日ハッキングされて書き換えられていた(2回目)。ちなみに1回目の書き換えは1月27日。 ちなみに書き換えられた画面は以下の通り。 X10 に反感を持つものの犯行か?あるいは単にセキュリティが脆弱…