大規模最適化問題、グラフ探索、機械学習やデジタルツインなど

旧名:最適化問題に対する超高速&安定計算

2009-07-01から1ヶ月間の記事一覧

MUMPS 4.9 登場

MUMPS ライブラリ のバージョン 4.9 が公開された。SDPA と SDPARA では外部ライブラリとして MUMPS も利用している。細かい 4.8.4 から 4.9 への変更点はホームページを参考にしていただくが、速度的には以下のようにほとんど変化は見られない。 問題 1 : d…

旧 SDPA サーバ修理中

旧 SDPA サーバ修理中だが、まだ修理は完了していない。 1: RAID コントローラ(RAID 5)が異常の可能性 2: RAID コントローラを交換する 3: 別のエラーで起動しない 4: マザーボードを交換する 5: ところがこの新マザーボードが初期不良の可能性 6: 別の新し…

New technologies in SDPA project 3

前回までは速く安定して計算するための技術紹介だったが、今回は計算基盤に関する内容になる。これまでは Linux を中心に開発を行っているが、Windows で動作させるのが面倒なことや、クラスタ計算機などが無いので並列計算出来ませんという要望に答えるため…

オープンソースの開発とコミュニティの維持

先日、以下の内容で講演をしていただいた。世界的に見てもオープンソースの開発については資金が潤沢にあるわけでもなく、組織的にも問題が多いのだが、日本の現状はローカライズ(日本語化)がメインであって、開発そのものに参加することは少なくとも日本に…

New technologies in SDPA project 2

今回の新技術は安定して高精度で計算するために必要となる。SDPA などの数値計算の世界では倍精度では仮数部の bit 数が足りないのだが、CG やゲームの世界では単精度でも十分であり、最適化でも組合せ最適化の世界では一般には単精度で十分であろう。という…

New technologies in SDPA project 1

今日から4回シリーズで SDPA プロジェクトで用いられている幾つかの新技術について紹介する。1回目は速く計算するための方法についてになる。内点法のアルゴリズム的にも様々な工夫があるが、これらは特に”新技術”というほどでも無いので今回は割愛する。 …

SDPA 7.3.1 + GotoBLAS or Intel MKL

Intel のコンパイラと MKL ライブラリを最新のものにバージョンアップしたので、GotoBLAS との比較を行ってみた。 ○実行マシン:Intel Xeon 5460 (3.16GHz) x 2 : メモリ 48GB : CentOS 5.3 for x86_64 Intel C++ & Fortran コンパイラ 11.1.046, Intel MKL …

もしも SDPA の一部の演算を 4 倍精度で行ったら

SDPA の計算において数値精度を悪化させる原因は様々だが、SDPA-GMP などを使用した場合では非常に高い数値精度が得られることも多い。そこで、SDPA の一部の演算を高精度で行うことによって、数値的に安定な解が得られる可能性もあるだろう。以前から変数行…

当初の目標10ペタFLOPS

http://www.riken.go.jp/r-world/info/release/press/2009/090717/ スカラー型計算機のみに絞って、当初計画どおり、性能目標10ペタFLOPS達成と2012年完成を目指すということになっている。採用する CPU は現時点で世界最高速と書いてあるけれども、全体性能…

SDPA Online Solver 変更

SDPA Online Solver (http://sdpa.indsys.chuo-u.ac.jp/portal/) を以下のように変更を行った。ソフトウェアは公開前も含めて最新の物を使用している。 A: SDPA 7.3.1 + GotoBLAS 1.34 + MUMPS 4.8.4 実行マシンは AMD Opteron 2384 (2.7GHz) x 2 CPU ; 32GB…

SDPA サーバ壊れた&復旧

SDPA サーバ (sdpa.indsys.chuo-u.ac.jp) が突然 Disk の読み書きが出来なくなって、reboot 等も不可能になった。明らかに RAID コントローラか Disk に異常が発生している。手動で reboot したら、やはり RAID コントローラに異常発生しているようなので、…

SCOPE つくば合宿 受賞者名簿

様々な事情で SCOPE つくば合宿の受賞者の公式発表が遅れました。今年度の受賞者は以下の通りです。全体的に研究のレベルが高いので、採点を行い受賞者を決めるのは結構苦労しました。もちろん来年も開催予定です。 ○最優秀論文賞 小林佑輔 東京大学大学院 …

レイアウトとテンプレート変更

暑いので期間限定で涼しげなテンプレートに変更してみました。いろいろなテンプレートが選べるのですが、どうもブログの内容と一致しそうなものが見当たりません。以前のレイアウトは意外と見やすかったので、また元に戻すかもしれません。

Parallel Cholesky Factorization とブロックサイズ その2

前回と同じで SDPARA 7.3.1 のブロック数を変化させて全体の実行時間を違いを測定してみた。この場合では 192 が良さそうだ。 非負かつ半正定値(DNN : doubly non‐negative)制約 1: nug16ak.dat-s (QAP : 二次割当問題) SDPARA 7.3.1 (サイズ 48) : 1145.1s …

マルチスレッドによる計算とそのバランシング

SDPA 7.3.1 では添付の図のように Schur complement 行列を行単位(実際は列単位だが実質同じ)でマルチスレッド計算を行っている。しかしスレッド間のロードバランシングが問題によっては悪いので少し調査を行った。今回は回数のみに着目しているが、将来的に…

クラウドで学ぶオペレーションズ・リサーチ

Excel で学ぶ ???? というような本はたくさん出版されている。Excel で学ぶ OR といったような本もあるのだが、普通に考えれば Windows や Excel のシェアが高いので Excel 上で学習ツールを作るのが良いのだが、Office 2003 以前と 2007 とでは仕様も変更さ…

Paralle Cholesky Factorization とブロックサイズ

SDPARA 7.3.1 で Paralle Cholesky Factorization に関するブロックサイズを大きめに変えたら、以下のようになった。MUMPS に合わせて少なめにしていたのだが、もっと大きい方が良い。 非負かつ半正定値(DNN : doubly non‐negative)制約 1: nug16ak.dat-s (Q…

Dell PowerEdege と AMD Istanbul

Dell のサーバ PowerEdge で、やっと AMD Opteron (通称 Istanbul) が購入できるようになった。PowerEdge R805 が 2 ソケット, R905 が 4 ソケットになっている。以前実験してもらった SDPA の結果からは 2 ソケットの方がコストパフォーマンス的にははるか…

Yellow Dog Linux 6.1 と PS3

久しぶりに PS3 を触って Linux を Fedora 8 から Yellow Dog Linux 6.1 に入れ替えた。相変わらずメモリが少ないせいもあって、かなり速度が遅い。この環境で SDPA 7.3.1 + GotoBLAS 1.29 + MUMPS 4.8.4 で動作確認を行った。 問題 theta6.dat-s 1: PS3 + Y…

ブラウザ別のアクセス数

パソコン用の無償 OS としてグーグル・クロムOS(Google Chrome OS)が話題になっているが、マイクロソフトとグーグルの比較でブラウザの世界シェアが IE 65.9%, Google Chrome 1.7% となっている。しかし普段に身の回りにいる人の間では FireFox が圧倒的な…

SDPARA 7.3.1 と水分子 その2

以下の SDPA クラスタでは、32ノード(MPI) x 4 スレッド(pthread) よりも、 16ノード(MPI) x 8 スレッド(pthread) の方が速かった。結果は以下の通りである。14時間を切ったのはなかなか凄い。 問題名 : H2O.1A1.DZ.pqgt1t2p.dat-s SDPARA 7.3.1 : 32 x 4 : …

大規模データ + 最先端最適化理論 + 超高速計算シリーズ

前回から名前を少し変更して”超大規模データ + 最先端最適化理論 + 超高速計算”になった。申請書を出す前にまず内部的な審査があるので、そのための研究計画書を一気に作ってしまった。超が二つも付くと馬鹿っぽいという意見もあったが、本当に超大規模なデ…

SDPARA 7.3.1 と水分子

SDPARA 7.3.1 で一番大きな水分子の問題を解いたので結果をアップする。とりあえずはこれも成功した。一番初めにこの問題を解いたときには約 28 日かかった(ただし計算機もSDPARA のバージョンも異なる)。 問題名 : H2O.1A1.DZ.pqgt1t2p.dat-s SDPARA 7.2.1…

SDPA 7.3.1 と SDPARA 7.3.1

もうすぐ SDPA 7.3.1 と SDPARA 7.3.1 の正式版をリリースする予定である。コアとなる部分(アルゴリズム)は両者で共通化されている。もう少しデバッグやパフォーマンスチューニングを行う必要がある。 1: SDPA 7.3.1 は 7.3.0 よりも性能的には少し上がって…

It's Lucie!

研究室の前を通る方から Lucie さんって誰ですかという質問をたまに受けるが、この Lucie は人間ではなくソフトウェアである。 Lucie ホームページ http://lucie.is.titech.ac.jp/trac/lucie/ ホームページの内容も今後はさらに充実していくそうだ。インスト…

PRIME NEWS とクラウドコンピューティング

最近はほとんどテレビ見ないのだが、夕食食べながら見ることが多いのが BSフジLIVE PRIME NEWS になる。7月6日の放送は、 世界を変える IT 革新 "クラウド"の正体! 日本経済浮上の新戦略 となっている。題名にはちょっと笑ってしまったが、多分番組は見る…

1997 年と 2009 年の SDPA

1997 年当時の SDPA (3.x)の実験結果が出てきたので、2009 年の SDPA (7.x) と比較してみた。 1997年 SDPA 3.01 : CPU DEC Alpha 21164A 437MHz ; メモリ 8GB 2009年 SDPA 7.3.1 : CPU Intel Xeon 5550 2.67GHz ; メモリ 72GB 1: control11.dat-s 1997 年 ; …

大規模データ + 最適化理論 + 大規模高速計算シリーズ

特に首都圏だと平日は毎日遅延が出ている路線もあるようなので、大規模な災害等が発生しなくても毎日運行ダイヤが乱れが発生しその都度状況の回復が行われているが、現時点では自動化は難しいようだ。大規模データ + 最適化理論 + 大規模高速計算は大規模災…

CPU + GPGPU と SDPARAの計算

スパコンにアクセラレータとして GPGPU を搭載するというのまだ少数派であって、知っている範囲では日本では東工大だけが積極的に推進している。一応推進派と慎重派の両者の意見を聞いたことがあるが、CPU + GPGPU の混在マシンでソフトウェアの性能をあげる…

SDPARA 7.3.0 v.s. 7.2.1 v.s. PCSDP 1.0

SDPARA 7.3.0, 7.2.1 と PCSDP 1.0の比較実験結果を掲載する。三つのソフトウェアは全て BLAS, LAPACK として GotoBLAS 1.34 を利用している。全て 32 プロセス x 4 コア(OMP_NUM_THREADS=4)で実行を行った。 1: N.4P.DZ.pqgt1t2p.dat-s (量子化学) SDPARA 7…