大規模最適化問題、グラフ探索、機械学習やデジタルツインなど

旧名:最適化問題に対する超高速&安定計算

2011-08-01から1ヶ月間の記事一覧

「e-サイエンスに向けた革新的アルゴリズム基盤」シンポジウム

「e-サイエンスに向けた革新的アルゴリズム基盤」シンポジウムのプログラムが確定しました。参加には事前申し込み等は必要ありませんが、参加予定の方はご一報いただけると幸いです。 日時:9月4日(日曜日)13時30分から17時00分まで 場所:公立はこだて未…

SDPARA 7.3.3 と Cholesky 分解

TSUBAME 2.0 で SDPARA 7.3.3 が無事に動作することを確認した(16 ノード x 12 コア)。ただし MPI は OpenMPI のみでの確認で MVAPICH2 では動作確認が取れていない。また以前の以下のように書いたのだが、制約条件が 100 万程度ならばポストペタスパコンが…

マルチスレッド計算時の性能比較 : SDPA と CSDP

前回の続きで SDPA 7.4.0 と CSDP 6.1.1 のマルチスレッド計算時の実行時間をさらに詳細に比較する。全体の実行時間(Total)と ELEMENTS (SCM の計算) 及び CHOLESKY(SCM の Cholesky 分解) の計算時間で比較を行う。スレッド数は 1 から 48 まで変化させてい…

マルチスレッド計算時の性能比較 : MIP その3

マルチスレッド計算時の性能比較 : MIPの数値実験(1スレッドから48スレッドまで1スレッドずつ増やしながら解いていく)をもう1回を行ってみた。青が今回の結果で赤が前回の結果となる。全体の傾向は似ているが、スレッド数によっては、1回目と2回目の結果…

マルチスレッド計算時の性能比較 : MIP その2

昨日の続きで、roll3000.mps の問題に対して、スレッド数 2, 4, 8, 16, 32, 48 でそれぞれ7回ずつ計算を行った。現時点では特に統計処理は行っていないで、結果のみを掲載した。 2スレッド 1 : 5897.00 2 : 5787.80 3 : 6236.59 4 : 6041.58 5 : 5804.74 6…

マルチスレッド計算時の性能比較 : MIP

昨日と同じような実験を今度はある MIP ソルバーを用いて行ってみた。 全体的にはスレッド数 16 まで実行時間が減っていき、その後では増加していく傾向になる。 例えばスレッド数4で7回実行を行うと以下にように結構ばらつきがあるので、もう一度実験を行…

マルチスレッド計算時の性能比較

SDPA 7.4.0 と CSDP 6.1.1 のマルチスレッド計算時の実行時間を比較する。6 あるいは 12 スレッド時にはあまり性能差は無いが、24 スレッド時あたりから大きな性能差が見られるようになる(CSDP は48コア時ではかえって性能が悪化する)。詳細なデータについて…

最適化と計算に関する最新の傾向

◯アルゴリズムによる高速化と計算機による高速化が明確に分離(区別)することが出来なくなった. つまり最新のアルゴリズムでは最新の計算機アーキテクチャでの実行を前提としたものが増えてきている. ◯計算量による理論的解析の優劣とソフトウェア実装後に…

全米道路ネットワークに対する 全対全最短路問題

全米道路ネットワーク(点数 23,947,347, 枝数 58,333,344)に対して 全対全最短路を計算することを行った。単に1対全最短路を複数回(点数の数)計算を行うのは、様々な意味でコストが大き過ぎるので、いろいろな工夫を試している。以下の結果では AMD Magny…

グラフ探索と応用

大規模なネットワークデータ上における最短路計算などのグラフ探索アルゴリズムには以下のように非常に幅広い応用があることが知られている。 1. 交通ネットワークにおける経路検索(カーナビゲーションシステム等) 2. 災害時における避難や誘導等の支援シス…

SDPA(SDPARA)のボトルネック その2

昨日の続き。SCM (Schur Complement Matrix) が疎になる場合では以下のように様相が異なってくる。こちらの方は SCM が密な場合よりもさらに高速化は難しい。 ○問題:mater-6.dat-s 11.19 6.41 6.41 1286181 0.00 0.00 dtrsm_ounucopy 10.25 12.28 5.87 3251…

SDPA(SDPARA)のボトルネック

SDPA(SDPARA)の関数レベルでは以下の2つのように F3 式の計算か行列積(dgemm)がボトルネックとなっている。小さな問題や特殊な問題を別とするとおおよそ以下の2つのパターンに分類することができる。 ○問題:Be.1S.SV.pqgt1t2p.dat-s Each sample counts a…

超大規模グラフ解析プロジェクト その2

以下の”超大規模グラフ解析プロジェクト”ですが、近日中に正式公表する(される)と思います。まだ公表はできませんが、現在様々な研究が開始されています。計算量や要求されるメモリバンド幅を抑えた後に、超大規模スレッド並列処理で超大規模な最適化問題…

VineSeed と SDPA

Vine Linux ではその開発過程を VineSeed として公開している。Vine Linux の方は現在最新版として 6.0 が公開されているが、VineSeed はすでに 7.0 扱いとなっており、Linux のカーネルのバージョンも 3.0.1 に達している。VineSeed で SDPA の実行を行う方…

Chromium OS と最短路 Online Solver

vmplayer 3.1.4 で作成した仮想マシン上に Chromium OS をインストールした。起動も速いが、起動後のブラウザ上での最短路 Online Solver の動きが非常に速い。個人的にはこれまで体験した中では最速ではないかと思われるほど。

Excelで学ぶOR 非公式サポートページ

Excel で学ぶ OR の非公式サポートページを作成しました。「Excelで学ぶOR」の正誤表や、書籍に収録されていない幻の第8章へのリンクなどがあります。 Excelで学ぶOR 非公式サポートページ

最新 RedHat 系 Linux

最新の Linux (とは言っても RedHat 系だけだが)で SDPA が正常に動作するのかを調査した。Linux は全て x86_64 系を用いる。 ◯ Fedora 15 カーネル:2.6.40-4 gcc : 4.6.0 Intel C++/Fortran : 12.0.5 (インストール可) SDPA 7.4.0 : 動作確認 OK ◯ CentOS …

連絡

1: 以下の Magny-Cours 48 コアマシン(上の方)は 22 日に修理となりました。少なくともそれまでは壊れたままです。 2: 以下のクラスタ計算機において、MPI を使う際に rsh だけでなく ssh も使えるように設定しました。 ○ OPT クラスタ 1:PowerEdge M1000…

MVAPICH2 1.6rc1 と 1.7rc1

MVAPICH2 の最新版 1.7rc1 と一つ前の 1.6rc1 の性能差を SDPARA を用いて比較を行った。結論から言うとほとんど性能差は無いように見える。ノード間のシェルは rsh ではなく ssh を用いている。 ◯ソフトウェア SDPARA 7.3.3 ◯問題 Be.1S.SV.pqgt1t2p.dat-s …

最適化理論の産業・諸科学への応用

以下のワークショップが開催されます。現時点での講演題名は”SDP大規模計算の現状と展望”となっていますが、実際には中身を少し変更する可能性があります。 ---------------------------------------------------------------------------------------------…

Magny-cours 48 コア

Magny-Cours 48 コアマシンを2台保有しているが、動作が不安定なところがある(初期不良なのかもしれないが)。以下のマシンは購入して3ヶ月あまりで修理となった。CPU やマザーボードを含めた交換の可能性がある。 Severity : normal Date and Time : Wed…

SDPA 7.4.0 と 7.3.1

SDPA 7.4.0 (開発最新版)と SDPA 7.3.1 (公開最新版)を比較すると、入力問題に合わせてソフトウェア側が自動対応する仕組み(添付図参照)は随分と高機能化されて高性能で動作するようになった。そろそろ汎用的な高速化の限界(壁)に近付きつつあるが、個別…

「e-サイエンスに向けた革新的アルゴリズム基盤」に関するシンポジウム開催

「e-サイエンスに向けた革新的アルゴリズム基盤」に関するシンポジウム開催について問い合わせをいただいておりますが、様々な ML をお借りして、以下の情報を配布しております。連絡先も含めてこちらもご覧下さい。 --------------------------------------…

ソフトウェア SDPA の実装方式について

我々のグループではこのブログでも述べているように代表的な数理計画問題であるSDP に対する内点法を記述したソフトウェアSDPA の開発・評価・公開を10年以上行っている. 最近では以下のような開発方針を採用している. 1. 近年のソフトウェアにおいては疎…

e-サイエンスに向けた革新的アルゴリズム基盤シンポジウム

日本学術会議の大型研究計画における新規計画(e-サイエンスに向けた革新的アルゴリズム基盤シンポジウム)に関するシンポジウムを以下の日程と内容で開催することになりました。この件に関しての詳細な内容や計画については私まで個別にお問い合わせ下さい。 …

Intel® C++ and Fortran Composer XE for Linux 2011.4.191 から 2011.5.220

Intel MKL も 2011.4.191 から 2011.5.220 にバージョンアップしたことによって、少しだけ性能が上がっているようだが、まだ GotoBLAS との差は大きい。 ○問題1:theta6.dat-s SDPA 7.4.0 + GotoBLAS2 for Sandy Bridge : 8.865秒 SDPA 7.4.0 + Intel MKL 1…

Intel® C++ Composer XE 2011 for Linux* Update 5, Version 2011.5.220

Intel コンパイラの 2011 Update 5 がリリースされたので、一つ前のバージョン Update 4 との比較を行っている。例えば SDPARA を用いると以下のような結果となった。 ◯問題 HLi2.2A1.STO6G.pqgt1t2p.dat-s SDPARA 7.3.3 : Update 4 SCM 計算の実行時間 : 12…

自分探しの旅

自分達が書いたを本を探していく旅(略して自分探しの旅)の第二弾。 ジュンク堂 池袋 ジュンク堂 鹿児島 ジュンク堂 京都 BAL 大垣書店 イオンモール KYOTO 丸善 名古屋栄 谷島屋 浜松本店

サイエンスセミナー

今年度もサイエンスセミナーに多くの申し込みを頂きましてありがとうございました。毎年応募数が定員数を上回っておりますので、抽選で参加者を決定しております。今年度は私自身がセミナー実施者の1人(1コースを担当)であるだけでなく、サイエンスセミ…

最短路検索を用いた大規模ネットワーク解析システム

最短路検索を用いた大規模ネットワーク解析システムに関する内容でイノベーションジャパン2011で研究展示を行うことになりました。以下の展示に関する紹介ページがあります。 http://www.innovation-japan.jp/exhibitor_datail.php?entry_id=en10183 技…