大規模最適化問題、グラフ探索、機械学習やデジタルツインなど

旧名:最適化問題に対する超高速&安定計算

2009-09-01から1ヶ月間の記事一覧

SDPA-QD, DD 7.1.2 バグ修正

昨日に引き続いて SDPA-QD 7.1.2 と SDPA-DD 7.1.2 のバグが修正されたので、この二つの修正版も upload した。多倍長計算は計算結果の検証が難しいので(他の計算では得られない高精度な値なので)、バグの発見というのもまた難しい。多倍超計算の検証方法と…

SDPA-GMP 7.1.2 バグ修正

SDPA-GMP で幾つか精度の関する問題が発生したので修正版を SDPA のサーバに置いた。本来(普通の SDPA)ならばそれほど致命的ではない精度の問題であるが、高精度計算を目的とする SDPA-GMP なので再実験を行った方が良い場合もある。具体的には LP 部分(対角…

KSMAP 合宿 in 明日香村 発表

KSMAP の合宿で発表を行うことにした。"最適化ソフトウェア:今後の世界での戦い方" という題名での内容だが、戦わないで(海外のソフトを使うだけで)生きていきたい人も日本には多いようなので、みんなで戦おうという意味ではない。自分の技術や成果を世界中…

Linear Programming と Exact computation

以前に Linear Programming と Exact computation の話題(特に ISMP 2009)での発表について触れたが、一つの方法として幾何学的なアプローチで多面体の全ての端点の座標を厳密に求めるというのも考えられるそうだ。しかし端点の数は制約式や変数の数の指数オ…

Optimization 98

もう10年以上前に参加した国際会議 Optimization 98 のホームページがまだ残っていたのでちょっと驚いた。国際会議が終わるとホームページを閉める所も多いが、プログラムなどの情報を中心に可能ならば残しておく方が良いのではないか。 ホテルの予約等も …

オンラインソルバー追加

オンラインソルバーに関しては制約充足問題(CSP)のプログラムを追加することになった。インターフェイスの部分に関しては検討中だが、普通にテキストファイルでの入出力を予定している。また CSP のプログラムを用いることによって、他の最適化問題を解くこ…

RAMP 2009 シンポジウム

RAMP 2009 シンポジウムが松江で開催される。この前の ISMP 2009 シンポジウムを見ていると海外では以下の流れが非常に強くなっているが、日本の方は変わることが出来るだろうか? 1: 理論的な研究であっても数値実験による評価、検証が必須 2: 最適化問題を…

SDP ソルバーとメモリ使用量

各 SDP ソルバーのメモリ使用量についての実験結果を幾つか掲載する。画像が見にくい方はこちらの PDF ファイルを参照していただきたい。実験に用いた環境は以下の通りである。 CPU : Intel Xeon X5550 2.67GHz (2 CPUs, 8 total cores) Memory : 72GB OS : …

並列計算と精度

並列計算を行う場合にはデータ移動量に対する計算量の比がある程度大きいことが必要になるので、最適化問題においても半正定値計画問題や整数計画問題などは並列化に向いているのだが、例えば線形計画問題は単独ではあまり並列計算に向いていないと言える。…

CEATEC Japan 2009

今年も10月6日から10日まで幕張メッセで CEATEC Japan 2009 が開催される。毎年展示等を見学に行っているが、今年は前後にいろいろとあって忙しいので参加できるのかわからない。仕事として見た場合には興味がある、あるいは必要であると思われる技術や…

イノベーションジャパン 2009 発表の元ファイル

イノベーションジャパン 2009 の発表はスライド 24 枚、発表時間 20 分という制限があるので、中身をかなり削ることになった。そこで元のファイルを以下の場所に置いた(38 枚 : 6.5Mbytes)。 http://sdpa.indsys.chuo-u.ac.jp/~fujisawa/innovation-japan-20…

OpenMPI と MPICH2-MX それに Intel Fortran

SDPA クラスタの方は、SDPARA の数値実験でフル稼働中なので、サブの POWER クラスタで実験を行う。 ○ POWER クラスタ 4 Nodes, 6 CPUs, 32 CPU cores; CPU : Intel Xeon E5345 2.33GHz (quad cores) x 2 / node Memory : 16GB / node HDD : 2TB(RAID 5) / n…

OpenMPI と Myrinet その2

前回でインストールが終わったので、今度は SDPARA の実行を行う. mpich2-mx で SDPARA を作るのも、OpenMPI で SDPARA を作るのもほとんど一緒だが、最後に mpicxx を用いて mpif90 でコンパイルしたバイナリも一緒にくっつけるのでリンク時に以下のオプシ…

OpenMPI と Myrinet その1

SDPA クラスタでは、これまで Myricom 社から提供されている mpich-mx, mpich2-mx を用いてきたが、ユーザからの要望もあったので、OpenMPI も使えるようにインストールを行った。 ○ SDPA クラスタ 16 Nodes, 32 CPUs, 128 CPU cores; CPU : Intel Xeon 5460…

オンラインコアロケーション(On-line Resource Co-allocation)

オンラインコアロケーション(On-line Resource Co-allocation)の問題はネットワークフローの問題に変換して整数計画問題として定式化できるので、オンラインのシステムでは整数計画ソルバーを持った最適化エンジンを加えることによって対応が可能である(も…

シカゴ

以下のサイトをたまたま見ていて、同じ時期にシカゴに行って、しかも全く同じ場所を同じ順番で回って食事した人がいるのだと思って不思議に思っていたが、良く考えたらそんな偶然は有り得ないことに気が付いた。自分でも思うが気が付くのが遅かった。 http:/…

Nehalem-EP & Istanbul : 実アプリ

Linpack のベンチマークでは、30 GFlops 以上の差を付けて圧勝したマシン1だが、様々な最適化ソルバーでは、1 スレッドでもマルチスレッド(マシン1 : 12 スレッド、マシン2 : 8 スレッド)でもマシン2が勝利した。来年あたりに Istanbul 2個を1チップに…

Nehalem-EP & Istanbul : Linpack ベンチマーク

以下の二つのサーバについて 1 ノード HPL の測定を行っていただいた。今回の測定では HPL 用の GotoBLAS 及び HugeTLBfs を用いている。写真は上から Istanbul, Shanghai, Shanghai, Barcelona, Harpertown になる。 マシン1 CPU : AMD Opteron 2435(2.6G…

SCOPE 第4回研究会のお知らせ

数理計画問題を中心とした最適化問題用ソルバーのベンチマークテストと評価で世界的に有名なアリゾナ州立大学の Mittelmann 教授(http://plato.asu.edu/bench.html)が 11 月に来日されますので、以下のように SCOPE 第4回研究会を行います。皆様のご参加を…

最適化オンライン・ソルバーの今後

最適化オンライン・ソルバーはプロジェクト期間も半分が過ぎたので、今後の計画を策定している。 1: MIP(混合整数計画問題)に対するソルバーを加える。ライセンス関係の問題から GLPK, Cbc, SCIP などを想定しているが、可能であれば SCIP の MPI 並列版 Par…

SCOPE 第3回研究会のお知らせ 更新

次回(第3回)の SCOPE 研究会は以下の日時、内容で行う予定です。今回は検索技術、データベースそれに学習や将棋など非常に興味深い内容ですので、皆様の参加をお待ちしております。 日 時 : 2009年10月24日(土)14:00~ 会 場 : 中央大学 後楽園キャン…

AMD マシン

AMD Phenom II 搭載のマシンが異常音が出て来て起動しなくなってしまった。まだ購入したから半年も経っていないが、基本的に電源を入れたままなので通常よりも壊れるのが早いのかもしれない。そして少し前に AMD Barcelona 搭載の Dell PowerEdge が起動しな…

AMD Istanbul 使いにくい

AMD Opteron (通称 Isntabul : スペックは以下の通り) 搭載の Dell PowerEdge R805 を用いているのだが、幾つかの理由で使いにくい性質を持っている。 CPU : AMD Opteron 2435(2.6GHz / 6MB L3)x 2 Memory : 64GB(16 x 4GB / 800MHz) 1: 性能が安定しな…

数値誤差と線形計画問題

ISMP 2009 の発表で見たのだが、数値誤差が原因によって複数の線形計画ソルバー(CPLEX など)の最適目的関数値の値が全て異なる場合があるそうだ。CPLEX でも Version 9, 10, 11 ですらも全て最適目的関数値が異なっていた。当然最適目的関数値だけではなく、…

First name

ある人が指摘していたが、SDPA Project のメンバーは First name が K か M から始まる人しかいない。別にK と M を狙っているわけでも、きまりがあるわけでもないが、First name が K と M から始まる新メンバーを募集している。

応用に役立つ50の最適化問題 入荷

Amazon の方で応用に役立つ50の最適化問題が入手できないという連絡を頂きました。Amazon の方は現在新品が入手できないようになっています。 http://www.amazon.co.jp/%E5%BF%9C%E7%94%A8%E3%81%AB%E5%BD%B9%E7%AB%8B%E3%81%A450%E3%81%AE%E6%9C%80%E9%81…

マイクロセカンド

汎用の数理計画ソルバーだと非常に小さい問題を解いてもミリセンカンド(ms)の単位で実行時間がかかるのだが、機械などの制御でリアルタイムに使用する場合にはマイクロセカンド(μs)の単位で解く必要があるらしい(その代わりに解く問題は非常に小さい)。しか…

SDPA, SeDuMi, SMCP の比較実験

ISMP2009 で SMCP というソフトウェアが発表されていたので、SDPA, SeDuMi と比較実験を行ってみた。環境やソフトウェアが異なるので、こちらのベンチマーク結果とは異なるものになっている。また、SparseCoLO を用いて conversion を行った後のファイルも用…

AMD Opteron (Istanbul) その2

以下の AMD Istanbul(マシン1) が導入されたので、Fedora 11 をインストールした。ソルバー SDPA を用いて以下のマシン2と簡単な比較実験を行った。コア数はマシン1では12、マシン2では8になる。 マシン1 CPU : AMD Opteron 2435(2.6GHz / 6MB L3)…

イノベーションジャパン 2009 の発表ファイル

イノベーションジャパン 2009 の出展マニュアルを見たら、特許が絡んでいなければ発表資料を公開しても問題ないようだ。というか発表の主旨からしても広く公開すべき性質の資料なので、こちらのリンクに発表資料を置いた。関係者の方で当日参加できる方はよ…