大規模最適化問題、グラフ探索、機械学習やデジタルツインなど

旧名:最適化問題に対する超高速&安定計算

2009-06-01から1ヶ月間の記事一覧

第2回研究会のお知らせ 更新 6月26日

第2回研究会のお知らせです。場所は前回と同じになります。 日 時 : 2009年7月25日(土)14:00~ 会 場 : 中央大学 後楽園キャンパス 6号館4階 6402号室 講演者 1: 山田雄二氏 (筑波大学) 平滑化スプライン最適化による最適ヘッジ問題 最適ヘッジ問題とは…

DNN上でのSDP緩和問題 その2

非負かつ半正定値(DNN : doubly non‐negative)制約を両方使用すると SDP 緩和の最適目的関数値が元の問題の最適目的関数値に非常に近い値になる件の続きになる。 1: 現在以下の二つの問題を試しているが、元問題は非凸QP(二次計画問題)になる。これから DNN …

最短路 FAQ

我々の最短路研究に関する FAQ 集を公開した。2ページ目のデモ画面とは最短路 Online Solver のことになる。 http://sdpa.indsys.chuo-u.ac.jp/~fujisawa/ss-faq.pdf 大規模最短路問題に対する高速&高性能計算システム 技術の概要 大規模なネットワーク上で…

応用に役立つ50の最適化問題

応用に役立つ50の最適化問題ということで以下の50個を揃えてみた(少し強引に50個に合わせたところもあるが)。最適化問題や最適化手法で構成されている。 2章:線形計画問題 線形計画問題 包絡分析法 多目的(線形)計画問題 確率分布の推定 区分線形関数…

研究室内仮想クラウド

現在の研究予算から Amazon EC2 などのクラウド予算を捻出するのは難しそうなのと、外部の研究用の計算機を借りるのは様々な管理ポリシーを気にする必要があるので、研究室内に仮想クラウド環境(プライベート&パブリッククラウド)を作成することにした。つ…

DNN上でのSDP緩和問題

非負かつ半正定値(DNN : doubly non‐negative)制約を持つ SDP 緩和問題の最適解を求めると最適解との gap が非常に小さいことが数値実験によってわかってきた。ただし非負制約を全ての変数に対して入れていくとスラック変数の数が膨大になって非常に大きな S…

災害対策システムと AR

災害対策システムを調べていたら AR(拡張現実)の利用などが書いてあった。AR 系の話は嫌いではないが、人間の調べたり考えたり疑ったりする能力を低下させていくように思える。災害時に狭い地域から多数の人が同時に携帯接続を行えば通信不能になりそうだ。…

SDPA と SDPARA に関する二つの疑問

昨年のことになるが、SDPA のユーザーから以下のような質問(疑問)を受けた。理論系だけの知識しか無いとこのような疑問を持つのも当然かもしれないが、今後も様々な開発計画がある。 ○疑問 1 : SDPA はソフトウェアとしては完成の域に入っているので、もう…

第2回研究会のお知らせ 更新 6月19日

第2回研究会のお知らせです。場所は前回と同じになります。詳細が決まりましたらまた連絡致します。 日 時 : 2009年7月25日(土)14:00~ 会 場 : 中央大学 後楽園キャンパス 6号館4階 6402号室 講演者 1: 山田雄二氏(筑波大学)TBA 2: 中田真秀氏(理化…

Vine Linux 5 α2

Vine Linux で現在 Ver.5 の α2 が公開になっている。仮想マシンでしか使用していないので速度などの点は良くわからないが、Vine Linux の大きな特徴である日本語 LaTeX の使い勝手の良さは引き継がれているようだ。今回の Ver. 5 での大きな変更の1つは 64b…

SDPA 7.3.0 の実験結果

SDPA 7.3.0 と他のソフトウェア(CSDP, SDPT3, SeDuMi)の比較実験結果を以下に置いた。 http://sdpa.indsys.chuo-u.ac.jp/~fujisawa/ronbun-sdpa7-results.pdf SDPA の結果を簡単に考察すると、以下のようになる。 1: Schur complement 行列が疎になる場合に…

Lucie によるクラスタインストール

現在、大規模計算 + 大規模データ + 最適化の研究のために Lucie による動的かつ自動のクラスタインストールを利用している。以前中高生向けのサイエンスセミナーということで半日コースで出来ることを考えていたのだが、”3時間で出来る並列計算機”というの…

Fedora 10 から Fedora 11

研究室の OS が Fedora 10 のマシンを全て 11 にアップグレードした。以下の二つの方法を試した。 1: コマンドラインから preupgrade とする 2: Fedora 11 のインストールメディア(DVD)を用いる 1 の preupgrade は失敗することもあると言われているのだが、…

SDPA on AMD Istanbul

SDPA 7.3.1.RC2 を AMD Opteron (Istanbul) 2.6GHz (2-way or 4-way) で実行する機会があった。思っていたよりも Istanbul での性能は良いのだが、コストパフォーマンスでは 2-way > 4-way になる。4-way は 2-way の通常2倍以上の値段がするのだが、それに…

仮想クラウド環境と SDPA オンラインソルバー

そろそろ SDPA オンラインソルバーの次期システムを考え始めている。まずソルバーの特徴だが、以下のようになっている。 1: SDPA は 1 台(マルチコア)で実行 2: SDPARA は 複数台(しかもマルチコア)で実行 SDPA は1台で計算が出来るので、SDPA の計算サーバ…

クラウドと最適化 その2

Amazon の Auto Scaling という仕組み(サービス)がある。需要に応じて自動的にサーバの規模がスケールアップ&ダウンする。これも個別のユーザーにとっての最適スケジューリングと Amazon システム全体にとっての最適スケジューリングはおそらく異なる。シス…

クラウドと最適化 その1

先日、クラウド関係の発表聞いたのだが、これはクラウドとは関係ない(あるいはほとんどない)というのが多い。そこでクラウドコンピューティングには決まった定義は無いとか、今までコンピュータ技術の集大成とか定義されてしまうと何でもアリになってしま…

次世代無線通信

イーモバイルでも結構通信速度は速いのだが、今年から来年にかけて幾つかの次世代無線通信が登場することになっている。来年では NTT ドコモが LTE という商用サービスを開始する予定で、最大受信速度が 100Mbps, 最大送信速度が 50Mbps ということなので、…

マルチコアと仮想化

AMD Istanbul と Intel Nehalem-EX に関する情報を業者の方から頂いたのだが、公表されている範囲内ということで、基本的にはインターネットで入手できる情報になっている。AMD はもうすぐ Istanbul で 6 コア搭載だが、来年以降には 12 コア さらに 16 コア…

仮想クラウド環境と最短路問題

現在開発中のシステムのどこが特筆すべきか点かと言うと以下の通り。 1: 動的にクラスタ(ノード)をネットワーク経由で簡単かつ高速にインストールすることができる。ノードごとの設定情報を中央レポジトリに保持している 2: 最短路問題に対する性能が世界…

オープンキャンパスでの最適化デモンストレーション

大学にはオープンキャンパスという主に高校生向けの一般公開のイベントがある。最適化問題と言っても数式などで説明すると嫌われてしまうので、簡単に理解できて目に見えるデモがあると重宝する。昔は多くの方が TSP(巡回セールスマン問題)のデモを使ってい…

今度は Cholesky だ

SDPA では Schur complement 行列に関する部分の実行時間を減らすのは大方成功したので(マルチスレッド計算など)、最近実行時間の要素として Cholesky 分解が目立ってきた。今度はこの部分についていろいろと考えてみることにする。ちょっと調べて見たが、ま…

ライブデモ

今まで何回もライブデモというものを行ってきたが、本番で何が起きるかわからない怖さがある。昔々、ssh がまだ無かった時代に広島から東京のマシンに telnet でログインして xhost や setenv DISPLAY などを設定して広島、東京間の X11 アプリのデモをした…

最短路問題の応用

OR(オペレーションズ・リサーチ)系は外部の方から見ると、ほぼ同じような研究をしているように見えるらしく簡単に共同研究出来るように見えるのかもしれないが、分野として扱う範囲は決して狭くはないので、そんなに簡単にはいかない。しかし何か共同でやっ…

Sparse SDP (Schur complement 行列が疎)

Sparse (疎)な SDP と言っても Schur complement 行列が疎になるものだが、Schue complement 行列のサイズが 31630, ブロック数が 3885, 行列サイズがブロック対角で 45385 という非常に巨大な SDP になる。ところが、Schur complement 行列が疎になるので、…

SCOPE in つくば 2009 : 報告

無事に 5 月 30, 31 日と ”SCOPE 2009 in つくば” を開催することができました。特にホスト側の筑波大学の皆様に大変感謝しております。参加者は116名を数えまして、この研究会初の3ケタの参加者になりました。そのため発表会場や懇親会の会場が手狭にな…

SDPA 2.01, 3.20, 4.50, 5.01, 6.21, 7.3.1

歴代の SDPA のソースファイルが Ver. 0.x から 7.x まで保存されているので、最新のマシンで復活させてみた。make するためには 古いソースにはかなりの修正が必要だった。ここ10年ぐらいで相当 C/C++ の文法に変化があったことがわかる。この中で 2.01, …

SDPA の数値実験 2009 年 5 月

SDPA などのソフトウェアの数値実験を行ったが結果を画像として掲載するのが難しいので、こちらに PDF ファイルを置いた。 SDPLIB の問題は現在のハードウェアやソフトウェアの環境ではソフトウェア間の差がほとんど出ないような小さい問題が多い。大きめの…

Intel Nehalem-EX と SDPA

アキバ情報で Intel 8 コアの Xeon (Nehalem-EX) がもうすぐサンプル出荷されるという噂を聞いたが、5月26日にIntel から正式に Nehalem-EX の情報が公開された。事前の情報通りに L3 キャッシュは 8 コア共有で 24MB になっている。ただしダイの写真を見…

SDPA の HugeTLBfs への対応

近い内に SDPA (おそらく SDPARA も)のメモリ管理部分のコードを修正して正式に HugeTLBfs 対応にする予定になっている。それほど困難でも面倒でも無さそうなので、もう少し早めに取り組んでも良かった。もちろん全ての変数を HugeTLBfs 用に確保することは…