大規模最適化問題、グラフ探索、機械学習やデジタルツインなど

旧名:最適化問題に対する超高速&安定計算

2008-07-01から1ヶ月間の記事一覧

Opteron クラスタ引退

新しいクラスタ計算機の搬入に伴って、2005年から稼働している Opteron のクラスタを停止することになった。電源や空調的には今後も稼働させることは不可能ではないのだが、5台で 58GFlops(Linpack)という性能なので、新クラスタの PowerEdge2900 1台(90GFl…

SDPA とボトルネック

SDPA において、Schur complement 行列を疎行列で保持、計算したり、図にあるような F3 の計算式を使用した場合には、CPU とメモリ間のバンド幅がボトルネックになると思っていたのだが、どうもそんなに簡単ではないらしい。その理由の一つは、最近の Intel …

新経路検索システム

パーソナルナビゲーションシステム(いわゆる簡易型カーナビ)の販売が昨年から伸びてきているそうだ。低価格でコンパクト、取り外しも自由などと利点はいくらでもあるのだが、簡易型ではデータ記憶用には HDD でななく、フラッシュメモリなどを使用している…

CUDA と最適化

CUDAの資料を見ていると面白そうだと思うのだが、どうも実際に取り組み気がしないのは以下の理由による。 1:現在取り組んでいる最適化ソフトウェアでは役に立ちそうにない。 1-1 : SDPA では倍精度以上の精度で高速な BLAS が必要。 1-2 : 最短路問題では…

メモリにデータが入れば速い

全米データを 1 query (経由点なし)で解くと以下のような実行時間になる。 real 0m4.460s user 0m3.623s sys 0m0.836s 一方、図のように経由点 14 個, 15 query で解いてみる。 real 0m28.025s user 0m27.209s sys 0m0.809s 基本的に p2p タイプなので二点…

Core 2 対 Atom その3 (最短路問題)

今度は最短路問題を用いて比較を行う。ダイクストラ法でもヒープやバケットを利用したソフトウェアを開発しているが、今回はメモリ量が少なめなのでヒープを用いることにする。 ○ダイクストラ法 with ヒープ sp.heap 1: NY 10 クエリ(データ名は最短路問題オ…

Core 2 対 Atom その2 (SDPA)

両者とも VMware 上の Vine Linux 4.2 を用いる(ただし Core 2 は Windows XP, Atom は Windows Vista)。SDPA 7.1.1 を用いて両者の性能を比較する。参考までに以下の高速環境も実験に用いる。 Dell PowerEdge 2900 CPU: Intel Xeon X5460 3.16GHz メモリ: …

Core 2 対 Atom その1

前々から Intel Atom の性能が気になっていたので、工人舎の Ultra Mobile PC を購入して性能評価と最適化問題用ソルバーの適用について探っていくことにした。このPCのスペックは以下の通り。 工人舎 SC3KP06GA CPU : Intel Atom Z520 (1.33GHz) メモリ : 1…

整数計画問題の解き方、扱い方 その2

現在では相当大きな整数計画問題でも商用のソルバーで解くことができるのだが、オンラインの動的なシステムで定期、不定期に整数計画問題を解きたい場合には、 1:無償であり、ソース組み込んで再配布が可能なライセンス形態であること。GNU の GLPK などが…

経由点付き最短路問題 Online Solver その2

経由点付き最短路問題 Online Solverの公開を開始した。公開後に何件か最短路問題に関する問い合わせをいただいた。その一つは一方通行や経由点に関するものだが、また一方で子問題(サブルーチン)として最短路問題を使用したいという件も何件かあった。現…

経由点付き最短路問題 Online Solver

某社からの質問がきっかけで最短路問題 Online Solverで幾つか経由点を指定できるようにしている。経由点を指定された順番に巡るのであれば、単に最短路問題を複数回解くだけで済む。複数クエリも一つの入力ファイルで済むようになっているので、実際には経…

最短路問題オンライン・ソルバーとブラウザ

最短路問題オンライン・ソルバーだが、様々なブラウザからでもサービスが利用できるように開発が進められている。Firefox, Opera, Safari, IE などで試しているのだが、意外と優れているのが Safari で Mac でも Windows でも高速描画が見られ、png 画像ファ…

整数計画問題の解き方、扱い方

突然だが、整数計画問題に対する解き方、扱い方について。 1:整数計画ソルバー: 整数計画問題に対しては CPLEX, Gurobi 等の有償整数計画ソルバーが有名であり、世界中で広く使用されている。他にも NUOPT や MATLAB の Optimization Toolboxなどの有償整…

たまに来る質問

ブログにグリッドというキーワードが入っているので、たまに NAREGI などに関する質問が来たりしますが、以下のプロジェクトには全く関わっておりません。よって何の研究をしているかについてもほとんど知りません(噂程度)。 1: NAREGI 2: 情報爆発 3: 情…

今後の開発について その3

以前アップしたボトルネックに関する図と説明だが、いろいろと指摘をいただいたので少し改訂した。AMD のマニュアルなどを調べても L1, L2 キャッシュと TLB が複雑な構造と関係になっていて、簡単に図示するのは難しい。最近の CPU (Penryn 系)では 6MB と…

最短路 Online Solver ダウンロード

最短路 Online Solver だが、ダウンロードする出力ファイル(png)が大きいとダウンロードに時間がかかるので、ブロードバンドとナローバンド両方のページを用意している。家からサーバまではブロードバンドのはずなのだが(実際に sftp では 2, 3 Mybtes/秒の…

ノートパソコンを初期状態に戻す

2002, 2003 年に購入したノートパソコンだが、これまでいろいろなソフトウェアをインストールして使ってきた理由もあって、非常に動作が重くなって使い物にならなくなった。不必要なソフトウェアを削除したり、ディスクスペースを空けるようにしたが、それで…

今後の開発について その2

SDPA における主要部分である Schur complement 行列の計算という作業がある。これを SDPARA では、各行をプロセスごとに割り当てて並列計算を行っている。これをいずれ SDPA でも SDPARA でも、マルチスレッドで各行を並列計算することを狙ってる。いろいろ…

今後の開発について その1

9,10日と今後の開発計画について議論を行った(非常に中身の濃い議論だった)。高速化等の改善のためには、まず現在のプログラムについて徹底した調査が必要になる。どのような問題を入力したときに、どの部分がボトルネックになるのかについても、いろい…

新クラスタ計算機

新クラスタ計算機の搬入(42U ラック × 3個, PowerEdge 2900III(5U) × 16台, KVM スイッチ, モニタ, キーボード)が7月29日になったので、搬入と同時に、 1:現サーバ (PowerEdge2900III)のラックへの追加 2:10GbE スイッチと GbE スイッチのラックへの…

xosview

xosview という便利なツールがあるが、Vine Linux などは apt-get で入手することができるが、CentOS では無理なので、自分でソースを持ってきて make することにした。以下は CentOS 5.2 for x86_64 の場合。 1: ソースファイルを以下から入手する。 http:/…

グラフ疎化の功罪

The 9th DIMACS Challenge では、二点間の最短距離をいかに効率良く速く求めるかということなので、最短路の出力までは義務になっていない。いろいろと検討してみたのだが、グラフ疎化というか前処理をして点や枝を消去しておくと、最短距離は高速に求めるこ…

全日空と A380

以前、エアバス A380 の納入が大幅に遅れるという事態が発生し、多くの顧客(航空会社)がボーイングに流れたが、今度はボーイングの B787 の納入が遅れて、全日空が A380 を購入するという事態になっている。もともと全日空としては、A380 と B787 の両方を…

プレパンデミックワクチン

新型インフルエンザに対するプレパンデミックワクチンの効果というのは、専門家にでも意見が分かれる。新型インフルエンザが実際に発生してみないと確かに詳しいところはわからないだろうが、この辺に研究者の性格の違いのようなものを見ることができる。現…

最短路問題オンライン・ソルバーのデモ

授業で最短路問題オンライン・ソルバーのデモを行ったのだが、特に反応なし。 1: そもそもダイクストラ法というアルゴリズムを知らない 2: 何点ぐらいのグラフで何秒ぐらいで解けるのかという知識、感覚が無いので、速いとか遅いとかという実感がわかない と…

SDPA Online Solver における SDPA, SDPARA の自動選択機能

ユーザが SDPA Online Solver を通じて SDP を解きたい場合には, 1 : 実行するソフトウェア(SDPA, SDPARA, SDPARA-C), 2 : 使用する CPU (コア)数の選択を行う必要がある.しかし,これらの選択はユーザには判断が難しいので,入力した SDP の特性(行列のサイズ…

ポータブルナビゲーション

自分のところで最短路の研究や Online Solver を開始してから、市販のカーナビでの検索性能が大変気になるようになった(研究のために1台くらい買ってしまおうか?)。先日も某電機量販店でパナソニックの CN-MP50D をいろいろと試してみた。データの大きさ…

あのグラフィックスチップメーカーは?

日経 WinPC の8月号に PC 自作検定という記事があり、業界歴史編の中にグラフィックスチップメーカーの問題も含まれている。昔懐かしいメーカーが今はどうなっているのか興味がある。 1: 3dfx Interactive : Voodoo といった 3D 系のチップが懐かしい。200…

Windows XP 64bit

Windows XP のダイレクト OEM 販売および小売ライセンス販売というのが 7月から出来なくなっているのだが、Windows XP Professional へのダウングレードサービス付き Windows Vista Business と Ultimate という仕組みがある。要するに Vista を買っても、ユ…

アルゴリズムとデータ構造

超久しぶりにピアノを弾いてみた。パソコンのキーボードだとかなり高速に動く両手だが、ピアノだと特に左手が思うように動かない。今までの経験量の差なのだが、音大出身者だと専攻が何であってもピアノぐらいは弾けるそうだ。同じように理工系出身者だと、…