大規模最適化問題、グラフ探索、機械学習やデジタルツインなど

旧名:最適化問題に対する超高速&安定計算

2008-10-01から1ヶ月間の記事一覧

新 SDPA サーバ

現在の SDPA サーバは自作マシン(しかも適当に?急いで作ったマシン)なので、本当はサーバには向かない(それでも現在まで異常は発生していないが)。よって、SDPA サーバも以下の仕様の PowerEdge SC1435 を購入して交替させる予定である。研究室の新しい…

高速エレベーター

以前、台北 101 ビルに行ったときに、いろいろな資料の中に施工やエレベーターなどで日本の技術のたくさん発見することができた。5階にチケット販売所があって、ここからエレベータで展望台まで登るのだが、このエレベータが最高速度は時速 60km/h というこ…

MUMPS

疎な半正定値行列の Cholesky 分解の用のソルバーとして MUMPS : a parallel sparse direct solver を試している。SDPA 7.x には自前の Sparse Cholesky Solver が含まれているのだが、場合によってはこの部分がボトルネックになることもある。この MUMPS は…

仮想マシンクラスタ その2

VMware Server を使おうと考えていたのだが、WMware Server のバージョンが 2.0.0 で、VMware Player のバージョンが 2.5.0 なので後者を使うことにしている。以下のように VMware Player のバージョンで随分と性能が異なる。 SDPARA 7.0.1 + GotoBLAS 1.26 …

仮想マシンクラスタ

図中の4台で構成されるクラスタ計算機(CPU : Intel E5345)の各ノードで仮想マシン(VMware)を動作させて、その上で CentOS 4.6 (64bit)を動作させるようにした。たった 4 台の仮想マシンであるが、クラスタ計算機として動作するようになっている。 1: 各ノー…

低価格 PC と Linux

日経 Linux の 11 月号に Linux が超低価格 PC に採用されない理由という記事があった。詳細は記事を見ていただくとして, Linux やフリーソフトに対する理解が足りないのが大きな理由の一つになっている。別な見方をすれば何故 Linux は無償で Windows は有…

Ninf-G 5.0.0

Ninf-G は、Ninf-G Ver.1 から使用を開始して、Ver. 2.4.0 まで使用したのだが、その後しばらく使用をお休みしていた。実はいまだに Ninf-1 を SDPA Online Solver で使用している。Ninf-G は Ver.1 から 4 までは Globus が必須とされていた(Ninf-G の G は…

仮想マシンでの実行

仮想マシンで実行を行ったときに、どの程度性能が低下するのかを調べた。ホストとゲストの OS が異なるが、それほど大きな影響はないだろう。おおよそ1割程度の性能低下でこれが大きいのか小さいのかは判断が分かれるところかもしれない。仮想マシン上では…

CPLEX 対 GLPK

研究室のサーバに MATLAB 7.7.0.471 と CPLEX 11.2.0 をインストールした。両方とも遠隔からインストールしたので結構面倒だった。 ○ Xeon Dell PowerEdge 2900 CPU : Intel Xeon X5460 3.16GHz メモリ : 48GB OS : CentOS 5.2 for x86_64 せっかくインスト…

SDPA クラスタと最短路問題

グリッド・コンピューティングとクラウド・コンピューティングの違いを考えていたのだが、両者にはもともと厳密な定義があるわけではないので、まさに雲を掴むようなところがあり、結局考えてもあまり面白くないことに気がついた。グリッドの方はユーザに提…

様々なブラウザでの動作検証 その2

Internet Explorer 8 Beta (Ver. 8.0.6001.18241) が公表されたので、最短路 Online Solver の動作の検証を行った。IE 7 よりは相当速くなっているが、以下のように FireFox や Google Chrome の方がかなり速い。最短路 Online Solver では、今のところ IE …

行列の conversion その2

先日の conversion の続き。今度は以下のような別のグラフを考える。よって無向枝は (1,2), (1,6), (2,6), (3,4), (3,5), (3.6), (4,5) の7本になる。 octave:13> A A = 100 1 0 0 0 1 1 100 0 0 0 1 0 0 100 1 1 1 0 0 1 100 1 0 0 0 1 1 100 0 1 1 1 0 0 …

Ubuntu 8.04 で SDPARA

海外から Ubuntu 8.04 で SDPARA を実行したいという要望があったので、試しに SDPARA のバイナリを作ってみたところ結構大変だった。ここ数年は RedHat 系の Linux(RHEL, CentOS, Fedora, Vine など)しか使ったことがないので、Ubuntu などの debian 系は /…

SDPA クラスタで Linpack 測定 その10

Myrinet-10G 関係のドライバを変更したり、その他の設定を変更したりして、1GFlops だけ値が上がった。ここまで来ると 1GFlops 上げるのが非常に大変。ということで 1.435TFlops で 88.69% になった。 ●新 SDPA クラスタ (2008年) 16 Nodes, 32 CPUs, 128 CP…

行列の conversion

今日は話が変わって、行列補完(matrix completion) のための conversion の話。詳しくは添付の図を参照のこと。 1: SDP で A_0 と A_i(i = 1,2,...,n)から aggregated sparsity pattern を作成する(行列 A*) 2: ここからは matlab あるいは octave を使う 3:…

SDPA クラスタで Linpack 測定 その9

mpich2-mx-1.0.7..2 + mx 1.2.6 から mpich-mx_1.2.7..7.tar.gz + mx 1.2.6 に変更したところ、少しだけ性能が上がって 1.434TFlops = 88.62% になった。 ●新 SDPA クラスタ (2008年) 16 Nodes, 32 CPUs, 128 CPU cores; CPU : Intel Xeon 5460 3.16GHz (qua…

SDPA クラスタで Linpack 測定 その8

まずは HugeTLBfs の設定を SDPA クラスタで行う。その後、HugeTLBfs を利用するように書き換えられた HPL を用いて Linpack 測定を行う。前回 1.423TFlops から 1.432TFlops へ 9GFlops の上昇が見られた。これで効率(R_max / R_peak)は 88% を突破して 88.…

Amazon Elastic Compute Cloud (Amazon EC2)

Xen の仮想マシンが提供される Amazon EC2 は使用価格が安いのでランニングコストでの評判は良いようだ。 一番安い選択では以下のように 1 時間あたりで 0.1$ (現在のレート 1$ = 100円 だと1ヶ月で約 7200 円)になる。現在の最短路問題用のプログラムだと全…

SDPA クラスタで HugeTLBfs その2

SDPA クラスタで HugeTLBfs の設定を行い、HPL(Linpack)や SDPARA の実行を行いたいのだが、その前にいろいろと試して、どのようなプログラムが HugeTLBfs に適しているのかを調べている。 ○SDPA 7.2.0 + GotoBLAS 1.26(4スレッド) 1: D512.dat(密な問題) st…

Let's note 2008 年冬モデル F8 その2

Let's note は確かに良いところが多いのだが、現在使っている CF-W7 シリーズでは突然、無線 LAN の機能が使えなくなった。無線 LAN 機能は、インテル® Wireless WiFi Link 4965AGN なので、この部分にトラブルが生じたと思われる。OS から無線 LAN のチップ…

UPS

Web & メールサーバ等 3 台, クラスタ計算機 PowerEdge 2900III 16 台, PowerEdge 1900 4 台などを稼働させている。他にも稼働しているノードは多数あるが、これらは動作検証用などのマシンなので、サーバとして重要なのは上記の 23 台である。今まで UPS に…

SDPA クラスタで HugeTLBfs その1

●新 SDPA クラスタ (2008年) 16 Nodes, 32 CPUs, 128 CPU cores; CPU : Intel Xeon 5460 3.16GHz (quad cores) x 2 / node Memory : 48GB / node HDD : 6TB(RAID 5) / node NIC : GbE x 2 and Myrinet-10G x 1 / node OS : CentOS 5.2 for x86_64 Linpack : …

Let's note 2008 年冬モデル F8

Let's note の冬モデルが発表されていて、W シリーズだと夏モデルとあまり変わらない感じがするが、新しく F シリーズが発表されている。現在では 5 万円程度のノートパソコンも多く出荷されているので、それが4、5台変えるようなこの値段帯のノートパソコ…

SDPA クラスタで Linpack 測定 その7

最適化オプションの指定を変えて変更したところ、1.423TFlops(87.94%)まで性能が上がった。 ●新 SDPA クラスタ (2008年) 16 Nodes, 32 CPUs, 128 CPU cores; CPU : Intel Xeon 5460 3.16GHz (quad cores) x 2 / node Memory : 48GB / node HDD : 6TB(RAID 5)…

SDPA クラスタで Linpack 測定 その6

SDPA クラスタでの Linpack 測定だが、後藤さんのおかげで 1.415 TFlops に達した。性能比率は 1.415 / 1.61792 = 87.45% となった。いつものようにマルチスレッドで動作させるときのコアの割り当てだけではなく、MPI の Rank によって割り当てる CPU を指定…

初代 Opteron 対 Pentium 4 対 Atom

恒例?のベンチマークテストで今回は Pentium 4 (2002 年)が参加する。Pentium 4 で初めて hyperthreading technology に対応したチップでクロック周波数は 3.06GHz になる。今回も Atom の負けなので現在全敗中。Celeron 466MHz (1999年)というマシンがある…

SDPARA の SDPA クラスタ上での実行 その2

本の原稿のために実験結果を最新のものに変更した。昨日の図を見てもらえればわかるのだが、MPI で 128 プロセス(16ノード×8コア)使うということは、1ノードで 8 プロセス使うということなので、二つのコアが一つの L2 キャッシュを共有することになって、性…

SDPARA の SDPA クラスタ上での実行 その1

TORQUE を SDPA クラスタにインストールしたので、大規模実験が随分楽になった(もっと早めにすれば良かった)。CentOS 5.2 を使用しているので kernel 2.6.18 になるが、各コアに対するジョブの割り当ては思ったよりも優秀だ。例えば添付の図は Intel Xeon …

初代 Opteron 対 Atom

Intel Atom (Atom 230 : 1.6GHz : 2008年) と初代 AMD Opteron (Opteron : 1.4GHz : 2003年)を比較したところ、Opteron の圧勝だった。 ○ Opteron 自作 PC CPU : AMD Opteron 240 1.4GHz メモリ : 2GB OS : Fedora 9 for x86_64 ○ Atom MSI Wind PC CPU : In…

SDPA クラスタと TORQUE

SDPA クラスタに TORQUE Resource Manager をインストールした(Ver. 2.3.3)。/var/spool/torque/server.conf はとりあえず以下のように設定した。これで SDPA クラスタも Online Solver に参加可能だが、しばらく SDPARA や最短路の研究に使うので、公開はそ…