大規模最適化問題、グラフ探索、機械学習やデジタルツインなど

旧名:最適化問題に対する超高速&安定計算

2011-12-01から1ヶ月間の記事一覧

2011年

今年(2011年)も今日で終わりとなりました。10月から JST CREST の研究プロジェクトが開始されまして、様々な研究プロジェクトの立ち上げや研究計画の策定を行っております。最適化関連の研究であるのと同時に Big Data 処理のプロジェクトとしての性格も持っ…

第1回 Graph CREST シンポジウム

第1回 Graph CREST シンポジウムが以下の内容で開催予定となっております。また詳細が決定次第、こちらのブログからも発表する予定です。 開催日:2012年3月23日(金) 場所:中央大学(予定) 9:45 - 10:00 Katsuki Fujisawa Introduction : CREST project…

調達予定 その4

Westmere-EX 搭載 40 コアマシンの購入許可がようやく下りてきた(年末ぎりぎり)。しばらく発注作業も出来ないので実際に入手できるのは1ヶ月以上先の話になる。ちなみに現在まで AMD Opteron Magny-cours 48 コアマシンは高負荷時での安定性が弱く、大規模…

TSUBAME 2.0 と SDPA, SDPARA その2

前回の続きで SDPARA の TSUBAME 2.0 での make について。 make には Intel Compilier + mvapich2 を使うので、以下のように設定を行う。 export PATH=/usr/apps/mvapich2/1.5.1/intel/bin:$PATH export LD_LIBRARY_PATH=/usr/apps/mvapich2/1.5.1/intel/li…

GPSやRFIDなどのセンサーを用いた人や車などの位置情報

少し前のプレスリリースですが、GPSやRFIDなどのセンサーを用いて人や車などの位置情報を大量に取得ということですので、非常に貴重データで様々な分野への応用も期待できます。今後はストリーミング処理、前処理(確率やグラフ探索等)によるデータ縮約それに…

TSUBAME 2.0 と SDPA, SDPARA

東工大のスパコン TSUBAME 2.0 上で SDPA と SDPARA のバイナリ作成を行った。 例えば SDPA 7.4.0 は Intel Compiler を用いて以下のように configure & make することができる。 ◯ SDPA 7.4.0 export SDPA_HOME=$(HOME)/sdpa7.intel export INTEL_LIB=/usr/…

X10 のサンプルとコンパイルと実行

X10 のバイナリが /usr/local/X10/x10-trunk/x10.dist/bin/ がインストールされていると仮定する。このディレクトリを環境変数 PATH に含める。 /usr/local/X10/x10-trunk/x10.dist/bin/は以下の通り。 -rwxr-xr-x 1 root root 47406 12月 25 03:42 X10Launc…

X10 のビルド

X10 のビルドについて。 SC11 で X10 の Tutorial が行われた。資料は現在公開中。 SC'11 Tutorial Materials Available X10 のソースからのビルドに必要な環境は以下の通り。 ◯Java 6.0 compatible SDK. ◯ant 1.7 or better ◯g++ 4.2 or better これらの条…

SDPA 1998年 v.s. SDPA 2011年

久しぶりに自分の博士論文を見る機会があったので、1998年当時の SDPA 4.1.0 と現在の SDPA 7.4.0 の性能を比較してみた。アルゴリズム、実装それに計算機などの差があるので、以下のように 1998 年と現在を比較すると爆速になっている。それでも制御系の問…

停電とネットワーク停止

12月26日の全館停電のため以下のようにネットワークも停止します。そのため以下の期間では全てのサーバ(メールや Web 関係、Online Solver等)が停止します。再会は27日夕方の予定です。 【ネットワーク停止について】 停止期間 : 12月25日(日)…

JORSJ SCOPE 特集号

以下のように JORSJ の SCOPE 特集号が刊行されました。5月くらいから本格的に論文を募集しまして、7月に投稿〆切となりました。スケジュール的には厳しいものがありましたが、関係者の皆様のご協力によって予定通り Vol.54, No.4 として刊行することがで…

gcc 4.6.2 v.s. Intel Compiler 12.1.0 その2

前回と同じ実験を今度は nehalem 系の Xeon のマシンで行ってみた。やはり gcc 4.6.2 と Intel Compiler 12.1.0 の性能は拮抗している。最新判の SDPA 7.4.0 が gcc 4.6.2 でコンパイル出来ないのが残念なところ。 ◯問題 theta6.dat-s gcc 4.6.2 (SDPA 7.3.2…

CREST研究員&研究補助員募集中

当 CREST で現在研究員と研究補助員を募集中です。詳しくは以下をご覧下さい。適任者が現れて採用が決定次第、早めに採用を打ち切ります。 http://jrecin.jst.go.jp/seek/SeekJorDetail?fn=0&id=D111120772&ln_jor=0 http://jrecin.jst.go.jp/seek/SeekJorDe…

gcc 4.6.2 v.s. Intel Compiler 12.1.0

gcc 4.6.2 (Fortran も含む) と Intel Compiler 12.1.0 (Fortran も含む)の対決。ちなみに MUMPS の影響で SDPA 7.4.0 は gcc でのコンパイルが正常に出来ない。 ◯意外と gcc (4.6.2) は速い ◯F3 式律速型の問題(FH2+.1A1.STO6G.pqgt1t2p.dat-s)では SDPA 7…

現在進行中の SDPA(SDPARA)関連の研究

現在進行中の SDPA(SDPARA)関連の研究は以下の通りです。アルゴリズム的にも HPC 的にもまだまだ改良&高速化の余地は大きいようです。 1: TSUBAME 2.0 のような CPU + GPU システム上での SDPARA の Cholesky 分解の高速化 2: SDPARA(SDPA)の X10 化 3: SDPA…

公募案内

以下に公募案内を掲載します。着任時期は 2012年4月ではなく 2013年4月になります。 ---------------------------------------------------------------------------------------------------------------- 1.学部学科等 中央大学 理工学部 経営システム工…

SDPARA 関連の論文

SDPARA関連で二つの論文が近日中に出ます。後者は Handbook on Semidefinite, Conic and Polynomial Optimization の中に掲載されます。 ◯Parallel solver for semidefinite programming problem having sparse Schur complement matrix Makoto Yamashita, K…

Gurobi 4.6.0 v.s. 4.6.1 v.s. CPLEX 12.3.0.1

GUrobi 4.6.1 がリリースされたので、4.6.0 及び CPLEX 12.3.0.1 と簡単な比較実験を行った。Gurobi 4.6.1 での変更点は以下の通り。 【Gurobi 4.6.1での変更点】 ・C++, Java, .NET にも、parameter、PreSparsifyを追加 (PreSparsifyは、前バージョンから…

2011年度第2回 SCOPE講演会:再掲載

今週の土曜日開催なので、再掲載します。JORSJ の SCOPE 特集号(Vol.54, No.4)の刊行を記念しまして、以下の特集号論文による講演会を開催したいと思います。年末のお忙しい時期ではございますが、是非ご参集下さい。夜には懇親会も予定しています。 ○2011年…

SONY NZ-W1000

SONY NZ-W1000 は通話の出来ない XPERIA Arc とも言うべきモデルで、ウォークマンと呼ぶか、アンドロイド端末と呼ぶのか難しいところである。スペック的には以下のように現在では標準的なデバイスを搭載している。しかし、実際には他のアプリを実行しながら…

「多倍長精度計算フォーラム」 第2回研究会:その2

昨日の第2研究会では他の用事が入っていたために全ての発表を見ることはできなかった。 ◯海外(日本以外)で最適化と計算の話をすると、スパコンなどでの単なる倍精度演算の高速化よりも多倍長などの高精度安定計算の方が興味を持って聞いている人が多い(…

「多倍長精度計算フォーラム」 第2回研究会

多倍長精度計算フォーラムは本日開催となりました。当 CREST の中田真秀研究員も以下の発表を行います。 「多倍長精度計算フォーラム」 第2回研究会 平成23年12月10日(土):工学院大学 新宿校舎 会場:28階 第4会議室 講演者(50音順) 中里 直人(会津大学…

e-サイエンスに向けた革新的アルゴリズム基盤 Webページ

e-サイエンスに向けた革新的アルゴリズム基盤の Web ページが出来ました(京大の伊藤先生作成)。今後どういう進展になるかと言うと再度のヒアリング等で優先順位が決定されて、そこで実施の可能性が決まってくるのだと予想されます。厳しい予算事情の中でどの…

今後の予定

◯2011年度 第2回 SCOPE 講演会 日 時 : 2011年12月17日(土)14:00~17:00 会 場 : 中央大学 後楽園キャンパス 6号館 6410号室 ◯JST CREST シンポジウム 日 時 : 2012年3月23日(金) 会 場 : 東京(未定) 海外招聘者等による発表とチュートリアルあり …

SDPA と Fedora 15 & 16

またまた前回の続きで今度は SDPA 7.4.0 を用いた調査になる。SDPA でもほとんど性能差は見られない。 ○問題1:theta6.dat-s Fedora 15 SDPA 7.4.0 + GotoBLAS2 for Sandy Bridge : 8.865秒 SDPA 7.4.0 + Intel MKL 10.3.7-256 : 9.404秒 Fedora 16 SDPA 7.…

Gurobi と Fedora 15 & 16

昨日と同様に Gurobi 4.6.0 を用いて、Fedora 15 と 16 環境下での性能差を調べてみた。こちらの方は Fedora 16 の方が速いという現象は特に見られない(むしろ遅くなっている)。 ◯問題 gmu-35-40.mps (MPILIB2010) 最適解 -2.4065401670e+06 Fedora 15 : 7…

CPLEX と Fedora 15 & 16

CPLEX の 12.3.0.1 を用いて、Fedora 15 と 16 環境下での性能差を調べてみた。Fedora 16 の方が少しだけ速くなっている。他のソフトでも同様の調査を行いう予定。 ◯問題 gmu-35-40.mps (MPILIB2010) 最適解 -2.4065401670e+06 Fedora 15 : 200.06秒 Fedora …

Fedora 16 その2

Fedora 16 でのソフトウェアのインストール&実行報告について。結果的に見ると下記のように多くのソフトウェアの実行が可能である。 ◯ VMware Player 4.0.1 : 可能 ◯ Intel C++ and Fortran Composer XE for Linux 2011.7.256:可能 ◯ Adobe Reader 9.4.2-1…

Fedora 16

Fedora 16 がリリースされたので、Fedora 15 から preupgrade で 16 にアップグレードしたらビデオドライバ関係で様々なトラブルが発生した。いろいろと面倒なことが発生したので、結局 DVD のインストールメディアを作成して新規インストールを行った。/hom…

Cholesky 分解とCPUとGPU:その1

SDPARA では ScaLAPACK を用いて Cholesky 分解を行っている。これを効率良く並列処理するために以下のようなアルゴリズムを採用している。LU 分解とCholesky 分解は似ているようで異なるが、それでは全く異なるかというとそうでもなく LU 分解のプログラム…