
SDPA と SDPARA における重要なパラメータにκというのがある。簡単に説明はできないので、興味のある方は図の説明を見ていただくとして、行列データ中にどのくらい非零要素があれば、密(Dense)あるいは疎(Sparse)とみなすべきかという決定を行うためのパラメータである。この10年間でこのパラメータの適正値が大きくなってきている。大きくなるということは簡単に言うと、以前と比較すると相当疎な行列でも密行列に変換して計算した方が速くなるということである(SDPA 内の計算では厳密は少し違うことをやっているのだが)。
この背景にはキャッシュメモリの高性能&大容量化、あるいはメモリバンド幅の相対的な不足などがある(CPUの演算能力は伸びているが、メモリのバンド幅の伸びが不足している)。図中の F3式というのは、行列 Ai と Aj が疎(つまり非零要素の数がO(1))ならば、計算量は O(1) になるのだが、メモリに対する不連続アクセスとデータ移動量が多すぎて計算量から計算時間を見積もることがあまり意味をなしていない。
余談だが、データ中の密行列と疎行列の非零要素数の差があまりにもはっきりしている場合には、κの値はあまり重要ではない。