準ニュートン法

出典: ORWiki

【じゅんにゅーとんほう (quasi-Newton method)】

制約なし最適化問題 $\mathbf{min}f(x)\,$ (ただし $\ f:\mathbf{R}^n\to \mathbf{R}\,$ )を解くための勾配法の1つ. 勾配 $\nabla f(x)\,$ を用いてヘッセ行列の近似行列を生成して, ニュートン法と同様の効率を得るように工夫されている. $k\,$ 回目の反復でヘッセ行列の近似行列を $B_k\,$ としたとき, 連立1次方程式 $B_kd_k=-\nabla f(x_k)\,$ の解 $d_k\,$ を探索方向に選び, $x_{k+1} :=x_k+\alpha_kd_k\,$ ( $\alpha_k\,$ はステップ幅) によって近似解の点列 $\{ x_k\}\,$ を生成する. 行列 $B_k\,$ は更新公式を用いて逐次生成され, 特にBFGS公式が有効である.