随机逼近

[拼音]：suiji bijin

[外文]：stochastic approximation

在有随机误差干扰的情况下，用逐步逼近的方式估计某一特定值的数理统计方法。1951年，H.罗宾斯和S.门罗首先研究了此问题的一种形式:设因素x的值可由试验者控制，x的“响应”的指标值为Y，当取x之值x进行试验时，响应Y可表为Y=h(x)+ε，式中h(x)为一未知函数，ε为随机误差。设目标值为A，要找这样的x，使h(x)=A。分别以Y-A和h(x)-A代替Y和h(x)。不妨设A=0，问题就在于找方程h(x)=0的根x。例如若x为施药量，Y为衡量药物反应的某种生理指标，则问题在于找出施药量x，以使该生理指标控制于适当的值A。

若随机误差 ε=0，且h(x)为已知函数，则数值分析中提供了许多近似解法。例如可用牛顿迭代法求解：从一适当选择的初始值x0出发，用迭代公式xi+1=xj+αjyj，式中yj=h(xj)；但当h(x)未知且有随机误差干扰时，αj和yj无法算出。罗宾斯等将上述算法稍作修改，引进迭代程序xi+1=xj-bjYj，式中Yj为当x＝xj时Y的响应值，bj为适当选定的常数。假定 h(x)为x的递增函数且增长速度不快于线性，而各次量测相互独立，则理论研究证明了，只要取bj>0满足则由此算法决定的序列{xj}以概率1收敛到x(见概率论中的收敛)。上述算法叫罗宾斯-门罗程序，这是随机逼近的开创性的工作。

在有的问题中，要找的不是h(x)的零点，而是其极值点慜，它满足h′(慜)=0。但试验观测到的不是h′(x)+ε而只是h(x)+ε，故上述算法不能用于逼近慜。J.基弗和J.沃尔弗维茨依据用差商逼近h′(x)的想法在 1952年提出了一个算法（基弗-沃尔弗维茨程序）以解决估计慜的问题。

1951年以来，随机逼近的研究已取得了很大的进展。在理论上，讨论了量测误差不独立的情形和带约束条件的情形，以及h(x)具有更一般性质的情形。也考虑了时间连续时的算法和修正系数bj的选择，并对算法的渐近性质作了深入的研究。在方法上，也从纯概率发展到结合使用微分方程等工具。随机逼近在优化问题、适应控制、调节及跟踪系统等方面都有应用。

参考书目
  1. M.T.Wasan，Stochastic ApproxiMation，cambridge Univ. Press，cambridge，1969.
  2. H.Robbins and S.Monro，A Stochastic Approximation Method，Ann. Math. Statist.，Vol.22(1)，1951.
阅读全文