文章目录
- 引言
- Blum定理
- 关于MSA算法的讨论
此文章属于文献研读内容,文章内容来源于以下文献
Warren B. Powell, Yosef Sheffi , (1982) The Convergence of Equilibrium Algorithms with Predetermined Step Sizes. Transportation Science ,16(1):45-55. http://dx.doi.org/10.1287/trsc.16.1.45
引言
本文为MSA(the Method of Successive Averages)算法的满足条件是怎么来的?后续文章,主要探究优化问题中下降方向无法明确确定的情况下,Blum定理的重要性。同时讨论MSA算法的优劣,分析其在确定交通分配问题以及随机交通分配问题中应用的不同之处。
Blum定理
如前文所述,MSA算法最初被应用于下降方向无法明确估测的问题中,针对MSA算法的这一应用性,Blum提出了如下重要性定理。令 d ^ k \hat{d}^k d^k 为一个随机向量,假定 E [ d ^ k ] = d k E[\hat{d}^k]=d^k E[d^k]=dk,即 d ^ k ] \hat{d}^k] d^k] 为 d k d^k dk的一个无偏估计
,则根据如下迭代过程 x ^ k + 1 = x ^ k + α k d ^ k , (1) \hat{x}^{k+1}=\hat{x}^k+\alpha_k\hat{d}^k,\tag{1} x^k+1=x^k+αkd^k,(1)可形成随机序列 { x ^ k } \{\hat{x}^k\} {x^k}。令 x ∗ x^* x∗ 为实值目标函数 F ( x ) F(x) F(x)的最小值点,其中目标函数 F ( x ) F(x) F(x)为凸函数,且具有连续的一阶与二阶导函数。假定MSA(the Method of Successive Averages)算法的满足条件是怎么来的?一文中的条件(4.1)-(4.3)依然成立,将条件 (4.4) 替换如下 E [ d ^ k ∇ 2 F ( x k + θ α k d ^ k ) d ^ k ] < B < ∞ , (2) E[\hat{d}^k \nabla^2 F(x^k+\theta \alpha_k\hat{d}^k)\hat{d}^k]<B<\infty,\tag{2} E[d^k∇2F(xk+θαkd^k)d^k]<B<∞,(2)则有如下Blum定理成立:
Blum Theorem. 若序列 { α k } \{\alpha_k\} {αk} 满足前文中的条件 (4.1),实值函数 F ( x ) F(x) F(x) 具有连续的一阶与二阶导函数,且满足前文中的条件 (4.2)-(4.3) 以及上述条件(2),那么由迭代公式 (1) 形成的序列 { x k } \{x^k\} {xk} 几乎处处收敛于最优值 x ∗ x^* x∗。
小注 上述定理中依然满足前文中的条件(4.3),条件表述依然是依据 d k d^k dk,而不是根据其无偏估计 d ^ k \hat{d}^k d^k,此处允许测量误差将产生非下降方向的可能性。
Blum定理的重要性在于其可应用于可以通过仿真确定下降方向的情况,例如,当需要基于probit模型进行流量分配时,仿真即为大规模网络最有效的方法。
Blum定理的价值在于,当构建了合适的目标函数后,不论仿真多么精确,使用该定理均可以确定算法的收敛性。这在算法的计算性能评估方面是至关重要的,因为若要求精确估测一个下降方向 d k d^k dk代价可能是非常昂贵的。
还应该注意的是,虽然优化公式对于证明收敛性可能是必要的,但它在计算上不太可能有任何用处,因为它很可能不仅需要存储路径流,而且还可能需要一个非常大的多项式选择函数的解。
关于MSA算法的讨论
- MSA算法中步长为提前设定的,与目标函数的变化趋势无关,其缺陷为MSA算法的收敛速率可能相当慢,且难以设计合适的收敛准则。从实际角度,一个有用的收敛准则需基于前后迭代步骤间真实路段流量的改变量。因此,需要进一步的研究来建立MSA算法应用于大型网络时的收敛准则。
- MSA算法的收敛速率的快慢依赖于起始点的选择,一个好的初始点可以使得MSA算法收敛得更快。
- 设计收敛准则时,需要考虑梯度 ∇ F k \nabla F^k ∇Fk 与 下降方向 d k d^k dk 之间的关系。在解决随机均衡问题时,随着迭代次数的增加,有 l i m k → ∞ ∣ d k ∣ = 0 lim_{k\to \infty}|d^k|=0 limk→∞∣dk∣=0,表明该算法在解决随机均衡问题时具有相当好的收敛特性。但当使用MSA算法解决确定均衡问题时,随着迭代次数的增加,可以发现目标函数的梯度与下降方向具有正交关系,且 l i m k → ∞ ∣ d k ∣ ≥ 0 lim_{k\to \infty}|d^k|\geq0 limk→∞∣dk∣≥0。这意味着使用MSA算法求解确定均衡问题时,步长序列 { α k } \{\alpha_k\} {αk}对于算法的收敛性起到更大的作用。比如,若在求解确定均衡问题时,设定初始值为最优解时,MSA算法会首先偏离最优解再慢慢收敛到最优解;但当求解随机均衡问题时,若设定初始值为最优解,则算法会立即终止于最优值。
- 当随机均衡问题中感知系数 θ → ∞ \theta\to\infty θ→∞时,随机均衡问题即转变为确定均衡问题,但下降方向的极限并不发生改变,即随机均衡问题中,依然有 l i m k → ∞ ∣ d k ∣ = 0 lim_{k\to\infty}|d^k|=0 limk→∞∣dk∣=0,确定均衡问题中,依然有 l i m k → ∞ ∣ d k ∣ ≥ 0 lim_{k\to\infty}|d^k|\geq0 limk→∞∣dk∣≥0。出现此种情况原因为,确定均衡问题中,以路径作为变量其均衡解并不唯一,可能会存在两个之上的最短路径。
- MSA算法的优势在于其可避免路径枚举的问题。