1. 引言

大规模相容线性方程组的高效求解对科学与工程应用 [1] [2] [3] [4] [5] 具有重要意义和实际价值。

$Ax=b,A\in {ℝ}^{m\times n},b\in {ℝ}^m$ (1)

经典Kaczmarz算法 [6] 以其结构简明和易于实施的特点，在大规模线性方程组求解中显现优势。该算法每次迭代仅处理单个行样本，保证了简洁高效，尽管其收敛性难以与其他迭代方法 [7] [8] 进行比较且可能较慢。研究人员正致力于优化Kaczmarz算法，以提升其在实际应用中的表现，确保在科学和工程领域的高效解决方案。

Strohmer和Vershynin [9] 近期提出的随机Kaczmarz (RK)方法，以其依赖于矩阵规范化条件数的快速收敛性而备受关注。该方法采用概率策略选取矩阵行指标，即根据公式

$Pr=\frac{{\Vert A_{\left(i_k\right)}\Vert }_2^2}{{\Vert A\Vert }_F^2}$

来选择行指标，能在特定条件下超越传统共轭梯度法。研究者对Kaczmarz方法持续优化，扩展至包括不相容、欠定和秩亏线性方程组 [10] [11] [12] 的收敛性分析，并引入Nesterov加速框架 [13] [14] 和贪婪策略 [15] [16] [17] [18] 等加速技巧。这些进展对解决线性方程组和优化问题领域产生了深远影响。

块Kaczmarz (BK)方法 [19] 及其变体如随机块Kaczmarz (RBK) [20] 、随机双块Kaczmarz (RDBK) [21] 和贪婪块Kaczmarz (GBK) [22] ，针对线性方程组求解展现出高效迭代性能。这些算法通过分块策略，有效利用方程信息，实现快速收敛。特别是在处理不相容系统和大规模数据时，这些方法通过随机选择和贪婪选择块，优化了迭代过程，提升了稳定性和收敛性。块高斯Kaczmarz方法(BGK) [23] 融合高斯Sketching技术，优化分布式计算性能，实现大型线性系统的有效分解与并行解算。然而，算法中伪逆计算和最小二乘问题求解的高计算量是挑战所在，优化这些关键步骤是当前研究的焦点。

Necoara提出的随机平均块Kaczmarz (RABK)方法 [24] ，Moorman等 [25] 研究了RABK方法在解不相容线性方程组中的收敛性理论，其衍生的简单随机扩展平均块Kaczmarz (REABK)方法 [26] ，该方法结合了随机扩展Kaczmarz (REK)方法 [27] 和RABK方法。Du和Sun扩展了该方法，并提出了一种免于使用伪逆的随机块迭代算法 [28] ，适用于解决一致与不一致线性方程组。最近，Zhang Jianhua等人在REABK的基础上推出了快速免伪逆贪婪块Kaczmarz (CFGBK)方法 [29] ，在处理相容与不相容线性方程组方面展现出高效性，但是随着研究发现该方法由于每步迭代 ${\Vert A_{\left(i\right)}\Vert }_2^2$ 存在出现为零的情况导致收敛失败，本文提出了一种新型加速免伪逆贪婪对该问题进行了研究并解决。

矩阵Sketching技术作为提升矩阵运算速度的关键工具，在偏微分方程反问题 [30] 、优化 [31] 与回归分析 [32] [33] [34] [35] 等多个领域发挥着至关重要的作用。本研究创新性地提出了两种基于近似最大距离准则的免伪逆贪婪块Kaczmarz方法(LFGBK、CFGBK)，通过精心选择采样矩阵和迭代策略，显著缩短了运算时间，同时保持了精度，并深入分析了其收敛性。此外，借助重力球技术，进一步提出了三种加速方法(CMFGBK、LMFGBK、CMFGBK)，并建立了完备的收敛性理论框架。经过数值实验验证，这些方法不仅提高了计算效率，也为矩阵Sketching技术的进一步优化奠定了坚实基础。

本文结构如下：第二节介绍预备知识和贪婪块Kaczmarz方法和免伪逆贪婪块Kaczmarz方法。第三节提出改进免伪逆贪婪块Kaczmarz方法并给分析。第四节给出数值实验。第五节总结全文。

2. 预备知识

在本文中，我们采用文献中 [17] 同样的记号。例如 $A_{\left(i\right)}$ 、 $A^{\text{T}}$ 、 $A^{†}$ 、 $\Vert A\Vert$ 、 ${\Vert A\Vert }_F$ 、 $\left[n\right]$ 分别表示系数矩阵A的第i行、转置、广义逆、谱范数、F-范数和集合 $\left\{1,2,\cdots ,n\right\}$ 。

我们首先考虑贪婪选择规则，然后使用贪婪策略提供一个贪婪块Kaczmarz算法。在研究贪婪选择规则在kaczmarz型算法中的应用的文献中，很少有结果。Nutini等人在 [16] 中提出了Kaczmarz算法的最大残差(MR)和最大距离(MD)规则。然而，在许多应用程序中，由于其复杂的表达式，计算精确的MR或MD规则将过于低效，但我们可以通过使用更便宜的近似贪婪规则来近似它，如 [18] 方法。在本节中，我们将考虑计算贪婪规则直至乘法误差的方法。

再给出收敛性分析之前首先介绍引理。

引理1 [36] 让 ${\left\{F_t\right\}}_{t\ge 0}$ 是一个非负实数矩阵，其中 $F_0=F_1$ 满足关系式 $F_{t+1}\le a_1{F}_t+a_2{F}_{t-1}$ 对所有 $t\ge 1$ 成立，这里 $a_2>0$ 且 $a_1+a_2<1$ 。对所有 $t\ge 1$ 下列不等式成立：

$F_{t+1}\le q^t\left(1+\delta \right)F_0$

其中， $q=\frac{a_1+\sqrt{a_1^2+4a_1}}{2},\delta =q-a_1$ 和 $q\le a_1+a_2$ 。

引理2 [17] 如果任意向量 $u\in range\left(A^{\text{T}}\right)$ ，则

${\Vert Au\Vert }_2^2\ge {\lambda }_{min}\left(A^{\text{T}}A\right){\Vert u\Vert }_2^2$

引理3 [35] [37] 如果S是含有 $O\left(n^2/\delta {\theta }^2\right)$ 行稀疏随机变换，其中那么不等式

$\left(1-\theta \right){\Vert Ax\Vert }_2\le {\Vert SAx\Vert }_2\le \left(1+\theta \right){\Vert Ax\Vert }_2,x\in {ℝ}^n$

和

$\left(1-\theta \right){\sigma }_i\left(SA\right)\le {\sigma }_i\left(A\right)\le \left(1+\theta \right){\sigma }_i\left(SA\right),1\le i\le d,0<\delta ,\theta <1,$

成立的概率均为 $1-\delta$ 。

定义1 [35] (CountSketch变换)：设 $h:\left[m\right]\to \left[d\right]$ 是一个随机映射，使得每个 $i\in \left[m\right]$ ， $h\left(i\right)=j$ 对每个 $j\in \left[d\right]$ 成立的概率为1/d， $\text{Φ}\in {\left\{0,1\right\}}^{d\times m}$ 是一个 $d\times m$ 二值矩阵，其中其余元素均为0。D是 $m\times m$ 。随机对角矩阵，每个对角元素以相同的概率独立选择值为1或者−1。则CountSketch变换定义为 $S=\text{Φ}D\in {ℝ}^{d\times m}$ 。

定义1描述了CountSketch变换的基本过程：首先，通过随机映射h和二值矩阵 $\Phi$ 将输入矩阵的行映射到较低的维度空间；然后，通过随机对角矩阵D对映射后的结果进行随机翻转。这个过程可以有效地减小矩阵的大小，同时保持某些重要的信息。

Algorithm 1. 基于流形式的CountSketch方法

定义2 [38] [39] (Leverage Score Sampling变换)：给定矩阵 $A\in {ℝ}^{m\times n}$ ，其奇异值分解为 $A=UD{V}^{\text{T}}$ ，其行杠杆得分给出U行的欧几里得范数得平方，即对于每个 $j\in \left[d\right]$ ， $U{\mathcal{l}}_j={\Vert e_j^{\text{T}}U\Vert }_2^2={\Vert u_j\Vert }_2^2$ ，同时满足 $0\le {\mathcal{l}}_j\le 1$ 和 ${\displaystyle {\sum }_{i=j}^n{\mathcal{l}}_j}=p$ 。杠杆得分抽样也可以描述为“帽矩阵”。

定义2描述了Leverage Score Sampling变换的基本过程，首先设A是一个 $n\times d$ 的矩阵，每一行的Leverage Score是该行在A的奇异值分解中对应的右奇异向量的范数的平方。这个得分衡量了每一行在数据集中的重要性或影响力。这种采样方法的优点是，它可以从大数据集中选择出一小部分具有代表性的样本，从而进行更高效的计算。所得到的样本集 $S\in R^{k\times d}$ ，其中k是选定的样本数量，可以用于估计原矩阵CA的各种性质，例如奇异值分解、主成分分析等。

Algorithm 2. 基于流形式的Leverage Score Sampling方法

定义3 [40] (Sparse Random Projection变换)：设矩阵 $A\in {ℝ}^{m\times n}$ ，其中 $A_{ij}~N\left(0,1\right)$ ，则 $P\left(A_{ij}\ne 0\right)=1/\sqrt{m}$ 。

定义3描述了Sparse Random Projection变换的基本过程，首先Sparse Random Projection投影后的维度k，然后构造一个 $d\times k$ 的稀疏矩阵R。对于R中的每一列，我们随机选择一个元素并赋值为+1或−1，其余元素设为0。这个稀疏随机矩阵的每一列都只有一个非零元素，该元素的位置在每一列中都是随机选择的，其值是根据一个预先定义的分布随机选择的。这种方法的优点是它的计算效率高，因为乘以稀疏矩阵的计算复杂度低。这种方法在处理高维数据时，特别是在近似最近邻搜索和其他需要降维的应用中，被广泛使用。此外，由于R的元素大部分是0，所以投影后的数据也会保持原始数据的稀疏性。

Algorithm 3. 基于流形式的Sparse Random Projection方法

定义4 [36] (Heavy Ball Momentum优化)：重球动量是一种广泛添加到梯度下降方法中的增强方法，它在每个迭代步骤中不仅采取梯度下降的步骤，还额外在前一迭代步骤的移动方向上采取一步。这一方法最初由Polyak在1964年提出，后来在机器学习领域广泛应用。

Algorithm 4. Heavy Ball Momentum优化方法

假设我们已经近似了MD规则，其中有一个参数 $\eta \in \left(0,\text{1}\right]$ ，用于选择指标 $i_k$

$\frac{{\left|b_{i_k}-A_{\left(i_k\right)}{x}_k\right|}^2}{{\Vert A_{\left(i_k\right)}\Vert }_2^2}\ge \eta \underset{1\le i\le m}{\max }\left\{\frac{{\left|b_i-A_{\left(i\right)}{x}_k\right|}^2}{{\Vert A_{\left(i\right)}\Vert }_2^2}\right\}$

Niu和Zheng将贪婪策略与块Kaczmarz方法相结合，提出了求解大型相容线性方程组的贪婪块Kaczmarz (GBK) [22] 方法，具体过程见算法5。

Algorithm 5. GBK方法

GBK方法的收敛性分析描述如下：

定理1 [22] 设线性方程组(1)相容，则由算法7生成的迭代序列收敛到方程组的最小范数解 $x_{*}=A^{†}b$ ，且对任意 $k\ge 0$ 满足

$x_{k+1}-x_{*}{}_2^2\le {\left(1-{\gamma }_k\left(\eta \right)\frac{{\sigma }_{min}^2\left(A\right)}{{\Vert A\Vert }_F^2}\right)}^{k+1}{\Vert x_0-x_{*}\Vert }_2^2$

其中 ${\gamma }_k\left(\eta \right)=\eta \frac{{\Vert A\Vert }_F^2}{{\Vert A\Vert }_F^2-{\Vert A_{{\mathcal{T}}_{k-1}}\Vert }_F^2}\frac{{\Vert A_{{\mathcal{T}}_k}\Vert }_F^2}{{\sigma }_{max}^2\left(A_{{\mathcal{T}}_k}\right)}$ (记 ${\gamma }_{0\left(\eta \right)}\equiv \eta \frac{{\Vert A_{{\mathcal{T}}_0}\Vert }_F^2}{{\sigma }_{max}^2\left(A_{{\mathcal{T}}_0}\right)}$ )， $\eta \in \left(0,1\right]$ ， ${\sigma }_{min}\left(A\right)$ 和 ${\sigma }_{max}\left(A\right)$ 分别表示矩阵A的非零最小奇异值和最大奇异值。

3. 改进免伪逆贪婪块Kaczmarz方法及其收敛性分析

由于CFGBK方法每步迭代 ${\Vert A_{\left(i\right)}\Vert }_2^2$ 存在出现为零的情况，本节提出了改进免伪逆贪婪块Kaczmarz方法。首先每步采用近似最大举例准则

$\frac{{\left|b_{i_k}-A_{\left(i_k\right)}{x}_k\right|}^2}{{\Vert A_{\left(i_k\right)}\Vert }_2^2}\ge \eta \underset{1\le i\le m}{\max }\left\{\frac{{\left|b_i-A_{\left(i\right)}{x}_k\right|}^2}{{\Vert A_{\left(i\right)}\Vert }_2^2}\right\},$

选择块矩阵 $A_{{\mathcal{T}}_k}$ ，的指标集 ${\mathcal{T}}_k$ ；其次，将当前估计值投影到构成块矩阵 $A_{{\mathcal{T}}_k}$ 的每一行上；最后，对得到的投影求平均值来计算下一次迭代，即

$x_{k+1}=x_k+{\alpha }_k\left(\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}{w}_i\frac{b_i-A_{\left(i\right)}{x}_k}{{\Vert A_{\left(i\right)}\Vert }_2^2}{A}_{\left(i\right)}^{\text{T}}\right)$

Algorithm 6. LFGBK方法

Leverage Score Sampling可以从大数据集中选择出一小部分具有代表性的样本，从而进行更高效的计算与CFGBK相比，采样比Count Sketch采样更高效，第四节中的数值实验将证实LFGBK方法比CFGBK更高效。

本文只讨论 ${\alpha }_k=1$ 的情况，下面给出LFGBK方法求解大型相容线性方程组(1)的收敛性理论。

定理2 设Leverage Score变换S满足 $d=O\left(n^2/\delta {\theta }^2\right)$ ， $x_{*}=A^{†}b$ 是相容线性方程组(1)的最小范数解，对任意 $k\ge 0$ 满足

${\Vert x_{k+1}-x_{\text{*}}\Vert }_2^2\le \left(1-{\tilde{\psi }}_k\left(\eta \right)\frac{{\sigma }_{min}^2\left(\tilde{A}\right)}{{\Vert \tilde{A}\Vert }_F^2}\right){\Vert x_k-x_{\text{*}}\Vert }_2^2$ (2)

其中 ${\tilde{\psi }}_k\left(\eta \right)=\eta t\left(\frac{2}{t}-\frac{1}{t^2}{\sigma }_{max}^2\left({\hat{A}}_{{\mathcal{T}}_k}^{\text{T}}\right)\right)$ ， $\eta \in \left(0,1\right]$ ，且 $range\left(A\right),{\sigma }_{min}\left(A\right)$ 和 ${\sigma }_{max}\left(A\right)$ 分别表示矩阵A的值域，非零最小奇异值和最大奇异值。

证明 由算法6和 ${\tilde{r}}_k=\tilde{b}-\tilde{A}{x}_k$ ，我们可以得到

$x_{k+1}=x_k+\left(\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{1}{\left|{\mathcal{T}}_k\right|}\frac{{\tilde{r}}_k^i{\tilde{A}}_{\left(i\right)}^{\text{T}}}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}\right)$ (3)

设 $\left|{\mathcal{T}}_k\right|=t$ 和 ${\mathcal{T}}_k=\left\{j_{k_1},\cdots ,j_{k_t}\right\}$ ，将(3)式子展开可得

$x_{k+1}=x_k+\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{1}{t}\frac{{\tilde{A}}_{\left(i\right)}^{\text{T}}{e}_i^{\text{T}}{\tilde{r}}_k}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}=x_k+\frac{1}{t}\left(\frac{{\tilde{A}}_{\left(j_{k_1}\right)}^{\text{T}}{e}_{j_{k_1}}^{\text{T}}{\tilde{r}}_k}{{\Vert {\tilde{A}}_{\left(j_{k_1}\right)}\Vert }_2^2}+\cdots +\frac{{\tilde{A}}_{\left(j_{k_t}\right)}^{\text{T}}{e}_{j_{k_t}}^{\text{T}}{\tilde{r}}_k}{{\Vert {\tilde{A}}_{\left(j_{k_t}\right)}\Vert }_2^2}\right)=x_k+\frac{1}{t}{\hat{A}}_{{\mathcal{T}}_k}^{\text{T}}{\hat{I}}_{{\mathcal{T}}_k}\tilde{r}$ (4)

其中

${\hat{A}}_{{\mathcal{T}}_k}^{\text{T}}=\left[\frac{{\tilde{A}}_{\left(j_{k_1}\right)}^{\text{T}}}{{\Vert {\tilde{A}}_{\left(j_{k_1}\right)}\Vert }_2},\frac{{\tilde{A}}_{\left(j_{k_2}\right)}^{\text{T}}}{{\Vert {\tilde{A}}_{\left(j_{k_2}\right)}\Vert }_2},\cdots ,\frac{{\tilde{A}}_{\left(j_{k_t}\right)}^{\text{T}}}{{\Vert {\tilde{A}}_{\left(j_{k_t}\right)}\Vert }_2}\right]\in {ℝ}^{n\times t}$ (5)

和

${\hat{I}}_{{\mathcal{T}}_k}={\left[\frac{e_{\left(j_{k_1}\right)}}{{\Vert {\tilde{A}}_{\left(j_{k_1}\right)}\Vert }_2},\frac{e_{\left(j_{k_2}\right)}}{{\Vert {\tilde{A}}_{\left(j_{k_2}\right)}\Vert }_2},\cdots ,\frac{e_{\left(j_{k_t}\right)}}{{\Vert {\tilde{A}}_{\left(j_{k_t}\right)}\Vert }_2}\right]}^{\text{T}}\in {ℝ}^{t\times d}$ (6)

(4)式同时减去 $x_{*}$ ，可得

$x_{k+1}-x_{\text{*}}=x_k-x_{\text{*}}-\frac{1}{t}{\hat{A}}_{{\mathcal{T}}_k}^{\text{T}}{\hat{I}}_{{\mathcal{T}}_k}\tilde{A}\left(x_k-x_{\text{*}}\right)=\left(I-\frac{1}{t}{\hat{A}}_{{\mathcal{T}}_k}^{\text{T}}{\hat{A}}_{{\mathcal{T}}_k}\right)\left(x_k-x_{\text{*}}\right)$ (7)

对(7)式两边同时取谱范数并平方，又对任意半正定矩阵 $Q\succcurlyeq 0$ 满足 $Q^2\preccurlyeq {\lambda }_{\max }\left(Q\right)Q$ ，从而可以得到

${\Vert x_{k+1}-x_{\text{*}}\Vert }_2^2=\Vert \left(x_k-x_{\text{*}}\right)-\frac{1}{t}{\hat{A}}_{{\mathcal{T}}_k}^{\text{T}}{\hat{A}}_{{\mathcal{T}}_k}\left(x_k-x_{\text{*}}\right)\Vert \le {\Vert x_k-x_{\text{*}}\Vert }_2^2-\left(\frac{2}{t}-\frac{1}{t^2}{\sigma }_{max}^2\left({\hat{A}}_{{\mathcal{T}}_k}^{\text{T}}\right)\right){\Vert {\hat{A}}_{{\mathcal{T}}_k}\left(x_k-x_{\text{*}}\right)\Vert }_2^2$ (8)

由(5)式和 ${\left|{\tilde{b}}_{j_k}-{\tilde{A}}_{\left(j_k\right)}{x}_k\right|}^2\ge {\tilde{\epsilon }}_k{\Vert {\tilde{A}}_{\left(j_k\right)}\Vert }_2^2$ 通过简单计算可得

${\Vert {\tilde{A}}_{{\mathcal{T}}_k}\left(x_k-x_{\text{*}}\right)\Vert }_2^2=\underset{j_k\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{1}{{\Vert {\tilde{A}}_{\left(j_k\right)}\Vert }_2^2}{\left|{\tilde{r}}_k^{j_k}\right|}^2\ge \underset{j_k\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{1}{{\Vert {\tilde{A}}_{\left(j_k\right)}\Vert }_2^2}{\tilde{\epsilon }}_k{\Vert {\tilde{A}}_{\left(j_k\right)}\Vert }^2$ (9)

把 ${\tilde{\epsilon }}_k=\eta \underset{1\le i\le d}{\max }\left\{\frac{{\left|{\tilde{b}}_i-{\tilde{A}}_{\left(i\right)x_k}\right|}^2}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}\right\}$ 带入上式，可得

${\Vert {\hat{A}}_{{\mathcal{T}}_k}\left(x_k-x_{\text{*}}\right)\Vert }_2^2\ge \underset{j_k\in {\mathcal{T}}_k}{{\displaystyle \sum }}\eta \underset{1\le i\le d}{\max }\left\{\frac{{\left|{\tilde{r}}_k^i\right|}^2}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}\right\}\ge \eta t\underset{i=1}{\overset{d}{{\displaystyle \sum }}}\frac{{\left|{\tilde{r}}_k^i\right|}^2}{{\Vert A_{\left(i\right)}\Vert }_2^2}\frac{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}{{\Vert A\Vert }_F^2}=\eta t\frac{{\Vert {\tilde{r}}_k\Vert }^2}{{\Vert \tilde{A}\Vert }_F^2}$ (10)

由 $x_0\in range\left(A^{\text{T}}\right)$ 和 $x_{\text{*}}=A^{†}b$ ，故 $x_k-x_{\text{*}}\in range\left(A^{\text{T}}\right)$ ，从而由引理2可得

${\Vert {\tilde{r}}_k\Vert }^2={\Vert \tilde{A}\left(x_k-x_{\text{*}}\right)\Vert }_2^2\ge {\sigma }_{min}^2\left(\tilde{A}\right){\Vert x_k-x_{\text{*}}\Vert }_2^2$

结合上式，可得

${\Vert {\hat{A}}_{{\mathcal{T}}_k}\left(x_k-x_{\text{*}}\right)\Vert }_2^2\ge \eta t\frac{{\sigma }_{min}^2\left({\tilde{A}}^{\text{T}}\tilde{A}\right)}{{\Vert \tilde{A}\Vert }_F^2}{\Vert x_k-x_{\text{*}}\Vert }_2^2$ (11)

因此，联合(11)式和(8)式，我们可得(2)式，故定理2得证。

Algorithm 7. SFGBK方法

Sparse Random Projection这个稀疏随机矩阵的每一列都只有一个非零元素，该元素的位置在每一列中都是随机选择的，其值是根据一个预先定义的分布随机选择的。这种方法的优点是它的计算效率高，因为乘以稀疏矩阵的计算复杂度低。从而进行更高效的计算作为参照，第四节中的数值实验将给出SFGBK的数据。

本文只讨论 ${\alpha }_k=1$ 的情况，下面给出LFGBK方法求解大型相容线性方程组(1)的收敛性理论。

定理3 设Sparse Random Projection变换S满足 $d=O\left(n^2/\delta {\theta }^2\right)$ ， $x_{*}=A^{†}b$ 是相容线性方程组(1)的最小范数解，则对任意 $k\ge 0$ ，由SFGBK方法生成的迭代序列 ${\left\{x_k\right\}}_{k=0}^{\infty }$ 满足

$x_{k+1}-x_{\text{*}}{}_2^2\le \left(1-{\tilde{\psi }}_k\left(\eta \right)\frac{{\sigma }_{min}^2\left(A\right)}{{\Vert A\Vert }_2^2}\right){\Vert x_k-x_{\text{*}}\Vert }_2^2$ (12)

的概率为 $1-\delta$ 其中 ${\tilde{\psi }}_k\left(\eta \right)=\frac{\eta }{\left|{\mathcal{T}}_k\right|}\left(2\left|{\mathcal{T}}_k\right|-{\sigma }_{max}^2\left({\hat{A}}_{{\mathcal{T}}_k}^{\text{T}}\right)\right)\frac{{\left(1-\theta \right)}^4}{\min \left\{d,n\right\}}$ ， $\eta \in \left(0,1\right]$ ，且 ${\sigma }_{min}\left(A\right)$ 和 ${\sigma }_{max}\left(A\right)$ 分别表示矩阵A的非零最小奇异值和最大奇异值。

证明 由算法7和 ${\tilde{r}}_k=\tilde{b}-\tilde{A}{x}_k$ ，我们可以得到

$x_{k+1}=x_k+\left(\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{1}{\left|{\mathcal{T}}_k\right|}\frac{{\tilde{r}}_k^i{\tilde{A}}_{\left(i\right)}^{\text{T}}}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}\right)$ (13)

设 $\left|{\mathcal{T}}_k\right|=t$ 和 ${\mathcal{T}}_k=\left\{j_{k_1},\cdots ,j_{k_t}\right\}$ ，将(13)式子展开可得

$x_{k+1}=x_k+\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{1}{t}\frac{{\tilde{A}}_{\left(i\right)}^{\text{T}}{e}_i^{\text{T}}{\tilde{r}}_k}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}=x_k+\frac{1}{t}\left(\frac{{\tilde{A}}_{\left(j_{k_1}\right)}^{\text{T}}{e}_{j_{k_1}}^{\text{T}}{\tilde{r}}_k}{{\Vert {\tilde{A}}_{\left(j_{k_1}\right)}\Vert }_2^2}+\cdots +\frac{{\tilde{A}}_{\left(j_{k_t}\right)}^{\text{T}}{e}_{j_{k_t}}^{\text{T}}{\tilde{r}}_k}{{\Vert {\tilde{A}}_{\left(j_{k_t}\right)}\Vert }_2^2}\right)=x_k+\frac{1}{t}{\hat{A}}_{{\mathcal{T}}_k}^{\text{T}}{\hat{I}}_{{\mathcal{T}}_k}\tilde{r}$ (14)

其中

${\hat{A}}_{{\mathcal{T}}_k}^{\text{T}}=\left[\frac{{\tilde{A}}_{\left(j_{k_1}\right)}^{\text{T}}}{{\Vert {\tilde{A}}_{\left(j_{k_1}\right)}\Vert }_2},\frac{{\tilde{A}}_{\left(j_{k_2}\right)}^{\text{T}}}{{\Vert {\tilde{A}}_{\left(j_{k_2}\right)}\Vert }_2},\cdots ,\frac{{\tilde{A}}_{\left(j_{k_t}\right)}^{\text{T}}}{{\Vert {\tilde{A}}_{\left(j_{k_t}\right)}\Vert }_2}\right]\in {ℝ}^{n\times t}$ (15)

和

${\hat{I}}_{{\mathcal{T}}_k}={\left[\frac{e_{\left(j_{k_1}\right)}}{{\Vert {\tilde{A}}_{\left(j_{k_1}\right)}\Vert }_2},\frac{e_{\left(j_{k_2}\right)}}{{\Vert {\tilde{A}}_{\left(j_{k_2}\right)}\Vert }_2},\cdots ,\frac{e_{\left(j_{k_t}\right)}}{{\Vert {\tilde{A}}_{\left(j_{k_t}\right)}\Vert }_2}\right]}^{\text{T}}\in {ℝ}^{t\times d}$ (16)

(14)式同时减去 $x_{*}$ ，可得

$x_{k+1}-x_{\text{*}}=x_k-x_{\text{*}}-\frac{1}{t}{\hat{A}}_{{\mathcal{T}}_k}^{\text{T}}{\hat{I}}_{{\mathcal{T}}_k}\tilde{A}\left(x_k-x_{\text{*}}\right)\begin{array}{c}=\left(I-\frac{1}{t}{\hat{A}}_{{\mathcal{T}}_k}^{\text{T}}{\hat{A}}_{{\mathcal{T}}_k}\right)\left(x_k-x_{\text{*}}\right)\end{array}$ (17)

对(17)式两边同时取谱范数并平方，又对任意半正定矩阵 $Q\succcurlyeq 0$ 满足 $Q^2\preccurlyeq {\lambda }_{max}\left(Q\right)Q$ ，从而可以得

$x_{k+1}-x_{\text{*}}{}_2^2\le {\Vert x_k-x_{\text{*}}\Vert }_2^2-\left(\frac{2}{t}-\frac{1}{t^2}{\sigma }_{max}^2\left({\hat{A}}_{{\mathcal{T}}_k}^{\text{T}}\right)\right){\Vert {\hat{A}}_{{\mathcal{T}}_k}\left(x_k-x_{\text{*}}\right)\Vert }_2^2$ (18)

由(15)式和 ${\left|{\tilde{b}}_{j_k}-{\tilde{A}}_{\left(j_k\right)}{x}_k\right|}^2\ge {\Vert {\tilde{\epsilon }}_k{\tilde{A}}_{\left(j_k\right)}\Vert }_2^2$ ，通过简单计算可得

${\Vert {\tilde{A}}_{{\mathcal{T}}_k}\left(x_k-x_{\text{*}}\right)\Vert }_2^2=\underset{j_k\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{1}{{\Vert {\tilde{A}}_{\left(j_k\right)}\Vert }_2^2}{\left|{\tilde{r}}_k^{j_k}\right|}^2\begin{array}{c}\ge \underset{j_k\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{1}{{\Vert {\tilde{A}}_{\left(j_k\right)}\Vert }_2^2}{\tilde{\epsilon }}_k{\Vert {\tilde{A}}_{\left(j_k\right)}\Vert }_2^2\end{array}$ (19)

把 ${\tilde{\epsilon }}_k=\eta \underset{1\le i\le d}{\max }\left\{\frac{{\left|{\tilde{b}}_i-{\tilde{A}}_{\left(i\right)x_k}\right|}^2}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}\right\}$ 带入(19)式，可得

${\Vert {\hat{A}}_{{\mathcal{T}}_k}\left(x_k-x_{\text{*}}\right)\Vert }_2^2\ge \underset{j_k\in {\mathcal{T}}_k}{{\displaystyle \sum }}\eta \underset{1\le i\le d}{\max }\left\{\frac{{\left|{\tilde{r}}_k^i\right|}^2}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}\right\}\ge t\eta \underset{i=1}{\overset{d}{{\displaystyle \sum }}}\frac{{\left|{\tilde{r}}_k^i\right|}^2}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}\frac{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}{{\Vert \tilde{A}\Vert }_F^2}\begin{array}{c}=\eta t\frac{{\Vert {\tilde{r}}_k\Vert }^2}{{\Vert \tilde{A}\Vert }_F^2}\end{array}$ (20)

由 $x_0\in range\left(A^{\text{T}}\right)$ 和 $x_{\text{*}}=A^{†}b$ ，故 $x_k-x_{\text{*}}\in range\left(A^{\text{T}}\right)$ ，从而由引理3可得

${\Vert {\tilde{r}}_k\Vert }^2={\Vert \tilde{A}\left(x_k-x_{\text{*}}\right)\Vert }_2^2\ge {\left(1-\theta \right)}^2{\Vert A\left(x_k-x_{\text{*}}\right)\Vert }_2^2\ge {\left(1-\theta \right)}^2{\sigma }_{min}^2\left(A\right){\Vert x_k-x_{\text{*}}\Vert }_2^2$ (21)

成立的概率为 $1-\delta$ ，结合上式，可得

${\Vert {\hat{A}}_{{\mathcal{T}}_k}(x_k-x_{\text{*}})\Vert }_2^2\ge \eta t\frac{{\left(1-\theta \right)}^2{\sigma }_{min}^2\left({\tilde{A}}^{\text{T}}\tilde{A}\right)}{{\Vert \tilde{A}\Vert }_F^2}{\Vert x_k-x_{\text{*}}\Vert }_2^2$ (22)

成立的概率为 $1-\delta$ ，又 ${\Vert \tilde{A}\Vert }_F^2\le \min \left\{d,n\right\}{\Vert \tilde{A}\Vert }_2^2$ ，则由引理3可得 ${\Vert \tilde{A}\Vert }_F^2\le \min \left\{d,n\right\}{\Vert \tilde{A}\Vert }_2^2\le \min \left\{d,n\right\}\frac{{\Vert A\Vert }_2^2}{{\left(1-\theta \right)}^2}$ 成立的概率为 $1-\delta$ 。故

${\Vert {\hat{A}}_{{\mathcal{T}}_k}\left(x_k-x_{\text{*}}\right)\Vert }_2^2\ge \eta t\frac{{\left(1-\theta \right)}^4{\sigma }_{min}^2\left(A\right)}{\min \left\{d,n\right\}{\Vert A\Vert }_2^2}{\Vert x_k-x_{\text{*}}\Vert }_2^2$ (23)

成立的概率至少为 $1-\delta$ 。

因此我们可得(12)式成立的概率为 $1-\delta$ 。故定理3得证。

Algorithm 8. CMFGBK方法

定理4 设CountSketch变换S满足 $d=O\left(n^2/\delta {\theta }^2\right)$ ， $x_{\text{*}}=A^{†}b$ 是相容线性方程组(1)的最小范数解，则对任意 $x_0\in range\left(A^{\text{T}}\right)$ 由算法8生成迭代序列 ${\left\{x_k\right\}}_{k=0}^{\infty }$ 收敛到方程组最小范数解 $x_{\text{*}}$ 且对任意 $k\ge 0$ 满足

${\Vert x_k-x^{\text{*}}\Vert }_2^2\le q^t\left(1+\delta \right){\Vert x_0-x^{\text{*}}\Vert }_2^2$

的概率为 $1-\delta$ ，其中 $4{\alpha }^2+4\alpha +\left(\frac{1}{t^2}-\frac{2}{t}-\alpha +\alpha \frac{1}{t}\right)\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{A^2}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}\frac{1}{{\left(1-\theta \right)}^2}<0,\alpha >0$ ， $a_1=1+2{\alpha }^2+3\alpha +\left(\frac{1}{t^2}-\frac{2}{t}-\alpha \right)\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{A^2}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}\frac{1}{{\left(1-\theta \right)}^2}$ ， $a_2=2{\alpha }^2+\alpha +\alpha \frac{1}{t}\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{A^2}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}\frac{1}{{\left(1-\theta \right)}^2}$ ， $q=\frac{a_1+\sqrt{a_1^2+4a_1}}{2}$ ， $\delta =q-a_1$ 和 $a_1+a_2\le q<1$ ，有 $q\in \left(0,1\right)$ 。

证明 由算法8，我们可以得到

$x_{k+1}=x_k+\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{1}{\left|{\mathcal{T}}_k\right|}\frac{{\tilde{b}}_i-{\tilde{A}}_{\left(i\right)}{x}_k}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}{\tilde{A}}_{\left(i\right)}^{\text{T}}+\alpha \left(x_k-x_{k-1}\right)$

设 $\left|{\mathcal{T}}_k\right|=t$ 和 ${\mathcal{T}}_k=\left\{j_{k_1},\cdots ,j_{k_t}\right\}$ ，其中t表示指标集 ${\mathcal{T}}_k$ 中元素的个数，可得

$x_{k+1}=x_k-\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{1}{t}\frac{{\tilde{A}}_{\left(i\right)}{x}_k-{\tilde{b}}_i}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}{\tilde{A}}_{\left(i\right)}^{\text{T}}+\alpha \left(x_k-x_{k-1}\right)$

上式同时减去 $x_{*}$ ，可得

$x_{k+1}-x^{\text{*}}=x_k-\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{1}{t}\frac{{\tilde{A}}_{\left(i\right)}{x}_k-{\tilde{b}}_i}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}{\tilde{A}}_{\left(i\right)}^{\text{T}}+\alpha \left(x_k-x_{k-1}\right)-x^{\text{*}}$

对上式两边同时取谱范数并平方，可得

${\Vert x_{k+1}-x_{\text{*}}\Vert }_2^2={\Vert x_k-x^{\text{*}}-\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{1}{t}\frac{{\tilde{A}}_{\left(i\right)}{x}_k-{\tilde{b}}_i}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}{\tilde{A}}_{\left(i\right)}^{\text{T}}\Vert }_2^2+{\alpha }^2{\Vert x_k-x_{k-1}\Vert }_2^2+2\alpha \langle x_k-x^{\text{*}}-\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{1}{t}\frac{{\tilde{A}}_{\left(i\right)}{x}_k-{\tilde{b}}_i}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}{\tilde{A}}_{\left(i\right)}^{\text{T}},x_k-x_{k-1}\rangle$ (24)

由Kaczmarz收敛论证和 $b_i=A_{\left(i\right)}{x}^{\ast }$ ，对等式(24)的第一个项给出下界，可得

${\Vert x_k-x^{\text{*}}-\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{1}{t}\frac{{\tilde{A}}_{\left(i\right)}{x}_k-{\tilde{b}}_i}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}{\tilde{A}}_{\left(i\right)}^{\text{T}}\Vert }_2^2={\Vert x_k-x_{\text{*}}\Vert }_2^2+\left(\frac{1}{t^2}-\frac{2}{t}\right)\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{{\left({\tilde{A}}_{\left(i\right)}{x}_k-{\tilde{b}}_i\right)}^2}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}$

由首项加上并减去 $x^{\text{*}}$ 和 ${\Vert a+b\Vert }^2\le 2{\Vert a\Vert }^2+2{\Vert b\Vert }^2$ ，对等式(24)的第二个项给出下界，可得

${\alpha }^2{\Vert x_k-x_{k-1}\Vert }_2^2={\alpha }^2{\Vert \left(x_k-x^{\text{*}}\right)+\left(x^{\text{*}}-x_{k-1}\right)\Vert }_2^2\le 2{\alpha }^2{\Vert x_k-x^{\text{*}}\Vert }_2^2+2{\alpha }^2{\Vert x_{k-1}-x^{\text{*}}\Vert }_2^2$

等式(24)的第三个项给出下界，可得

$\begin{array}{l}2\alpha \langle x_k-x^{*}-\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{1}{t}\frac{{\tilde{A}}_{\left(i\right)}{x}_k-{\tilde{b}}_i}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}{\tilde{A}}_{\left(i\right)}^{\text{T}},x_k-x_{k-1}\rangle \\ \le {\Vert \alpha x_k-x^{*}\Vert }^2+\alpha {\Vert x_k-x_{k-1}\Vert }^2-\alpha {\Vert x_{k-1}-x^{*}\Vert }^2-\alpha \langle \underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{1}{t}\frac{{\tilde{A}}_{\left(i\right)}{x}_k-{\tilde{b}}_i}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}{\tilde{A}}_{\left(i\right)}^{\text{T}},x_t-x^{*}\rangle \\ +\alpha \langle \underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{1}{t}\frac{{\tilde{A}}_{\left(i\right)}{x}_{k-1}-{\tilde{b}}_i}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}{A}_{\left(i\right)}^{\text{T}},x_{k-1}-x^{*}\rangle \end{array}$

结合三个下界，简化内积并归类相似项，可得：

${\Vert x_{k+1}-x_{\text{*}}\Vert }_2^2\le \left(1+2{\alpha }^2+3\alpha +\left(\frac{1}{t^2}-\frac{2}{t}-\alpha \right)\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{{\left({\tilde{A}}_{\left(i\right)}\right)}^2}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}\right){\Vert x_k-x_{\text{*}}\Vert }_2^2+\left(2{\alpha }^2+\alpha +\alpha \frac{1}{t}\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{{\left({\tilde{A}}_{\left(i\right)}\right)}^2}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}\right){\Vert x_{k-1}-x^{\text{*}}\Vert }_2^2$

由引理3，可得

$\begin{array}{l}\left(1+2{\alpha }^2+3\alpha +\left(\frac{1}{t^2}-\frac{2}{t}-\alpha \right)\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{{\left({\tilde{A}}_{\left(i\right)}\right)}^2}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}\right){\Vert x_k-x_{\text{*}}\Vert }_2^2+\left(2{\alpha }^2+\alpha +\alpha \frac{1}{t}\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{{\left({\tilde{A}}_{\left(i\right)}\right)}^2}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}\right){\Vert x_{k-1}-x^{\text{*}}\Vert }_2^2\\ \le \left(1+2{\alpha }^2+3\alpha +\left(\frac{1}{t^2}-\frac{2}{t}-\alpha \right)\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{A^2}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}\frac{1}{{\left(1-\theta \right)}^2}\right){\Vert x_k-x_{\text{*}}\Vert }_2^2\\ +\left(2{\alpha }^2+\alpha +\alpha \frac{1}{t}\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{A^2}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}\frac{1}{{\left(1-\theta \right)}^2}\right){\Vert x_{k-1}-x^{\text{*}}\Vert }_2^2\end{array}$

成立的概率为 $1-\delta$ ，结合上式可得

$\begin{array}{c}{\Vert x_{k+1}-x_{\text{*}}\Vert }_2^2\le \left(1+2{\alpha }^2+3\alpha +\left(\frac{1}{t^2}-\frac{2}{t}-\alpha \right)\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{A^2}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}\frac{1}{{\left(1-\theta \right)}^2}\right){\Vert x_k-x_{\text{*}}\Vert }_2^2\\ +\left(2{\alpha }^2+\alpha +\alpha \frac{1}{t}\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{A^2}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}\frac{1}{{\left(1-\theta \right)}^2}\right){\Vert x_{k-1}-x^{\text{*}}\Vert }_2^2\end{array}$

最后，由引理1，其中两个系数为 $a_1=1+2{\alpha }^2+3\alpha +\left(\frac{1}{t^2}-\frac{2}{t}-\alpha \right)\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{A^2}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}\frac{1}{{\left(1-\theta \right)}^2}$ 和 $a_2=2{\alpha }^2+\alpha +\alpha \frac{1}{t}\underset{i\in {\mathcal{T}}_k}{{\displaystyle \sum }}\frac{A^2}{{\Vert {\tilde{A}}_{\left(i\right)}\Vert }_2^2}\frac{1}{{\left(1-\theta \right)}^2}$ ，由于我们假设 $a_1+a_2<1$ 和 $\alpha >0$ ，由 $a_2>0$ ，可得

${\Vert x_k-x^{\text{*}}\Vert }_2^2\le q^t\left(1+\delta \right){\Vert x_0-x^{\text{*}}\Vert }_2^2$

其中， $q=\frac{a_1+\sqrt{a_1^2+4a_1}}{2}$ ， $\delta =q-a_1$ 和 $a_1+a_2\le q<1$ ，有 $q\in \left(0,1\right)$ ，可得我们证明了CMFGBK算法的收敛性。

Algorithm 9. LMFGBK方法

定理5 设Leverage Score变换S满足 $d=O\left(n^2/\delta {\theta }^2\right)$ ， $x_{\text{*}}=A^{†}b$ 是相容线性方程组(1)的最小范数解和则对任意 $x_0\in range\left(A^{\text{T}}\right)$ 由算法9生成迭代序列 ${\left\{x_k\right\}}_{k=0}^{\infty }$ 收敛到方程组的最小范数解 $x_{\text{*}}$ 且对任意 $k\ge 0$ 满足

${\Vert x_k-x^{\text{*}}\Vert }_2^2\le q^t\left(1+\delta \right){\Vert x_0-x^{\text{*}}\Vert }_2^2$