无线光通信下极化码DNN-NOMS译码方法研究 下载: 608次
0 引 言
无线光通信技术是以激光为载波在自由空间传输数据的通信技术,其得益于具有高度的安全性、巨大的带宽、免许可证频谱和低部署成本等特点,该技术得到广泛的应用[1-2]。但由于大气湍流引起的温度和气压的非规律性变化,使得接收信号的幅值和相位出现随机波动,从而导致光信号在传输中产生较高的误码率和中断,严重影响通信系统性能[3]。针对上述问题,信道编码被广泛应用于无线光通信,其中关于极化码在无线光通信的应用研究已成为热点[4-5]。
极化码在二进制输入离散无记忆信道上已被证明可以达到香农极限,被认为是信道编码的突破[6]。其中串行对消算法(Successive Cancellation,SC)和置信传播算法(Belief Propagation,BP)已成为极化码的两种主要译码方案。虽然SC算法的复杂度较低,在码长趋于无穷大的情况下可以实现信道容量[6]。然而,SC译码算法无法在中等码长的情况下提供令人满意的纠错性能,且由于其序列特性,解码延迟较高。为了提高SC译码的纠错性能, Vardy提出串行抵消列表(Successive Cancellation List,SCL)译码算法[7],SCL译码器仍然存在吞吐量有限或解码延迟高的问题。与SC译码算法和SCL译码算法相比,BP译码算法[8]由于可以并行处理对数似然比(Log Llikelihood Ratios,LLR),大幅度降低译码延迟,其更适合于低延迟和高吞吐量应用。Yuan B [9]提出了最小和(Min-Sum,MS)近似方法,通过估计将校验节点的复杂函数取近似值来降低BP译码算法的复杂度,但同时也降低了译码性能。Yin Xu等人[10]通过在校验节点的计算上添加一个归一化因子来减轻MS的退化,并表明归一化最小和(Normalized Min-Sum,NMS)具有接近BP的性能。Seho Myung等人通过在校验节点的计算上添加一个偏移因子,证明OMS (Offset Min-Sum )在NMS译码方法的基础上更接近于BP译码性能[11]。因此,所有的MS译码改进方法均在大幅度降低BP译码复杂度的基础上去近似于BP译码的性能。然而,参考文献[10-11]中的归一化因子和偏移因子是通过遍历搜索得到的,遍历搜索的复杂度随着优化参数的增加呈指数级增长。在复杂度可接受的任意码长下,没有通用的方法来确定神经网络系统的最优参数。对于低密度奇偶校验码,密度演化(DE)[12]被广泛用于推导改进BP译码算法的参数。然而,DE只适用于无环图或周长较大的图,极化码BP译码因子图中的短周期使得DE不适用于极化码BP译码。针对极化码MS译码方法无法选择最优参数来补偿其近似值来的性能损失,专家和学者开始采用深度学习解决以上问题。Nachmani等人[13]提出了深度学习方法来优化具有短周期的图,并获得比和积方法更好的纠错性能。Tobias Gruber等人证明所有可能的码字训练的神经网络译码器具有接近最大的后验概率性能,但随着码字中信息比特数的增加,学习的复杂度呈指数级增长,因而受到限制[14]。刘荣科等人通过将极化码平均划分为多个子块进行模块内并行解码、模块间串行解码模块,提出了一种极化码的块神经网络方法[15]。牛凯等人通过展开极化码因子图的层赋予权值,将传统的极化码BP算法改进,并证明了改进后的极化码BP译码器具有对称结构,使得权值可以由一个全零码字训练[16]。因此,虽然上述译码改进方法优势明显,但对BP译码改进方法的性能还有一定提升空间,且产生了较高的计算复杂度。
面对极化码BP改进译码方法中无法选取最优因子参数来补偿性能损失的问题,可将深度学习算法与极化码译码相结合。文中将极化码推广到无线光通信场景中,提出了无线光通信下的DNN-NOMS (Deep Neural Networks-Normalized and Offset Min-Sum)译码方法,首先在极化码奇偶校验矩阵的基础上,将极化码的BP因子图转化为稠密的Tanner图,通过校验节点(Check Nodes,CNs)和变量节点(Variable Nodes,VNs)更新方程的剪枝方法,转化为稀疏Tanner图,从而避免短环效应。展开稀疏Tanner图并将其转换为前馈神经网络模型,通过将MS译码算法添加归一化因子和偏移因子,将前馈神经网络模型的边赋予权重,通过三种神经元函数对校验节点、变量节点计算并进行译码判决,在选取最优的归一化因子和偏移因子的基础上,完成极化码置信度传播译码。
1 系统模型
1.1 无线光通信系统模型
无线光通信的信道编码、传输和译码模型如图1所示。无线光通信的通信过程如下:(1)在发射端,先将二进制信息序列进行极化码编码,将码字进行PPM (Pulse Position Modulation)调制到光载波上,并经过大气信道进行传输;(2) 在接收端,光学天线接收光信号, 并由光电探测器将光信号转换成为电信号,然后经PPM解调, 最后使用DNN-NOMS译码器对接收信号进行极化码译码。
图 1. DNN神经网络模型辅助极化码译码的系统模型
Fig. 1. DNN neural network model assisted system model for polarization code decoding
1.2 大气湍流信道
无线光通信的激光传输模型一般有对数正态湍流模型、负指数湍流模型和Gamma-Gamma模型,其中前两种模型的适用范围受限,而Gamma-Gamma模型可以较好地适应强、弱湍流条件下的大气激光传输信道,该模型的建立基于大气湍流传输时光强起伏的调制过程。其分布表达式如下[17-18]:
式中:
式中:
2 DNN-NOMS神经网络模型
2.1 极化码的稀疏Tanner图
(N,K)极化码的编码器分别将K个信息位和其他(N−K)位分配给N位码字
图 2. (8,4)极化码BP译码方法因子图
Fig. 2. (8,4) factor diagram of polarization code BP decoding method
图 3. (8,4)极化码的处理单元PE信息传递过程
Fig. 3. (8,4) PE information transmission process of the processing unit of the polarization code
置信传播算法是一种基于Tanner图的译码算法,Tanner图是编码码字的奇偶校验矩阵的图形表示,其Tanner图的展开就为神经网络模型结构。为了将极化码的BP因子图展开为神经网络模型,需要将极化码BP因子图修改为Tanner图。具有生成矩阵G的极化码的奇偶校验矩阵H可以由G的列构造而成,G的索引在Ic中,Ic表示冻结索引集(引理1[19])。由H可得到稠密的Tanner图,然而,稠密的Tanner图存在许多短圈而导致性能较差,如果在该密集H上执行传统译码算法将导致解码失败。因此,如图4所示,在基于CNs和VNs更新方程的基础上,通过删除和合并对译码过程没有贡献的节点来减小奇偶校验矩阵的大小[19],将极化码稠密Tanner图转化为稀疏Tanner图。
图 4. (8,4)极化码的稠密Tanner图(a)和稀疏Tanner图(b)
Fig. 4. (8,4) Dense Tanner graph (a) and sparse Tanner graph (b) of polarization codes
引理1 (极化码奇偶校验矩阵):对于基于g2极化核的1−1可逆映射
如图5所示,在稀疏Tanner图的基础上,将其通过展开来构造稀疏网格结构的前馈神经网络。若在(N,K)极化码的稀疏Tanner图上总共有N个输入节点、E个边和T次迭代,则关联的DNN神经网络模型则有2T个隐藏层,每个隐藏层中的节点数等于E,每个隐藏节点表示在相应边上传播的软消息,对于具有输入节点的输入层,接收信道输出的初始对数似然比LLR被馈入最后N个输出节点,最终的输出由sigmoid函数激活。传统的BP可用于构造Tanner图上的极化码,但由于采用双曲三角函数(tanh)和乘法运算,BP译码的计算复杂度较高,与BP译码相比,MS译码构造的DNN能较好地减少其计算复杂度。因此,文中将MS译码方法作出改进,并用改进的MS译码来定义DNN中的两种基本神经元,最后构成神经网络译码器。
图 5. (8,4)极化码的稀疏神经网络译码结构
Fig. 5. (8,4) sparse neural network decoding structure of polarization codes
2.2 NOMS译码方法
BP译码方法通过将乘法运算改为加法运算,从而降低计算复杂度。但在变量节点信息更新计算中,tanh函数的计算相当复杂。MS方法通过在检查节点更新步骤中用简单的最小化操作替换tanh函数,大大降低BP算法的计算复杂度。参考文献[9]证明了这种近似使得校验节点的输出LLR的大小变大,同时保持其符号不变。因此,为了减少校验节点的输出LLR的绝对值来恢复MS方法的性能,参考文献[10]提出NMS方法,通过在校验节点的输出LLR乘一个小于1的归一化因子,该因子被确定为MS方法的LLR大小的期望值与BP算法的LLR大小的期望值之比,因此MS方法中LLR的平均值被强制为BP算法中LLR的平均值。参考文献[11]中提出OMS方法,其通过在校验节点的输出LLR减去一个数值来降低幅度。若两种方法的LLR的概率密度函数(pdf)与BP算法近似,则NMS方法与OMS方法的性能将与BP算法相同。NMS方法通过乘归一化因子可被视为其pdf的缩放,而OMS方法通过减去偏移项可被视为pdf的偏移。若同时执行缩放和移位操作,MS方法中的pdf可能会更好地匹配BP算法中的pdf。因此,文中将NMS和OMS方法结合起来,以同时利用缩放和移位。NOMS译码方法详细描述如下(符号含义如表1所示)。
表 1. NOMS译码方法符号含义
Table 1. Symbol meaning of NOMS decoding method
|
(1) 初始化。对所有变量节点计算来自信道的初始消息
(2) 水平更新(校验节点更新)步骤。第1次迭代时,对所有校验节点,更新其传递给变量节点的信息
(3) 竖直更新(变量节点更新)步骤。第1次迭代时,对所有变量节点,更新其传递给校验节点的信息
(4) 硬判决。对所有的变量节点计算判决消息
(5) 迭代运算的终止判定。若校验方程满足或该译码方法达到设定的最大迭代次数,停止迭代,输出译码结果;否则跳转至第(2)步继续迭代。
2.3 NOMS神经网络译码器结构
归一化因子或偏移因子参数通常是经验或蛮力搜索得到的,其随着优化参数的增加呈指数级增长,用传统的蛮力搜索方法不能找到归一化因子或偏移因子参数的最佳组合,并导致译码失败。由于极化码Tanner图与深度神经网络的相似性,将极化码Tanner图的展开为神经网络结构能够解决这个问题。迭代译码算法被展开成一个前向传播网络。H决定了CNs和VNs连接的边。在每次迭代中,CNs层和VNs层之间的消息被乘以不同的校正因子α和β,相当于在Tanner图的边上添加权重参数。计算CNs-to-VNs消息和VNs-to-CNs消息的过程分别在神经网络中的CNS层和VNS层由三种不同类型的神经元函数实现。所提出的DNN-NOMS译码网络的接收端详细信号流程如图6所示。
(1)输入层:接收机将输入信息
(2)隐藏层:
1) 为了计算所有校验节点,更新其传递给变量节点的信息
2) 为了计算所有变量节点,更新其传递给校验节点的信息
3) 通过在隐藏层中添加更多的CN层和VN层来轻松地增加迭代次数。基于T次迭代的BP算法,展开的NND有2T+2层,其中前2T层的输入输出映射函数分别由a和b描述,其余两层分别为一个输入层和一个输出层。
(3)输出层:判决函数采用Sigmoid函数,可将LLR消息转换为对应比特为1的概率值,因此,通过神经元III(输出神经元)计算输出层中的最终输出,实现译码判决:
(4)最后,使用交叉熵损失函数来评估神经网络预测信息比特
3 仿真与分析
为了验证所提出无线光通信下DNN-NOMS译码方法的可行性,在TensorFlow框架搭建译DNN神经网络模型,并使用GeForce GTX Titan-X GPU环境加速训练,模拟不同湍流强度下的大气信道,开展不同译码方案、码长和码率的系统仿真。模拟参数如表2所示。
表 2. 模拟参数
Table 2. Simulation parameters
|
为了探究系统误码率性能与神经网络模型层数的关系,将对不同层数的神经网络模型的误码率性能进行分析对比。神经网络模型的层数,其实质是指BP译码方法迭代的次数。在一定的迭代次数以内,随着BP译码方法迭代的次数增加,其误码率性能一定提高。但随着神经网络层数的提高,其神经模型的网络层数越深,乘法和加法运算量越大,当网络层数达到一定深度时,译码器的性能会受到影响,不会有很大的改进,因此误码率性能的提高是以计算复杂度为代价的。选择码长1024、码率0.5、DNN-NOMS译码方法(归一化因子为1,偏移因子为0)的系统下进行仿真,如图7所示:当网络层数为4时,其误码率性能较差,随着网络层数的提高,在网络层数为4~12之间时,其误码率性能增幅明显;当网络层数递增到12~20层之间时,其误码率性能改进缓慢。当误码率为10−4时,网络层数(12~16、16~20)的误码率增益分别仅为0.02 dB和0.08 dB 。因此,为了综合考虑性能与复杂度之间的权衡,该模型选择5次迭代、12层神经网络。
图 7. 神经网络模型在不同网络层数下的译码性能比较
Fig. 7. Comparison of the decoding performance of the neural network model under different network layers
极化码的BP译码满足对称性,因此可使用全零码字来代替信道传输的随机码字[16],训练数据是多个信噪比下产生的,采用最小批量梯度下降法对网络进行训练,每个小批量包含120个数据块,每个SNR在一个小批量中所占的比例相同。采用学习率为0.001的自适应矩估计(Adam)优化方法搜索最优网络参数(图8中的1个epoch指的是将训练集中的全部样本训练一次)。
为了能较好地补偿MS译码方法近似估计带来的性能损失,需要对DNN-NOMS译码器进行不同参数初始化的训练来获得最优的因子参数。在参考文献[9]中,MS对归一化因子、偏移因子没有进行讨论分析,可看作其归一化因子、偏移因子分别为1、0。因此,将DNN-NOMS的归一化因子、偏移因子的演变起始值分别设置为1、0。如图8所示,三条曲线分别为NMS的归一化因子、OMS的偏移因子以及损失函数随500 epoch的演变过程。随着数据集的增加,损失函数值逐渐减小,且变化趋势逐渐变缓,最后趋于稳定,说明训练过程已经收敛。(1)损失函数值:随着epoch的增加,在0~20 epoch,DNN模型的损失函数值下降9%,此时下降幅度最大,在30~100 epoch,其开始缓慢下降,最终趋于0.26,几乎稳定不变,模型趋于稳定;(2)归一化因子:在0~40 epoch,DNN-NOMS的归一化因子上升至0.37,此时其上升幅度最大,在40~90 epoch,其上升幅度略微变缓,最终上升至0.44,几乎稳定不变。(3)偏移因子:在0~50 epoch,DNN-NOMS的偏移因子下降为12%,此时其下降幅度最大,在50~100 epoch,NOMS的偏移因子缓慢上升, 最终趋于0.89,几乎稳定不变;随着训练过程的收敛,DNN-NOMS的归一化因子由初始值1缓慢收敛到0.44,偏移因子由初始值0缓慢收敛到0.89,而参考文献[20]中NMS方法的归一化因子的最佳值为0.2,OMS方法的偏移项的最佳值为1.4。
针对不同的湍流强度下湍流信道会对通信系统传输码字造成不同程度的误码率影响,分别在不同强度的湍流条件下计算最优因子参数,增强DNN神经网络模型的泛化能力,并进行泛化能力分析。由上节同理可得表3所示:(1)在湍流强度为
表 3. 不同湍流强度条件下最优因子参数的计算
Table 3. Calculation of optimal factor parameters under different turbulence intensity conditions
|
为了进一步验证文中所提无线光通信下的DNN-NOMS译码方法的性能,模拟湍流强度为
由图9可知:(1)在码长N=1024、码率为1/2的情况下,在低信噪比时(SNR<9),DNN-NOMS译码方法的误码率性能略优于MS、NMS、OMS译码方法。随着信噪比的增加,DNN-NOMS译码方法的误码率性能明显提高,其译码性能增益较MS、NMS、OMS译码方法逐渐变大。在误码率为10−4时,DNN-NOMS译码方法的误码率性较OMS译码方法有0.21 dB的译码增益,较NMS译码方法有0.35 dB的译码增益,而较传统的MS译码有1.2 dB的译码增益。(2)随着码长的增加,信道的极化越充分,其译码性能越好,其译码性能增益差距愈加明显。在码长N=4096、码率为1/2的情况下,其变化趋势与码长为1024时一致。在误码率为10−4时,DNN-NOMS译码方法的误码率性能较OMS译码方法有0.55 dB的译码增益,较NMS译码方法有0.91 dB的译码增益,而较MS译码有2.25 dB的差距。上述结果表明,在不同码长的情况下,所提出的DNN-NOMS译码方法能有效地改善极化码MS,改进译码方法的性能。
为进一步模拟不同码率对通信系统性能的影响,在弱湍流强度(
图 10. 不同码率下译码方法的性能比较
Fig. 10. Performance comparison of decoding methods under different code rates
为证明在不同湍流强度下该译码方法的可行性,分别在弱湍流、中湍流、强湍流信道下的大气湍流模型中进行仿真分析。从图11可知:(1)在弱湍流强度
图 11. 不同湍流强度下译码方法的性能比较
Fig. 11. Performance comparison of decoding methods under different turbulence intensities
为分析与比较不同BP译码改进方法的译码复杂度,分别列出不同译码方法中不同类型的计算次数和存储空间进行分析比较。极化码传统BP译码方法在从左到右和从右到左的传播过程中连续激活共
表 4. 不同BP改进译码方法的译码复杂度比较
Table 4. Comparison of decoding complexity of different BP modified decoding methods
|
4 结 论
研究了大气湍流信道下基于深度学习的置信度传播译码方法,在将BP改进译码方法的归一化因子和偏移因子作为Tanner图的权重的基础上,通过选取最优的参数因子来构造深度学习译码模型,提出一种深度学习辅助置信度传播译码方法的极化码稀疏神经网络译码器。在不同的大气湍流强度下进行仿真分析,在湍流强度为
[6] Arikan E. Channel polarization: A method for constructing capacity-achieving codes for symmetric binary-input memoryless channels[J]. IEEE Transactions on Information Theory, 2009, 55(7): 3051-3073.
[7] Tal A, Vardy A. List decoding of polar codes[J]. IEEE Transactions on Information Theory, 2015, 61(5): 2213-2226.
[8] Yuan B, Parhi K K. Early stopping criteria for energy-efficient low-latency belief-propagation polar code decoders[J]. IEEE Transactions on Signal Processing, 2014, 62(24): 6496-6506.
[9] Peng S, Zhao Z, Bao J. Differential decoding of lowdensity paritycheck codes based on min sum algithm [C]Third International Symposium on Infmation Science & Engineering. IEEE Computer Society, 2010: 562566.
[10] Gao N, Xu Y, He D, , et al. Min-sum algorithm using multi-edge-type normalized scheme for ATSC 3.0 LDPC decoders[J]. IEEE Transactions on Broadcasting, 2020, 66(3): 729-736.
[11] Myung S, Park S I, Kim K J, , et al. Offset and normalized min-sum algorithms for ATSC 3.0 LDPC decoder[J]. IEEE Transactions on Broadcasting, 2017, 63(4): 734-739.
[12] Chen J, Dholakia A, Eleftheriou E, , et al. Reduced complexity decoding of LDPC codes[J]. IEEE Transactions on Communications, 2005, 53(8): 1288-1299.
[13] Nachmani E, Marciano E, Lugosch L, , et al. Deep learning methods for improved decoding of linear codes[J]. IEEE Journal of Selected Topics in Signal Processing, 2018, 12(1): 119-131.
[14] Cammerer S, Gruber T, Hoydis J, et al. Scaling deep learningbased decoding of polar codes via partitioning [C]GLOBECOM 20172017 IEEE Global Communications Conference. IEEE, 2017: 16.
[15] Jian Y, Liu R. Decoding of polar code by machine learning [C]2019 IEEE International Symposium on Broadb Multimedia Systems Broadcasting (BMSB). IEEE, 2019: 14.
[16] Gao J, Niu K, Dong C. Learning to decode polar codes with one-bit quantizer[J]. IEEE Access, 2020, 8: 27210-27217.
[19] Cammerer S, Ebada M, Elkelesh A, et al. Sparse graphs f belief propagation decoding of polar codes [C]2018 IEEE International Symposium on Infmation They (ISIT). IEEE, 2018: 14651469.
[20] Chen J, Fossorier M P C. Density evolution for two improved BP-Based decoding algorithms of LDPC codes[J]. IEEE Commun Letters, 2002, 6(5): 208-210.
[21] Zhang Xiaojun, Li Na, Dong Yanfei, , et al. Low-complexity early stopping criterion for the confidence propagation algorithm of polar code[J]. Journal of Electronics & Information Technology, 2021, 43(1): 77-84.
Article Outline
文豪, 曹阳, 党宇超. 无线光通信下极化码DNN-NOMS译码方法研究[J]. 红外与激光工程, 2022, 51(5): 20210420. Hao Wen, Yang Cao, Yuchao Dang. Research on DNN-NOMS decoding method of polarization code in wireless optical communication[J]. Infrared and Laser Engineering, 2022, 51(5): 20210420.