通信系统是为了将信源信息高效、可靠地传送到接收端。有扰通信信道的噪声会对传输信息产生干扰,从而可能降低通信可靠性。所以,通信系统设计的中心问题是在随机噪声干扰下如何有效而可靠地传输信息。一般地,通信系统的可靠性用错误比特率(BER)来衡量,有效性用传输速率R(比特/信道符号)来衡量。

现在是信息社会,充分利用和交流信息,就构成了通信的主要目的——沟通信息。

01

通信系统概述

一个典型的通信系统模型,就像这样:

发送器+信道+接收器,构成了一个基本的通信系统。

在通信过程中,存在噪声干扰和信道衰落。对于接收方来讲,信息是未知的,消息越出乎意料,信息量就越大。

其次,噪声也是未知的,并且噪声限制了通信的能力。

因此,在通信过程中,需要考虑以下这些问题:

能够高效地携带信息的信号形式;

适合特定传输的信号波形,如波形的中心频率、带宽、功率、能量等;

有效抑制噪声与其他干扰以保障传输质量的方案;

简单、可行的通信方法;

系统成本。

是不是挺难的?九年义务教育让我们拥有了解这个世界的基本认知能力。高中使我们在数理化、政史地、语文和外语中,做了大熔炉,这个时候,我们上知天文,下知地理。这就足够了吗?

好像并不是这样。

然后我们考上大学,按专业进行通识教育和专业教育,四年下来,好像什么都学了,但似乎好像什么都不太明白。

毕业直接去工作,还是继续深造读研,这是大部分本科生纠结不止的地方。

每年有三四百万的应、往届毕业生,选择考研,希望在学识的道路上,更进一步。

21世纪,是谁的世纪?生命科学的?ICT的?AI的?新能源的?新材料的?中国的?美国的?

其实是我们这一代青年人的。

学习数年的电子、通信的知识与技能,然而在今天看来,不过是沧海一粟,冰山一角。

一个完整的通信系统,含有大量信号处理过程,基带+射频处理,足够玩几年。

4G过了有5G,5G过了有6G,6G过了有7G．．．．．．．。

地面通信玩腻了,有海洋通信;海洋玩腻了,有深空。实在玩不动了,就去玩星际通信吧。

传统的电子系统玩腻了,就去玩量子;量子玩不动了,就去完意念。

是不是很有前途。

话说回来,学好通信不容易,更何况,在知识和技术日新月异的今天。

学好通信,需要掌握:

傅里叶理论、调制理论、检测理论、概率论、随机过程、通信系统理论、信息论与编码、模/数电、电路分析、射频、计算机、芯片设计与开发、频谱仪、示波器、信号发生器、矢网．．．．．．

通信系统中,信号在信道中传输时,存在着信道噪声、衰落、各种干扰以及信道本身的非理想频率响应等诸多不利因素。为了保证数据传输的可靠性,通常将信源编码器输出的信息比特流在发送之前进行信道编码,即通过有效地添加冗余,使得接收器能够以非常高的概率正确的从已经失真的接收信号中还原出原始信息比特流。

Shannon在他著名的信道编码定理中给出了在噪声信道中数据传输速率的上界,即信道容量。

还记得这个天花板公式吧:

信道编码定理是:若有一离散、平稳、无记忆信道,其信道容量为C,只要待传送的实际信息率R

该定理指明,存有扰信道中,只要信息传输速率小于信道容量,就有可能实现任意可靠的信息传输。这个存在性定理告诉我们可以实现接近信道容量的传输速率进行通信。当在噪声信道上的数据传输速率R小于诱噪声信道的容量C时,一定存在一种信道编码方案使得在接收端出错的概率任意小;反之,如果R>C,则一定不存在这样的方案。

根据以上讨论不难看出,编码在现代通信系统中起着全关重要的作用,已经成为了现代通信系统中不可或缺的一个重要组成部分。编码可以从总体上划分为两类:信源编码和信道编码。

其中,信源编码研究如何更加有效地表示信源。原始的信源编码就是莫尔斯电码,另外还有ASCII码和电报码都是信源编码。但现代通信应用中常见的信源编码方式有:Huffman编码、算术编码、L-Z编码,这三种都是无损编码,另外还有一些有损的编码方式。信源编码的目标就是使信源减少冗余,更加有效、经济地传输,最常见的应用形式就是压缩。

信道编码则是研究如何克服信道中的各种失真从而保证数据的可靠传输。因此信道编码的重要性不言而喻。那么,信道编码技术发展情况如何,到如今有哪些重要的信道编码方式呢?

02

信道编码发展历程

香农提出了信道编码定理,并在其证明中引用了三个基本条件:

采用随机编码方式;

码字长度趋于无穷大;

采用最大似然译码算法。

一个随机选择的码以很高的概率为好码,对于随机码的最大似然译码,其译码复杂度G与所传输的信息比特数呈指数关系,即为G=exp(NR),随机码的误码率上限为以Pe～G-Eb(R)/R,误码率随着码长N趋于无穷大而趋向于0的同时,译码复杂度以指数增长,可见随机码在实际系统里其实并不实用。

由于信道编码定理证明的非构造性,并没有给出如何构造逼近香农容量限的编码方法,构造一个逼近香农容量限的纠错码成了众多学者争相研究的课题,并逐渐形成了信息论的一个重要分支—信道编码理论。

从构造方法上看,纠错码可分为分组码和卷积码两大类。在20世纪50年代到60年代,人们主要研究了线性分组码。这类编码以代数中的群论、域论等理论为数学基础,利用各种代数方法设计好的纠错码,并研究与之相适应的译码算法。

第一个分组码是1950年发现的能纠正单个错误的汉明(Hamming)码。1950年汉明(Hanmming ．R．W)发表的论文《检错码与纠错码》是开拓编码理论研究的第一篇论文,考虑在计算机中纠正单个错误。汉明码(7,4),码率为4/7,需要3个监督位,码率不高,同时纠错能力有限,只能纠正单一错误。

M．Golay针对汉明码的缺点提出了性能更好的格雷(Galay)码,Golay发现了两种编码,一种是二元Golay码,采用12个数据比特,11个校验比特为一组,能纠正3个错误。第二种是三元Golay码,以三进制数为运算域,6个数据符号,5个校验符号为一组,可以纠正2个错误。

这两种码基本原理相同,都是将q元符号按每k个分为一组,然后通过编码得到n-k个q元符号作为冗余校验符号,最后由校验符号和信息符号组成有n个q元符号的码子符号,编码码率为r=k/n。

Muller在1954年以布尔逻辑代数方式提出了Reed．Muller码(RM码),它比Hamming码和Golay码好的地方是它可以改变码字大小和纠错能力,是Reed在Muller基础上得到的一种新的分组码,也是继格雷码之后提出的最主要的一类分组码。

继RM码之后,Prange于1957年又提出了循环码的概念。循环码实际上也是一类分组码,但是它的码字具有循环移位特性,即码字比特经过循环移位以后仍然是码字集合中的码字。这种循环结构使码字的设计范围大大增加,同时大大的简化了编译码结构。

循环码的一个非常重要的子集就是分别由Hocquenghem在1959年以及Bose和Ray—Chuadhuri研究组在1 960年几乎同时提出的BCH(Bose Chuadhuri Hocquen曲em)码,CH码的码字长度为n=qm-1,其中m为一个整数。二元BCH码(q=2)的纠错能力限为,t<(2m-1)。

1960年Reed和Solomon将BCH码扩展到非二元(q>2)的情况,得到了RS(Reed．Solomon)码。RS码的最大优点是其非二元特性可以纠正突发错误并日．它也能纠正随机错误。

但直到1967年Berlekamp给出了一个非常有效的译码算法之后,RS码才在实际系统中崭露头角,比如在CD播放器、DVD播放器以及CDPD(Cellular Digital Packet Data)标准中都得到了很好的应用。

上述讨论的这些都是分组码,分组码存在一些不足,应用受限。首先,必须是按帧传输、按帧译码,这样在帧长较长时会带来一定的时延。其次,要求准确的帧同步,这样才能准确译码。多数分组码要求解调器的硬判决输出,这样又会带来一些判决误差,影响性能。此外,分组码的译码方法通常都采用大数逻辑译码和捕错译码,其译码复杂度与码长成指数关系,码长越长,译码复杂度越大,而且上升趋势很快,所以基本上不实用。

1955年,Elias等人首先提出了卷积码。卷积码不是将数据分割成不同的分组,而是通过移位寄存器将校验比特加入输入数据流中。每n比特输出是当前k比特输入和寄存器中的m比特的线性组合,每次输出总的比特数与约束长度k有关,其码率为存一次编码间隔中数据比特k与输出比特数n之比。

卷积码与分组码不同在于它在编码的过程中引入了寄存器,增加了码元之间的相关性,在相同的复杂度下可以获得比分组码更高的编码增益,但是这种相关性同时也增加了分析和设计卷积码的复杂性。

随着人们对卷积码研究的深入,在卷积码的译码算法方面出现了序列译码算法、门限译码算法和维特比(Viterbi)译码算法。

维特比(Viterbi)译码算法的出现,使卷积码逐渐成为研究和应用的重点,以后出现的TCM(栅格编码调制)技术进一步确立了卷积码在纠错码应用中的主导地位,特别是在通信系统中得到了极为广泛的应用。

维特比(Viterbi)是谁?

人物

维特比(Viterbi)

安德鲁·维特比(Andrew J． Viterbi),CDMA之父,IEEE Fellow ,高通公司创始人之一,高通首席科学家。他开发了卷积码编码的最大似然算法而享誉全球。

【人物简介】

维特比于1935年3月9日出生在贝加莫(意大利北部的一个城市),1939随父母移民到美国。维特比就读于波士顿拉丁文学校,于1952年进入MIT电子工程专业。1957年硕士毕业后获取南加州大学数字通信方向博士学位。随后作为加州大学洛杉矶分校、圣迭戈分校电子工程专业教授。1967年他发明维特比算法,用来对卷积码数据进行译码。该算法已经成功应用于蜂窝电话系统,DNA分析,以及隐马尔科夫模型诸多应用中。维特比同时还帮助发展了CDMA标准。

【主要成就】

1985年维特比作为参与者之一创建了高通公司,该公司成立之初主要为无线通讯业提供项目研究、开发服务,同时还涉足有限的产品制造。

2007年6月19日,维特比荣获首届IEEE/RSE/欧胜联合颁发的James Clerk Maxwell大奖。2008年9月,由于发明维特比算法,以及对CDMA无线技术发展的贡献,维特比获得美国国家科学奖章。

卷积码的主要问题是对突发性错误的纠错能力差。但是采用交织和卷积码结合的方式,可以在码比特送入信道前,进行分组交织,再进行卷积码编码,在接收端,先解交织,再译码。经过这一交织与解交织的过程,突发性错误就变成了随机错误。卷积码性能得到改善。典型的Turbo码就是这样的一种编解码结构。

经过上个世纪几十年的研究和实践,纠错码理论和技术取得了很大的发展,但是距离Shannon理论极限仍然还有一定的距离,难以找到逼近Shannon极限的编码方案,这使得人们一度认为Shannon极限仅仅是理论上的极限,是不可能达到的。

法国的C．Berrou等人在1993年提出了一种全新的信道编码方案:Turbo码。Turbo码在信道编码的理论和应用中取得了突破性的进展,具有里程碑的意义。它打破了串行级联编码的结构,采用并行级联编码。Turbo码的基本思想在于利用短码构造长码,在译码时,将长码化为短码,再利用软输入/软输出的迭代译码算法(MAP算法,SOVA算法)达到了接近Shannon极限的性能。

Turbo码的优异性能使其一度成为编码界研究的热点,其理论和技术也逐渐成熟起来。Turbo码在通信中有广阔的应用前景,在诸如星际探测、4G移动通信、数字电视、数字广播、卫星通信中都得到广泛应用。但是Turbo码也有自身的缺点,它的译码复杂度仍然较高,且码长较长时,交织器的存在使得时延较大。

就在人们热点研究Turbo码的时候,有人注意到了一种早在1962年就由Gallager提出来的信道编码方案——LDPC码(Low Density Parity Check codes,低密度奇偶校验码),它利用校验矩阵的稀疏性,使得译码复杂度只与码长成线性关系,在长码长的情况下仍然可以有效的进行译码,因而具有更简单的译码算法。

后来,D．J．Mackay、M．Neal和N．Wiberg等人对LDPC码重新进行了研究,发现LDPC码与Turbo一样具有逼近Shannon极限的性能。最新的研究结果显示,实验中已找到的最好LDPC码,其极限性能据Shannon限只相差0．0045dB。

03

LDPC码

LDPC是一种前向信道纠错码,由MIT的Robert Gallager博士于1962年提出,是一种二元正则线性分组码,其校验矩阵具有一定的稀疏性。

在GF(2)上的LDPC码具有以下特点:

校验矩阵H的每一列都包含正好dv个“1”(dv被称为变量节点的度);

校验矩阵H的每一行都包含正好dc个“1”(dc被称为校验节点的度);

两行或两列中不能有多余一个相同位置上有非零元素(特性3在定义LDPC码时不是必要的,引入只是为了避免4环);

dc和dv相对于码长和校验矩阵来的行数来说很小。

Gallager证明了LDPC码的最小汉明距离随着码长的增长而线性增长。在计算树图上采用迭代后验概率译码,可以获得依码字长度降低的比特错误概率。尽管Gallager证明了LDPC码具有渐进特性的好码,但由于LDPC码的编码复杂度高,对硬件实现要求也高,而当时的计算工具和存储器件较差,LDPC码一度被认为是一种不实用的码,在很长一段时间内没有受到人们的重视。英雄落泪!

1981年,Tanner在一篇奠基文章中正式提出了用图模型来描述码字的概念。Tanner将LDPC码的校验矩阵对应到被称为Tanner图的双向二分图上;双向二分图由多个局部约束子集合构成,每个子集合包含的比特节点数目等于校验矩阵中每一行“1”的个数(校验节点的度),同时每个比特节点参与的子集合数目等于校验矩阵中的每一列“1”的个数(变量节点的度)。在译码过程中,每个子集合单独译码,子集合通过共同拥有的比特节点进行信息传递,经过多次迭代完成译码。采用Tanner图构造的LDPC码,通过并行译码可以显著降低译码复杂度。Tanner仔细分析了最小和算法与和积算法两种信息传递译码算法,证明了基于有限无环Tanner图最小和译码算法及和积译码算法的最优性。在实际中,Tanner图的构造采用随机图的方式,从而Tanner图存在小环路现象,这些小环路会造成姨妈信息的重复传递,影响迭代译码算法的收敛性以及译码性能。

Mackay和Neal利用随机构造的Tanner图研究了LDPPC码的性能,结果表明采用和积译码算法的正则LDPC码具有和Turbo相似的译码性能,长码的性能甚至超过了Turbo码。

Wiberg结合Turbo码和网格图对Tanner因子图进行了研究,将其推广成包含隐含状态变量的因子图(factor graph)。Wiberg的因子图是一个包含比特节点和校验节点的二分图,每个局部约束子集合由一个校验节点和多个比特节点组成。Wiberg还证明了最小和算法与和积算法在本质上的同一性,在无环图中,它们分别等效于最大似然译码(ML)和最大边界后验概率译码(APP)。

LDPC码的另一个重要研究成果是Richardson等人应用密度进化理论来估计LDPC码的性能。他们发现,在译码信息的迭代过程中存在译码阈值现象,即当信噪比大于译码阈值时,迭代译码可以使误码率位零,如果信噪比小于译码阈值,则无论采用多长的LDPC码,经过多少次迭代,总存在一定的错误概率。通过建立在无环图上的密度进化理论,可以精确地计算无环图上LDPC码的译码阈值,分析其译码收敛条件,从而可以近似估算有环因子图上LDPC码的性能。

近年来,LDPC码与通信系统中的其他关键技术的结合成五日新的研究热点,包括LDPC码与Turbo码以及时空码的结合使用,LDPC码编码与调制,LDPC码的编译码与MIMO技术的结合,基于LDPC码的OFDM系统以及基于LDPC码的CDMA系统。同时,由于LDPC码译码复杂度相对较低并且硬件水平在不断提高,LDPC码的硬件实现也正成为研究热点。特别是利用FPGA进行LDPC编解码器的开发设计上,已有不少研究成果。

目前,LDPC码已成为5G NR信道编码方案的标准。

Xilinx公司开发的LDPC Encoder/Decoder IP框图如下图所示:

该IP运行在400MHz时钟时,译码最高吞吐率在8次迭代下为1．78Gb/s,编码吞吐率位12．5Gb/s。该IP采用高带宽的AXI4-Sream接口,译码支持最小和算法或偏置最小和算法。

04

Polar码

前面在文章《5G NR信道编码》、《Polar Code(一)概述》、《Polar Code(二)前世今生》中,对Polar码做了介绍,并在《Polar Encoder/Decoder IP核使用方法总结》中粗略地介绍了该IP的特性及应用情况,感兴趣的朋友,可点击前往访问。

在这里,我们再简单回顾一下Polar码的发展历程。

2008年,Erdal Arikan发表了题为《Channel Polarization: A Method for Constructing Capacity-Achieving Codes》的论文,提出了一种信道极化方法,该方法可以构造任意二进制输入离散无记忆信道(B-DMC)W对称容量I(W)的码序列。

2009年,Erdal Arikan在"IEEE Transaction on Information Theory"期刊上发表了一篇长达23页的论文,更为详细地阐述了信道极化,并基于信道极化提出了一种新的编码方式,并命名为极化码(Polar Code)。极化码有具体的构造方法,并且是已知的唯一一种能够被严格证明“达到”信道容量香农限的信道编码方法。

极化码是一种前向错误纠错编码方式,用于讯号传输。在信道编码侧,我们考虑采用一种方法,使各个子信道呈现出不同的可靠性,当码长持续增加时,部分信道将趋向于容量近于1的完美信道(无误码);另一部分信道则呈现趋向于容量接近于0的全噪声信道,从而呈现两极化的信道。我们选择在容量接近于1的信道上直接传输信息以逼近信道容量,这样可以使得信道容量接近香农极限。

极化码同时具备了代数编码和概率编码的特点。首先,我们只要给定编码长度,极化码的编译码结构就唯一确定,并且可通过生成矩阵来完成编码过程,这与代数编码的思维是一致的。其次,极化码在设计师没有考虑最小距离特性(如汉明距),而是利用了信道联合(Channel Combination)和信道分裂(Channel Splitting)的过程来选择具体的编码方案,译码时采用概率算法(如对数似然比),这就和概率编码相似。

尽管Polar提出较晚,但作为已经被理论证明可达到香农极限的编码方案,自发明以来,业内已在译码算法、速率兼容编码方案和硬件实现上做了大量的研发工作。

2016年11月18日,在美国内华达州里诺召开的3GPP RAN#87次会议上,确定Polar Code作为5G eMBB(增强移动宽带)场景下控制信道编码方案。

2018年7月26日,华为在深圳坂田举行5G极化码与基础研究贡献奖颁奖大会(5G Polar Code and Fundamental Research Awards),此举是为了表彰科学家对基础科学做出的贡献。

与LDPC码比起来,Polar码真是赶上了好时代。

时势造英雄,英雄造时势。

出场时机很重要,不管是一场革命,一次创新,还是生命中遇见的人。

一个好的信道编译码方案,不论雪藏多久,终究会在适当的时候,迎来黎明的曙光。

信道编码方案有很多,在特定的场景下,选择合适的编码方案,保证信号质量,提高信道可靠性,实现高质量通信。