(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210063302.8 (22)申请日 2022.01.20 (71)申请人 浙江大学 地址 310013 浙江省杭州市西湖区浙大路 38号 (72)发明人 周清炀　李荣鹏　赵志峰　张宏纲　 (74)专利代理 机构 北京志霖恒远知识产权代理 事务所(普通 合伙) 11435 专利代理师 张荣鑫 (51)Int.Cl. G06F 40/211(2020.01) G06F 40/242(2020.01) G06F 40/284(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01)G06N 3/08(2006.01) H04L 25/03(2006.01) (54)发明名称 一种基于语义通信系统的去噪方法 (57)摘要 本发明提出了一种基于语义通信系统的去 噪方法， 提出了一种根据传输信道的信噪比情 况， 在传输前对语义信息进行预去噪， 在传输后 对语义信息进行去噪的信噪比适应去噪网络。 在 假设接收双方已知信道情况的前提下， 能够利用 信道信息实现去噪操作， 从而提高文本传输的准 确率； 提出了一种自适应的多头自注 意力去噪模 块， 能够在语义信息经过无线信道后， 通过多头 自注意力模块， 根据传输文本的语义信息， 实现 自我调整， 根据语义信息， 实现自去噪操作， 从而 提高文本传输的准确率。 权利要求书2页 说明书6页 附图4页 CN 114548073 A 2022.05.27 CN 114548073 A 1.一种基于语义 通信系统的去噪方法， 其特 征在于， 具体包括如下步骤： S1、 根据接收双方的共有知识， 将双方传输过程中所有可能会用的单词进行编号， 创建 一个词典； S2、 利用输入语句嵌入模块对输入语句进行词嵌入， 并添加位置向量； 利用目标语句词 嵌入模块对目标语句进行词嵌入， 并添加 位置向量； 得到输入语句对应的带有位置 向量的 词向量和目标语句对应的带有位置向量的词向量； S3、 语义编码： 输入语句对应的带有位置向量的词向量经过语义编码层， 通过 Transformrer的Encoder层完成语义编码， 得到语义编码向量； S4、 噪声预处理： 根据语义编码向量的传输信道的信息， 将完成语义编码之后的语义编 码向量及传输信道的信息， 一并输入信噪比适应去 噪模块， 所述信噪比适应去 噪模块根据 语义编码向量的语义信息 以及所要传输信道的信噪比情况， 调整语义编码向量的表征形 式； S5、 将完成语义编码以及噪声预处 理的语义编码向量， 通过信道； S6、 噪声处理： 解码端接收到通过无线信道的语义编码向量， 送入信噪比适应去噪模 块， 所述信噪比适应去 噪模块会根据所接 收到语义编码向量的语义信息， 并结合所通过信 道的信噪比情况， 消除语义编码向量中经 过无线信道所附加的噪声； S7、 自适应去噪： 将经过步骤S6噪声处理后的语义编码向量输入到自适应去噪模块， 所 述自适应去 噪模块由多头 自注意力机制所构成， 利用多头自注意力机制， 对语义编码向量 根据语义信息， 进行自我观察， 自我调整， 实现去噪； S8、 语义解码： 将完成S7自适应去噪的语义编码向量， 通用Transformer的解码层， 进行 语义解码， 将完成解码的语句文本通过概 率逻辑回归处 理后输出。 2.如权利要求1所述的一种基于语义通信系统的去噪方法， 其特征在于， 所述步骤S1中 的具体步骤如下： S11、 读入整个用于传输的文本文件； S12、 对整个文本进行分词 处理， 统计文本中每个单词的使用次数， 给每个单词进行编 号， 移除那些使用次数 过低的单词； S13、 在整个字典中添加开始或终止的字符； S14、 输出词典。 3.如权利要求1所述的一种基于语义通信系统的去噪方法， 其特征在于， 所述步骤S2中 的具体步骤如下： S21、 创建一个嵌入层， 将需要传输的语句送入嵌入层， 将其转化成为相映维度的词向 量； S22、 计算并添加位置向量； S23、 将词向量与位置向量相加， 得到拥有位置信息的词向量。 4.如权利要求1所述的一种基于语义通信系统的去噪方法， 其特征在于， 所述步骤S3 中 的具体步骤如下： S31、 定义三个矩阵， 根据三个矩阵， 对输入语句对应的带有位置向量的词向量进行三 次线性变化， 得到查询向量、 键向量和值向量； S32、 对查询向量、 键向量和值向量进行自注意力Self ‑Attention 的计算， 得到注意力权　利　要　求　书 1/2 页 2 CN 114548073 A 2向量； S33、 进行残差连接， 将注意力向量与输入语句对应的带有位置向量的词向量相加， 并 将得到的结果进行层归一 化操作得到残差向量； S34、 将得到的残差向量进行前馈传输操作， 通过两层线性映射并用激活函数ReLU进行 激活得到语义编码向量。 5.如权利要求1所述的一种基于语义通信系统 的去噪方法， 其特征在于， 所述信噪比适 应去噪模块的操作过程具体包括如下子步骤： S41、 建立一个输出维度为1的全连接层， 将文本作为输入， 整合文本中的语义信息， 得 到L*1的向量， 其中L表示文本的长度； S42、 将无线信道的信噪比作为输入， 与步骤S41中得到的L*1的向量进行一个拼接， 得 到维度为(L+1)*1的向量； S43、 将步骤S42中得到的(L+1)*1维度的向量， 分别通过两个输出维度 为L的全连接层， 分别得到 两个维度为 L*1的系数； S44、 将S43中得到的两个维度为L*1的系数与输入文本向量进行向量乘与向量加的操 作， 作为信噪比适应去噪模块的输出。 6.如权利要求1所述的一种基于语义通信系统 的去噪方法， 其特征在于， 所述自适应去 噪模块的操作过程具体包括如下子步骤： S51、 构建一个由多头注意力层构成的残差网络； S52、 将输入的文本分为两路传输， 其中一路不做任何变化， 另一路通过一个多头自注 意层之后， 进行一个前馈传输； S53、 将步骤S52中， 得到的两路向量相加， 作为自适应去噪模块的输出。 7.如权利要求1所述的一种基于语义通信系统的去噪方法， 其特征在于， 所述步骤S8的 具体操作如下： S81、 将步骤S2的得到的目标语句对应的带有位置向量的词向量输入多头自注意层进 行解码； S82、 将通过无线信道接收的编码信息和上一步中多头自注意层的输出信息输入多头 注意层进行解码； S83、 在目标语句通过多头自注意层与多头注意层 之后通过前馈传输层， 得到语义解码 向量； S84、 通过Softmax函数进行概 率逻辑回归， 输出语句。权　利　要　求　书 2/2 页 3 CN 114548073 A 3