(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111270875.X (22)申请日 2021.10.2 9 (71)申请人 江苏大学 地址 212013 江苏省镇江市京口区学府路 301号 (72)发明人 韩飞　朱少钧　郭鑫利　曹洁川　 李海龙　 (51)Int.Cl. G06T 11/00(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06F 30/27(2020.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) (54)发明名称 一种基于条件约束和特征匹配的生成对抗 网络的淋巴瘤图像数据生成方法 (57)摘要 本发明提出了一种基于条件约束和特征匹 配的生成对抗网络的淋巴瘤图像数据生成方法， 用于淋巴瘤图像的数据增强。 该方法首先结合标 签约束， 给WGAN ‑GP的生成模型搭建一层全连接 层和四层反卷积层来生成图像， 之后给WGAN ‑GP 的判别模型搭建三层卷积层和一层全连接层来 识别图像是来自真实的还是生 成的， 最后结合特 征匹配手段建立损失函数， 通过生成模型和判别 模型的对抗学习来生成指定标签的图像， 从而达 到数据增强的目的。 对淋巴瘤图像的获取需要大 量的临床病例， 然而该方法能够解决以往工作人 员难以获取指定类型的淋巴瘤图像数据的问题， 进一步提高工作人员工作效率， 从而减少工作人 员工作时间 并且提高生成图像的真实性。 权利要求书3页 说明书8页 附图1页 CN 113936072 A 2022.01.14 CN 113936072 A 1.一种基于条件约束和特征匹配的生成对抗网络的淋巴瘤图像数据生成方法， 其特征 在于， 包括下列步骤： 步骤1： 对图像数据进行归一 化处理并对类标签数据进行OneHot编码； 步骤2： 根据图像 类标签信息搭建基于卷积神经网络的WGAN ‑GP生成模型； 步骤3： 根据图像 类标签信息搭建基于卷积神经网络的WGAN ‑GP判别模型； 步骤4： 根据真实样本和生成样本在判别模型每层网络的取值， 计算出特征匹配的惩罚 项； 步骤5： 构建生成模型和判别模型的损失函数； 步骤6： 优化损失， 引入图像数据对 模型进行训练； 步骤7： 根据训练好的生成模型， 通过指定类标签， 生成预期的图像。 2.根据权利要求1所述的一种基于条件约束和特征匹配的生成对抗网络的淋巴瘤图像 数据生成方法， 其特 征在于， 所述的步骤1包 含下列步骤： 步骤1.1： 加载图像并对图像进行归一 化处理， 将值限定在区间[0,1]中； 步骤1.2： 采用python的sklearn包中的OneHotEncoder方法给图像对应的类标签进行 编码。 3.根据权利要求1所述的一种基于条件约束和特征匹配的生成对抗网络的淋巴瘤图像 数据生成方法， 其特 征在于， 所述的步骤2包 含下列步骤： 步骤2.1： 将输入噪声初始化， 在python中导入tensorflow库， 采用正态分布随机取值 的方法将维度为[batch_size,128]的噪声初始化， 其中第一个参数batch_size为生成模型 每生成一次能够产生的样 本个数； 第二个参数128表 示每128维的噪声通过生成模型将会生 成一个样本； 步骤2.2： 将噪声和条件约束相结合， 通过tensorflow中的concat方法 能够将噪声和标 签拼接起来， 其中标签的维度为[batch_size,label_size]； label_size为类标签经过 OneHot编码后的值， 拼接之后的值做为生成模型的输入， 其维度为[batch_size,128+ label_size]； 步骤2.3： 搭建一层全连接神经网络， 导入tensor flow.contrib.layers包中的fully_ connected方法构建全连接层， 输入的维度为噪声和标签拼接后的维度[batch_size,128+ label_size]， 输出的维度为16*16*8*DEPTH， 其中DEPTH为图片的长； 其中全连接网络的权 值采用服 从标准偏差为0.01的正态分布的值初始 化， 偏置项初始 化值设为0.0， 之后将通过 全连接网络的值采用tensorflow中的reshape方法将维度值变为[batch_size,16,16,8* DEPTH]， 其中第一个参数batch_size的值与步骤2.1的相同， 第二个参数的16和第三个参数 的16表示输出图片的大小， 第四个参数8*DEPTH表示 通道数； 步骤2.4： 搭建 四层反卷积层， 采用tensorflow中的conv2d_transpose方法搭建反卷积 层， 第一层的反卷积层的输入维度为全连接层的输出， 卷积核的维度为[5,5,4*DEPTH,8* DEPTH]， 卷积步长维度为[1,2,2,1]， 卷积核初始化采用服 从标准偏 差为0.01的正态分布的 值， 偏置项初始化值设为0.0， padding值设为 “SAME”； 将卷积后的值通过relu激活函数， 之 后将relu激活函数的输出采用tensorflow中的resh ape方法将 维度变为[batch_size,32, 32,4*DEPTH]； 第二层的反卷积层的输入为reshape方法后的输出， 其中卷积核的维度为[5, 5,2*DEPTH,4*DEP TH]， 卷积步长维度为[1,2,2,1]， 卷积核初始化采用服从标准偏差为0.01权　利　要　求　书 1/3 页 2 CN 113936072 A 2的正太分布的值， 偏 置项初始化值设为0.0， padding值设为 “SAME”； 将卷积后的值通过relu 激活函数， 第三层反卷积层的输入为relu激活函数的输出， 卷积核的维度为[5,5,DEPTH,2* DEPTH]， 卷积步长维度为[1,2,2,1]， 卷积核初始化采用服 从标准偏 差为0.01的正态分布的 值， 偏置项初始化值设为0.0， padding值设为 “SAME”； 将卷积后的值通过relu激活函数， 第 四层反卷积层的输入为relu激活函数的输出， 卷积核的维度为[5,5,1,DEPTH]， 卷积步长维 度为[1,2,2,1]， 卷积核初始化采用服 从标准偏 差为0.01的正态分布的值， 偏 置项初始化值 设为0.0， pad ding值设为“SAME”， 将卷积后的值 通过sigmo id激活函数； 步骤2.5： 输出生成的样本， 采用tensorflow库中 的reshape方法将sigmoid激 活函数的 输出维度变为[ ‑1,img_size]， 第一个参数 ‑1表示按照第二个参数自动排列为一行， img_ size表示图像的尺寸， 将转换后的值作为 生成模型的输出。 4.根据权利要求1所述的一种基于条件约束和特征匹配的生成对抗网络的淋巴瘤图像 数据生成方法， 其特 征在于， 所述的步骤3包 含下列步骤： 步骤3.1： 连接标签约束， 采用tensorflow中的reshape方法将输入的图像信息的维度 变为[‑1,img_lengt h,img_width,1]， 其中第一个参数 ‑1表示数据按照后三个参数划分， 第 二个参数和第三个参数分别表示图像的长和宽， 第四个参数1表示通道数， 同样采用 reshape方法将标签的维度变为[ ‑1,1,1,label_siz e]， label_siz e表示经过OneHot编码后 的标签维度， 之后， 采用tensorflow中的concat方法将标签和图像连接起来， 维度变为 [batch_size,img_length,img_w idth,label_size+1]； 步骤3.2： 构建三层卷积层， 采用tensorflow中的conv2 d方法搭建卷积层， 第一层的卷 积层的输入维度为标签和图像连接过后的维度， 卷积核的维度为[5,5,label_size+1, DEPTH]， 卷积步长维度为[1,2,2,1]， 卷积核初始化采用服 从标准偏 差为0.01的正态分布的 值， 偏置项初始化值设为0.01， padding值设为 “SAME”， 将卷积后的值通过leaky_relu激活 函数。 第二层的输入为上一层激活函数的输出， 卷积核的维度为[5,5,DEPTH,2*DEPTH]， 卷 积步长维度为[1,2,2,1]， 卷积核初始化采用服 从标准偏差为0.01的正态分布的值， 偏置项 初始化值设为0.01， padding值设为 “SAME”， 将卷积后的值通过leaky_relu激活函数。 第三 层的输入为上一层激活函数的输出， 卷积核的维度为[5,5,2*DEPTH,4*DEPTH]， 卷积步长维 度为[1,2,2,1]， 卷积核初始化采用服 从标准偏 差为0.01的正态分布的值， 偏 置项初始化值 设为0.01， padding值设为 “SAME”， 将卷积后的值通过leaky_relu激活函数， 创建出 d_list 列表用于存 储每层卷积网络卷积后的值， 以便之后计算特 征匹配惩罚项； 步骤3.4： 构建一层全连接层。 首先， 采用tensorflow中 的reshape函数将卷积层输出值 的维度转变为[batch_size,channel[1]*channel[2]*channel[3]]， 其中第一个参数 batch_size的取值与