多标签分类问题概况 及 医学影像分类的思考

最近在做眼底图像的多标签分类，读了一下武大的刘威威老师的综述 The Emerging Trends of Multi-Label Learning 1 ，自己也看了一点医学影像分类和自然图像多标签分类的文章。本文主要总结一下阅读之后对多标签分类（multi-label classification, MLC）问题的理解，以及对于医学影像上的多标签问题的特点的一点思考。

综述的概括

为了偷懒这里就不列各个方法的引用了，在概括综述内容的基础上加了一点自己的理解，是跳着读的所以只有部分内容。

综述结构

MLC问题的研究重点包含几个方面：

Extreme MLC : XMLC, 就是类别数非常大的MLC场景。随着大数据时代的到来，这个场景的研究意义重大。

大部分工作是基于SLEEC之后做的，主要有基于one-vs-all分类器、树、embedding三种思路。

理论层面需要针对标签稀疏，处理长尾分布问题。

MLC with missing/nosiy label ：非全监督学习的MLC版本，主要针对标签的问题进行处理。

missing label：预设有的类别无label

semi-supervised：传统半监督学习的迁移，部分data有label，部分没有

partial multi-label: 部分label不可信，即模糊标签的场景

online MLC for stream data ：由于现在web端实时产出大量流数据，针对线上实时场景的MLC被大量关注。

流数据无法预读到内存里获取全局，一般需要实时处理每个时间戳

现有offline MLC model在序列数据上的效果一般

online MLC领域目前在实验和理论上暂无特别好的效果(very limited)

§4 Deep Learning for MLC

BP-MLL

最早在MLC中使用NN结构的是BP-MLL, 它提出了一种pairwise的loss函数，如下：

Ei=1∣yi1∣∣yi0∣∑(p,q)∈yi1×yi0exp⁡(−(F(xi)p−F(xi)q))E_{i}=\frac{1}{\left|y_{i}^{1}\right|\left|y_{i}^{0}\right|} \sum_{(p, q) \in y_{i}^{1} \times y_{i}^{0}} \exp \left(-\left(F\left(x_{i}\right)^{p}-F\left(x_{i}\right)^{q}\right)\right)Ei​=∣yi1​∣∣yi0​∣1​(p,q)∈yi1​×yi0​∑​exp(−(F(xi​)p−F(xi​)q))

其中p,qp,qp,q分别为预测为1和0的类别，使用e−xe^{-x}e−x形式惩罚项，使得不同的类别间差值尽可能大，整体是一种rank loss的思路。

在随后的研究中发现，BP-MLL可以使用cross-entropy loss，再加上一点ReLu/Dropout/AdaGrad之类的trick，可以再经典BP-MLL无法应用的大规模文本分类的场景获得新的SOTA性能。

C2AE

经典的Embedding方法只能获取label本身的语意dependency，不可能获取更高维的联系，C2AE（Canonical Correlated AutoEncoder）是第一个基于Embedding的MLC方法，它通过自编码器提取特征，利用DCCA（deep canonical correlation analysis）基于特征提取label间的联系，属于embedding层。

C2AE整体目标函数定义如下：

min⁡Fx,Fe,FdΦ(Fx,Fe)+αΓ(Fe,Fd)\min _{F_{x}, F_{e}, F_{d}} \Phi\left(F_{x}, F_{e}\right)+\alpha \Gamma\left(F_{e}, F_{d}\right)Fx​,Fe​,Fd​min​Φ(Fx​,Fe​)+αΓ(Fe​,Fd​)

Fx,Fe,FdF_x, F_e, F_dFx​,Fe​,Fd​分别为 特征映射、编码函数、解码函数，α\alphaα是平衡两个惩罚项的权重项。Φ,Γ\Phi, \GammaΦ,Γ分别为latent空间(feature和encoding之间)和output空间上(encoding和decoding之间)的loss。

借鉴了CCA的思路，C2AE使instance和label的联系尽可能大（最小化差距）

min⁡Fx,Fe∥Fx(X)−Fe(Y)∥F2 st Fx(X)Fx(X)T=Fe(Y)Fe(Y)T=I\begin{aligned} \min _{F_{x}, F_{e}} &\left\|F_{x}(X)-F_{e}(Y)\right\|_{F}^{2} \\ \text { st } & F_{x}(X) F_{x}(X)^{T}=F_{e}(Y) F_{e}(Y)^{T}=I \end{aligned}Fx​,Fe​min​ st ​∥Fx​(X)−Fe​(Y)∥F2​Fx​(X)Fx​(X)T=Fe​(Y)Fe​(Y)T=I​

自编码器使用和上文相似的rank loss，使得不同类别的code差别尽可能大。

Γ(Fe,Fd)=∑i=1NEiEi=1∣yi1∣∣yi0∣∑(p,q)∈yi1×yi0exp⁡(−(Fd(Fe(xi))p−Fd(Fe(xi))q))\begin{array}{l} \Gamma\left(F_{e}, F_{d}\right)=\sum_{i=1}^{N} E_{i} \\ E_{i}=\frac{1}{\left|y_{i}^{1}\right|\left|y_{i}^{0}\right|} \sum_{(p, q) \in y_{i}^{1} \times y_{i}^{0}} \exp \left(-\left(F_{d}\left(F_{e}\left(x_{i}\right)\right)^{p}-F_{d}\left(F_{e}\left(x_{i}\right)\right)^{q}\right)\right) \end{array}Γ(Fe​,Fd​)=∑i=1N​Ei​Ei​=∣yi1​∣∣yi0​∣1​∑(p,q)∈yi1​×yi0​​exp(−(Fd​(Fe​(xi​))p−Fd​(Fe​(xi​))q))​

后续的DCSPE, DBPC等工作进一步提升了文本分类上的SOTA性能和推理速度。

patial and weak-supervised MLC

CVPR 2020中 D Huynh 的 Interactive multi-label cnn learning with partial labels 和CVPR 2019中 T Durand 的 Learning a deep convnet for multi-label classification with partial labels （以下根据坐着名称简称D和T）做了相关研究。

T使用BCE Loss训练有标签部分，然后使用GNN提取标签间联系。实验证明部分标注的大数据集比全标注的小数据集效果要好，进一步证明了partial label的MLC领域的研究意义。

D在T的基础上，使用流形学习的思路，将label和feature的流形平滑度作为BCE Loss函数的cost，再使用半监督的思路，CNN学习和similarity同步进行（我没看这篇文章，听综述的这种描述类似于π\piπ模型或者teacher-student结构）。

SOTA的Advanced MLC

分类链 ：ADIOS把label切分成马尔科夫毯链（Markov Blanket Chain），可以提取label间的关系，然后丢进DNN训练。

CRNN ：有2篇文章把类别作为序列，使用CRNN或者C-LSTM处理。更进一步对于类别序列的顺序使用attention/RL进行学习，寻找最优顺序。CVPR 2020和AAAI 2020各有一篇此思路的，使用optimal completion distillation+多任务学习/最小alignment的思路，都是尝试动态调整label sequence的order（order-free）。

graph相关

2 建立一个类别间的有向图，然后使用GCN训练。

SSGRL 6 使用embedding进行semantic decoupling, 然后使用GNN学习label+feature构成的-semantic，强化instance和label特征，以学习更高维的label间的联系。

3 对GCN和CNN的一些layer间添加连接，从而实现label-aware的分类学习

4 使用GCN获取rich semantic info，再使用non-local attention获取长语意关联。

5 使用深度森林，一种tree ensemble方式，不依赖回传机制。提出了MLDF(multi-label Deep Forest)，据说可以更好地解决过拟合，在6种指标上取得了SOTA的效果，是lightweight设计的一个探索。

医学影像的MLC思考

以前看医学图像分割的文章(DeepIGeoS)，国泰对于医学图像的特殊点概括为：

低对比度，高噪声，存在空腔

患者间scale和feature差异巨大

疾病间的不均匀表征

医生定义不同会造成ground-truth特征不一致

这主要针对与分割而言，因为一般分割任务的CT和MRI图像是高Intensity的灰度图像，感觉在MLC场景中1和2基本都不咋适用。

3在MLC中表现为不同类别的feature的不均匀，例如有的疾病可能可观测症状覆盖很大区域，有的就只是很小的部分会出现可观测的症状，感觉类似于FPN的multi-scale策略对于特征提取会有一些帮助，不过这是一个很general的推测，具体效果需要在具体的场景下多做实验。

4可以联系上MLC中的partial label问题，如果对于疾病的判断是不确定的，例如医生对一个患者得出几种可能病症，此时又没有进一步检查，那么也许可以设计一种方法预测各个label的置信度，哈哈哈感觉这是一个paper的idea了，可惜场景和数据的要求感觉有些苛刻。

另外值得一提的就是类别不平衡，由于一些疾病的病例较少，可能收集到的data里只有个位数的正例，此时这个类别很可能根本学不到啥，目前想法不是很清晰，过几天有时间再专门调研一下这个问题。

最后就是医学图像喜闻乐见的半监督，如果有部分没有标注的数据和一些标注的数据，拿来做半监督对性能也能提升一些，虽然不局限医学图像，但是由于医学标注获取较难，半监督的应用也特别广，大有可为吧可以说

查眼睛的视网膜和眼睛周边部分进行摄像、显示和存储相关的数据。

眼底照相机用于对在散瞳和非散瞳条件下被查眼睛的视网膜和眼睛周边部分进行摄像、显示和存储相关的数据。这些图象可以辅助诊断和跟踪眼部疾病，可以通过肉眼观察和图像存档。

一般由外固视灯、外固视灯帽、带垂直升降的下颌托、额头支撑部件和固视灯底座、相机底座、计算机组件(包含头靠)、照相机部(包括照明、观察和感应器)、显示器、键盘和鼠标、隔离变压器等组成。

您好！检查眼底的方法有裂隙灯，免散瞳眼底照相，OCT，眼科B超，眼底造影等，具体要看具体病情。<br><br>一般先采取裂隙灯，免散瞳眼底照相，和OCT和眼底造影就可以基本了解眼底的具体情况，遵医嘱检查。

眼底造影的REDFREE模式是一种用于检测眼底血管的无创技术，它可以检测眼底血管的变化，以及血管的数量、细节和宽度。REDFREE模式的图像清晰度非常高，可以更准确地检测眼底血管的变化。

论文: Generative adversarial network in medical imaging: A review

这篇文章发表于顶刊Medical Imaging Analysis 2019上，文章细数了GAN应用于医学图像的七大领域——重建（图像去噪）、合成、分割、分类、检测、配准和其他工作，并介绍了包括医学图像数据集、度量指标等内容，并对未来工作做出展望。由于笔者研究方向之故，本博客暂时只关注重建、合成部分的应用。关于该论文中所有列出的文章，均可在 GitHub链接 中找到。

GAN在医学成像中通常有两种使用方式。第一个重点是生成方面，可以帮助探索和发现训练数据的基础结构以及学习生成新图像。此属性使GAN在应对数据短缺和患者隐私方面非常有前途。第二个重点是判别方面，其中辨别器D可以被视为正常图像的先验知识，因此在呈现异常图像时可以将其用作正则器或检测器。示例(a)，(b)，(c)，(d)，(e)，(f)侧重于生成方面，而示例 (g) 利用了区分性方面。下面我们看一下应用到分割领域的文章。

(a)左侧显示被噪声污染的低剂量CT，右侧显示降噪的CT，该CT很好地保留了肝脏中的低对比度区域[1]。 (b)左侧显示MR图像，右侧显示合成的相应CT。在生成的CT图像中很好地描绘了骨骼结构[2]。 (c)生成的视网膜眼底图像具有如左血管图所示的确切血管结构[3]。(d)随机噪声（恶性和良性的混合物）随机产生的皮肤病变[4]。 (e)成人胸部X光片的器官（肺和心脏）分割实例。肺和心脏的形状受对抗性损失的调节[5]。 (f)第三列显示了在SWI序列上经过域调整的脑病变分割结果，无需经过相应的手动注释训练[6]。 (g) 视网膜光学相干断层扫描图像的异常检测[7]。

通常，研究人员使用像像素或逐像素损失（例如交叉熵）进行分割。尽管使用了U-net来组合低级和高级功能，但不能保证最终分割图的空间一致性。传统上，通常采用条件随机场（CRF）和图割方法通过结合空间相关性来进行细分。它们的局限性在于，它们仅考虑可能在低对比度区域中导致严重边界泄漏的 pair-wise potentials (二元势函数 -- CRF术语)。另一方面，鉴别器引入的对抗性损失可以考虑到高阶势能。在这种情况下，鉴别器可被视为形状调节器。当感兴趣的对象具有紧凑的形状时，例如物体，这种正则化效果更加显着。用于肺和心脏mask，但对诸如血管和导管等可变形物体的用处较小。这种调节效果还可以应用于分割器(生成器)的内部特征，以实现域（不同的扫描仪，成像协议，模态）的不变性[8、9]。对抗性损失也可以看作是f分割网络（生成器）的输出和 Ground Truth 之间的自适应学习相似性度量。因此，判别网络不是在像素域中测量相似度，而是将输入投影到低维流形并在那里测量相似度。这个想法类似于感知损失。不同之处在于，感知损失是根据自然图像上的预训练分类网络计算而来的，而对抗损失则是根据在生成器演变过程中经过自适应训练的网络计算的。

[10] 在鉴别器中使用了多尺度L1损失，其中比较了来自不同深度的特征。事实证明，这可以有效地对分割图执行多尺度的空间约束，并且系统在BRATS 13和15挑战中达到了最先进的性能。 [11] 建议在分割管道中同时使用带注释的图像和未带注释的图像。带注释的图像的使用方式与 [10] 中的相同。 [10] 和 [12] ，同时应用了基于元素的损失和对抗性损失。另一方面，未注释的图像仅用于计算分割图以混淆鉴别器。 [13] 将pix2pix与ACGAN结合使用以分割不同细胞类型的荧光显微镜图像。他们发现，辅助分类器分支的引入为区分器和细分器提供了调节。

这些前述的分割训练中采用对抗训练来确保最终分割图上更高阶结构的一致性，与之不同的是， [14] -- code 中的对抗训练方案,将网络不变性强加给训练样本的小扰动，以减少小数据集的过度拟合。表中总结了与医学图像分割有关的论文。

参考链接：

[1] X Yi, P Babyn Sharpness-aware low-dose ct denoising using conditional generative adversarial network J Digit Imaging (2018), pp 1-15

[2] JM Wolterink, AM Dinkla, MH Savenije, PR Seevinck, CA van den Berg, I Išgum Deep MR to CT synthesis using unpaired data International Workshop on Simulation and Synthesis in Medical Imaging, Springer (2017), pp 14-23

[3] P Costa, A Galdran, MI Meyer, M Niemeijer, M Abràmoff, AM Mendonça, A Campilho End-to-end adversarial retinal image synthesis IEEE Trans Med Imaging(2017)

[4] Yi, X, Walia, E, Babyn, P, 2018 Unsupervised and semi-supervised learning with categorical generative adversarial networks assisted by Wasserstein distance for dermoscopy image classification arXiv:180403700

[5] Dai, W, Doyle, J, Liang, X, Zhang, H, Dong, N, Li, Y, Xing, EP, 2017b Scan: structure correcting adversarial network for chest x-rays organ segmentation arXiv: 170308770

[6] K Kamnitsas, C Baumgartner, C Ledig, V Newcombe, J Simpson, A Kane, D Menon, A Nori, A Criminisi, D Rueckert, et al Unsupervised domain adaptation in brain lesion segmentation with adversarial networks International Conference on Information Processing in Medical Imaging, Springer (2017), pp 597-609

[7] T Schlegl, P Seeböck, SM Waldstein, U Schmidt-Erfurth, G Langs Unsupervised anomaly detection with generative adversarial networks to guide marker discovery International Conference on Information Processing in Medical Imaging, Springer (2017), pp 146-157

[8] K Kamnitsas, C Baumgartner, C Ledig, V Newcombe, J Simpson, A Kane, D Menon, A Nori, A Criminisi, D Rueckert, et al Unsupervised domain adaptation in brain lesion segmentation with adversarial networks International Conference on Information Processing in Medical Imaging, Springer (2017), pp 597-609

[9] Dou, Q, Ouyang, C, Chen, C, Chen, H, Heng, P-A, 2018 Unsupervised cross-modality domain adaptation of convnets for biomedical image segmentations with adversarial loss arXiv: 180410916

[10] Y Xue, T Xu, H Zhang, LR Long, X Huang Segan: adversarial network with multi-scale l 1 loss for medical image segmentation Neuroinformatics, 16 (3–4) (2018), pp 383-392

[11] Y Zhang, L Yang, J Chen, M Fredericksen, DP Hughes, DZ Chen Deep adversarial networks for biomedical image segmentation utilizing unannotated images International Conference on Medical Image Computing and Computer-Assisted Intervention, Springer (2017), pp 408-416

[12] Son, J, Park, SJ, Jung, K-H, 2017 Retinal vessel segmentation in fundoscopic images with generative adversarial networks arXiv: 170609318

[13] Y Li, L Shen CC-GAN: a robust transfer-learning framework for hep-2 specimen image segmentation IEEE Access, 6 (2018), pp 14048-14058

[14] W Zhu, X Xiang, TD Tran, GD Hager, X Xie Adversarial deep structured nets for mass segmentation from mammograms 2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018), IEEE (2018)

[15] D Yang, D Xu, SK Zhou, B Georgescu, M Chen, S Grbic, D Metaxas, D Comaniciu Automatic liver segmentation using an adversarial image-to-image network International Conference on Medical Image Computing and Computer-Assisted Intervention, Springer (2017), pp 507-515

[16] Dou, Q, Ouyang, C, Chen, C, Chen, H, Heng, P-A, 2018 Unsupervised cross-modality domain adaptation of convnets for biomedical image segmentations with adversarial loss arXiv: 180410916

[17] Rezaei, M, Yang, H, Meinel, C, 2018a Conditional generative refinement adversarial networks for unbalanced medical image semantic segmentation arXiv: 181003871

[18] A Sekuboyina, M Rempfler, J Kukačka, G Tetteh, A Valentinitsch, JS Kirschke, BH Menze Btrfly net: Vertebrae labelling with energy-based adversarial learning of local spine prior International Conference on Medical Image Computing and Computer-Assisted Intervention, Springer, Cham (2018)

[19] M Rezaei, K Harmuth, W Gierke, T Kellermeier, M Fischer, H Yang, C Meinel A conditional adversarial network for semantic segmentation of brain tumor

International MICCAI Brainlesion Workshop, Springer (2017), pp 241-252

[20] P Moeskops, M Veta, MW Lafarge, KA Eppenhof, JP Pluim Adversarial training and dilated convolutions for brain MRI segmentation Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support, Springer (2017), pp 56-64

[21] Kohl, S, Bonekamp, D, Schlemmer, H-P, Yaqubi, K, Hohenfellner, M, Hadaschik, B, Radtke, J-P, Maier-Hein, K, 2017 Adversarial networks for the detection of aggressive prostate cancer arXiv: 170208014

[22]Y Huo, Z Xu, S Bao, C Bermudez, AJ Plassard, J Liu, Y Yao, A Assad, RG Abramson, BA Landman Splenomegaly segmentation using global convolutional kernels and conditional generative adversarial networks Medical Imaging 2018: Image Processing, 10574, International Society for Optics and Photonics (2018), p 1057409

[23]K Kamnitsas, C Baumgartner, C Ledig, V Newcombe, J Simpson, A Kane, D Menon, A Nori, A Criminisi, D Rueckert, et al Unsupervised domain adaptation in brain lesion segmentation with adversarial networks International Conference on Information Processing in Medical Imaging, Springer (2017), pp 597-609

[24]Z Han, B Wei, A Mercado, S Leung, S Li Spine-GAN: semantic segmentation of multiple spinal structures Med Image Anal, 50 (2018), pp 23-35

[25]M Zhao, L Wang, J Chen, D Nie, Y Cong, S Ahmad, A Ho, P Yuan, SH Fung, HH Deng, et al Craniomaxillofacial bony structures segmentation from MRI with deep-supervision adversarial learning International Conference on Medical Image Computing and Computer-Assisted Intervention, Springer (2018), pp 720-727

[26] Son, J, Park, SJ, Jung, K-H, 2017 Retinal vessel segmentation in fundoscopic images with generative adversarial networks arXiv: 170609318

[27]Y Li, L Shen CC-GAN: a robust transfer-learning framework for hep-2 specimen image segmentation IEEE Access, 6 (2018), pp 14048-14058

[28] S Izadi, Z Mirikharaji, J Kawahara, G Hamarneh Generative adversarial networks to segment skin lesions Biomedical Imaging (ISBI 2018), 2018 IEEE 15th International Symposium on, IEEE (2018), pp 881-884

Close

[29]W Zhu, X Xiang, TD Tran, GD Hager, X Xie Adversarial deep structured nets for mass segmentation from mammograms 2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018), IEEE (2018)

以上就是关于多标签分类问题概况 及 医学影像分类的思考全部的内容，包括:多标签分类问题概况 及 医学影像分类的思考、Nidek眼底照相AFC330 *** 作方法、查眼底有哪几种方法等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！