点击上方“”，选择加""或“”
重磅干货，第一时间送达随着Deep learning随着该领域的不断发展，我们面临的问题越来越复杂，我们还需要考虑高度结构化的输出空间。本文分为六个部分，整理了近年来主要会议上多标签学习的工作，为多标签学习的发展领域和方向提供了一些思考。
这里给大家带来武大刘威威老师、南理工沈晓波老师、UTS Ivor W. Tsang2020年教师合作标签最新Survey，我也有幸参与其中，负责部分工作。
https://arxiv.org/abs/2011.11197
Weiwei Liu, Xiaobo Shen, Haobo Wang, Ivor W. Tsang
今年上半年，我看到一个朋友在知乎上咨询多标签学习是否有新的Survey，我搜索了一下，发现有很多标签Survey在2014年之前，主要有以下几篇文章：
Tsoumakas的《Multi-label classification: An overview》(2007)
https://www.igi-global.com/article/multi-label-classification/1786
周志华老师的《A review on multi-label learning algorithms》(2013)
https://ieeexplore.ieee.org/abstract/document/6471714/
一篇比较小的，Gibaja 《Multi‐label learning: a review of the state of the art and ongoing research》2014
从2012年开始，时间过境迁，AI该领域发生了翻天覆地的变化，Deep Learning我们面临的问题越来越复杂，已经占据了绝对的主导地位，CV和NLP朝各自的方向前进。模型越来越强大，我们面临的任务也越来越复杂，其中我们需要考虑高度结构化的输出空间。多标签学习，作为一项传统的机器学习任务，近年来也有了新的研究趋势。因此，我们整理了近年来各大会议多标签学习的工作，希望能为研究人员提供更具前瞻性的思考。
本文的主要内容有六大部分：
接下来，我们将简要介绍这些部分，您可以进一步阅读更多细节Survey原文。另外，由于论文迭代快，我们不能完全Cover每项工作。我们的主题是确保收集的工作来自近年来发表和就业的高质量期刊或会议，以确保掌握当前工作的总体趋势。如果读者有任何想法和意见，也欢迎私信交流。
推荐文本分类系统，Wikipedia，Amazon在关键字匹配[1]等应用中，我们通常需要从巨大的标签空间中召回标签。比如很多人会po自拍FB、Ins我们可能希望训练一个分类器，自动识别谁出现在图片中。对XML首先，标签空间和特征空间可能非常巨大，例如Manik Varma标签空间的维度甚至比特征维度还要高得多。其次，由于如此巨大的标签空间，可能会有更多的标签空间Missing Label(下文将进一步阐述)。最后，标签有长尾分布[3]，大多数标签只有少量样本相关。现有的XML方法大致可分为三类：Embedding Methods、Tree-Based Methods、One-vs-All Methods。近年来，许多文献都采用了深度学习技术来解决这个问题XML但题，但我们会Section 再次阐述。XML研究热潮从2014年开始，Varma大佬搭建了XML的Repository之后，越来越多的研究人员开始关注，多年来XML文章理论与实验结果并重，值得更多关注。
Fig. 2. An extreme multi-label learning example. This picture denotes an instance, the faces denote the labels.
与传统的学习问题相比，标记多标签数据非常困难，更大的标签空间带来了更高的标记成本。随着我们面临的问题越来越复杂，样本维度、数据量和标签维度都会影响标记的成本。因此，近年来多标签的另一个趋势是开始关注如何在有限的监督下建立更好的学习模型。本文主要分为三类：
在多标签问题中，标签很可能会丢失。例如，是的XML问题是，标记者不可能遍历所有的标签，所以标记者通常只给出一个子集，而不是所有的监督信息。文献中解决这个问题的技术主要是基于图片和标签空间(或Latent标签空间）Low-Rank的方法、基于概率图模型的方法。
MLML考虑到标签维度的难度，但我们知道从深度学习需要更多的数据。在样本量方面，多标签学习与传统有关AI同样的困难。半监督MLC主要技术和MLML在这一节中，我们首先简要回顾了近年半的监督MLC一些最新的工作。然而，近年来，半监督MLC开始有了新的挑战，不少文章开始结合半监督MLC和MLML问题。毕竟对于多标签数据量，即使标注少量Full Supervised数据也是不可接受的。因此，许多文章开始研究弱监督多标签问题[4]（Weakly-Supervised MLC，狭义上说，数据集中可能混杂Full labeled/missing labels/unlabeled data。本文还重点介绍了一些现有的WS-MLC的工作。
PML这是近年来多标签的最新方向，它考虑了一种难以标记的问题。例如，我们标记下面的图片（Zhang et. al. 2020[5])，如Tree、Lavender这些标签相对简单。然而，很难确定是否有一些标签。对于一些标记者来说，可能会出现：这张照片似乎是在法国拍摄的，也可能是意大利拍摄的？”。这种情况叫做Ambiguous。原因是有些物体真的很难识别，第二种可能是标记者不够专业（在这种多标签的情况下，标记者不熟悉然而，在许多情况下，标记者可能会猜到正确标签的范围。例如，这幅风景图所在的国家很可能是France或者Italy中的一个。在不确定的情况下，我们可以选择不标记或随机标记。但没有标记意味着我们失去了所有的信息，随机标记意味着噪音，对学习有更大的影响。所以PML选择是让标记者提供所有可能的标签，当然还有一个强烈的假设：所有标签都应该包含在候选标签中。在Survey中，我们现有的PML方法划分为Two-Stage Disambiguation和End-to-End方法（我们IJCAI 2019的论文DRAMA前者在[6]中使用。关于PML更多的讨论，我在之前的知乎回答（https://www.zhihu.com/question/418818026/answer/145492545)已经描述过了，你也可以在我们身上Survey了解更多。
正如前面所说，多标签学习的标签空间是复杂的，所以许多研究人员提出了各种不同的学习问题。我们还简要总结了一些前沿方向：/>
MLC with Noisy Labels (Noisy-MLC).
MLC with Unseen Labels. (Streaming Labels/Zero-Shot/Few-Shot Labels)
Multi-Label Active Learning (MLAL).
MLC with Multiple Instances (MIML).
相信这一部分是大家比较关心的内容，随着深度学习在越来越多的任务上展现了自己的统治力，多标签学习当然也不能放过这块香饽饽。不过，总体来说，多标签深度学习的模型还没有十分统一的框架，当前对Deep MLC的探索主要分为以下一些类别：
早期的Embedding方法通常使用线性投影，将PCA、Compressed Sensing等方法引入多标签学习问题。一个很自然的问题是，线性投影真的能够很好地挖掘标签之间的相关关系吗？同时，在SLEEC[3]的工作中也发现某些数据集并不符合Low-Rank假设。因此，在2017年的工作C2AE[7]中，Yeh等将Auto-Encoder引入了多标签学习中。由于其简单易懂的架构，很快有许多工作Follow了该方法，如DBPC[8]等。
Fig. 4. The architecture of Canonical-Correlated Autoencoder (C2AE).C2AE learns a latent space L via NN mappings of Fx, Fe, and Fd. X and Y are the instance and label matrices respectively.
深度神经网络强大的拟合能力使我们能够有效地处理更多更困难的工作。因此我们发现近年的趋势是在CV、NLP和ML几大Community，基本都会有不同的关注点，引入DNN解决MLC的问题，并根据各自的问题发展出自己的一条线。
：对这个方面的关注主要来自与数据挖掘和NLP领域，其中比较值得一提的是Attention（如AttentionXML[9]）机制、Transformer-Based Models（如X-Transformer[10]）成为了最前沿的工作。
这一部分和我们弱监督学习的部分相对交叉，特别的，CVPR 2019的工作[11]探索了多种策略，在Missing Labels下训练卷积神经网络。
这一领域的发展令人兴奋，今年ICML的工作DSLL[12]探索了流标签学习，也有许多工作[13]将Zero-Shot Learning的架构引入MLC。
有几个方向的工作同样值得一提。首先是CNN-RNN[14]架构的工作，近年有一个趋势是探索Orderfree的解码器[15]。除此之外，爆火的图神经网络GNN同样被引入MLC，ML-GCN[16]也是备受关注。特别的，SSGRL[17]是我比较喜欢的一篇工作，结合了Attention机制和GNN，motivation比较强，效果也很不错。
，现在的Deep MLC呈现不同领域关注点和解决的问题不同的趋势：
从架构上看，基于的三种架构受到较多的关注。
从任务上，在的问题上，DNN大展拳脚。
从技术上，在MLC上的应用可能会越来越多。
面对当前这么复杂而众多的学习问题，传统的全数据学习的方式已经很难满足我们现实应用的需求了。因此，我们认为Online Multi-Label Learning可能是一个十分重要，也更艰巨的问题。当前Off-line的MLC模型一般假设所有数据都能够提前获得，然而在很多应用中，或者对大规模的数据，很难直接进行全量数据的使用。一个朴素的想法自然是使用Online模型，也就是训练数据序列地到达，并且仅出现一次。然而，面对这样的数据，如何有效地挖掘多标签相关性呢？本篇Survey介绍了一些已有的在线多标签学习的方法，如OUC[18]、CS-DPP[19]等。在弱监督学习的部分，我们也回顾了近年一些在线弱监督多标签的文章[20]（在线弱监督学习一直是一个很困难的问题）。Online MLC的工作不多，但是已经受到了越来越多的关注，想要设计高效的学习算法并不简单，希望未来能够有更多研究者对这个问题进行探索。
近年，尽管深度学习更强势，但传统的机器学习理论也在稳步发展，然而，多标签学习的许多统计性质并没有得到很好的理解。近年NIPS、ICML的许多文章都有探索多标签的相关性质。一些值得一提的工作例如，缺失标签下的低秩分类器的泛化误差分析[21]、多标签代理损失的相合性质[22]、稀疏多标签学习的Oracle性质[23]等等。相信在未来，会有更多工作探索多标签学习的理论性质。
讲了这么多方法论，但追溯其本源，这么多纷繁复杂的问题依然是由任务驱动的，正是有许许多多现实世界的应用，要求我们设计不同的模型来解决尺度更大、监督更弱、效果更强、速度更快、理论性质更强的MLC模型。因此，在文章的最后一部分，我们介绍了近年多标签领域一些最新的应用，如Video Annotation、Green Computing and 5G Applications、User Profiling等。在CV方向，一个趋势是大家开始探索多标签领域在视频中的应用[24]。在DM领域，用户画像受到更多关注，在我们今年的工作CMLP[25]中（下图），就探索了对刷单用户进行多种刷单行为的分析。不过，在NLP领域，似乎大家还是主要以文本分类为主，XML-Repo[2]中的应用还有较多探索的空间，所以我们没有花额外的笔墨。
Figure 6: Some services that a malicious service platform provides. The dishonest merchants can freely select different combinations of these services, e.g. Two-day Task.
写这篇文章的过程中，我跟着几位老师阅读了很多文章，各个领域和方向的工作都整理了不少，尽管无法cover到所有工作，但是我们尽可能地把握了一些较为重要的探索的方向，也在文中较为谨慎地给出了一些我们的思考和建议，希望能够给想要了解多标签学习领域的研究者一点引领和思考。
参考
1. Chang W C, Yu H F, Zhong K, et al. Taming Pretrained Transformers for Extreme Multi-label Text Classification\[C\]//Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining. 2020: 3163-3171.
2. http://manikvarma.org/downloads/XC/XMLRepository.html
3. Bhatia K, Jain H, Kar P, et al. Sparse local embeddings for extreme multi-label classification\[C\]//Advances in neural information processing systems. 2015: 730-738.
4. Chu H M, Yeh C K, Frank Wang Y C. Deep generative models for weakly-supervised multi-label classification\[C\]//Proceedings of the European Conference on Computer Vision \(ECCV\). 2018: 400-415.
5. Zhang M L, Fang J P. Partial multi-label learning via credible label elicitation\[J\]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020.
6. Wang H, Liu W, Zhao Y, et al. Discriminative and Correlative Partial Multi-Label Learning\[C\]//IJCAI. 2019: 3691-3697.
7. C. Yeh, W. Wu, W. Ko, and Y. F. Wang, “Learning deep latent space for multi-label classification,” in AAAI, 2017, pp. 2838–2844.
8. X. Shen, W. Liu, Y. Luo, Y. Ong, and I. W. Tsang, “Deep discrete prototype multilabel learning,” in IJCAI, 2018, pp. 2675–2681.
9. You R, Zhang Z, Wang Z, et al. Attentionxml: Label tree-based attention-aware deep model for high-performance extreme multi-label text classification\[C\]//Advances in Neural Information Processing Systems. 2019: 5820-5830.
10. Chang W C, Yu H F, Zhong K, et al. Taming Pretrained Transformers for Extreme Multi-label Text Classification\[C\]//Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining. 2020: 3163-3171.
11. Durand T, Mehrasa N, Mori G. Learning a deep convnet for multi-label classification with partial labels\[C\]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 647-657.
12. Z. Wang, L. Liu, and D. Tao, “Deep streaming label learning,” in ICML, 2020.
13. C. Lee, W. Fang, C. Yeh, and Y. F. Wang, “Multi-label zero-shot learning with structured knowledge graphs,” in CVPR, 2018, pp. 1576–1585.
14. Wang J, Yang Y, Mao J, et al. Cnn-rnn: A unified framework for multi-label image classification\[C\]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 2285-2294.
15. Yazici V O, Gonzalez-Garcia A, Ramisa A, et al. Orderless Recurrent Models for Multi-label Classification\[C\]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 13440-13449.
16. Chen Z M, Wei X S, Wang P, et al. Multi-label image recognition with graph convolutional networks\[C\]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 5177-5186.
17. T. Chen, M. Xu, X. Hui, H. Wu, and L. Lin, “Learning semanticspecific graph representation for multi-label image recognition,” in ICCV, 2019, pp. 522–531.
18. M. J. Er, R. Venkatesan, and N. Wang, “An online universal classifier for binary, multi-class and multi-label classification,” in IEEE International Conference on Systems, Man, and Cybernetics, 2016, pp. 3701–3706.
19. H. Chu, K. Huang, and H. Lin, “Dynamic principal projection for cost-sensitive online multi-label classification,” Machine Learning, vol. 108, no. 8-9, pp. 1193–1230, 2019.
20. S. Boulbazine, G. Cabanes, B. Matei, and Y. Bennani, “Online semi-supervised growing neural gas for multi-label data classification,” in IJCNN, 2018, pp. 1–8.
21. H. Yu, P. Jain, P. Kar, and I. S. Dhillon, “Large-scale multilabel learning with missing labels,” in Proceedings of the 31th International Conference on Machine Learning, ICML 2014, Beijing, China, 21-26 June 2014, 2014, pp. 593–601.
22. W. Gao and Z. Zhou, “On the consistency of multi-label learning,” Artificial Intelligence, vol. 199-200, pp. 22–44, 2013.
23. W. Liu and X. Shen, “Sparse extreme multi-label learning with oracle property,” in ICML, 2019, pp. 4032–4041.
24. X. Zhang, H. Shi, C. Li, and P. Li, “Multi-instance multi-label action recognition and localization based on spatio-temporal pretrimming for untrimmed videos,” in AAAI. AAAI Press, 2020, pp. 12 886–12 893.
25. H. Wang, Z. Li, J. Huang, P. Hui, W. Liu, T. Hu, and G. Chen, “Collaboration based multi-label propagation for fraud detection,” in IJCAI, 2020.
下载1：OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。
下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~