请注明转载来源：http://blog.csdn.net/djy1992/article/details/75257551奥特曼超人博客
机器学习简史：拍拍贷AI中心数据研发负责人王春平
一、机器学习简介
谢谢你！首先，今天我很荣幸能和你分享这样一个简单的分享。我听工业朋友说，这应该是我们第一次分享机器学习这个话题。所以我将从一个相对广泛的角度与你讨论这个主题，并整合我在这个领域的个人工作和学习经验。后续工作无界论坛再推出系列专题。如果你对某个方面特别感兴趣或认为我错过了什么，我们可以在会后进一步沟通。
这是今天的整体框架：首先是一个简单的介绍，然后把一些相对经典的模型串在一起，试图从中间找到一些共同的地方，然后介绍一些更常见的常规在机器学习和应用过程中，是我个人对人工智能未来发展趋势的看法。
在介绍中，我实际上想做这样一件事：把机器学习这样一个术语放在一个相对较大的背景下，它在一些事情中，如数据驱动业务、金融数据挖掘或股票选择？我们所说的数据驱动业务，事实上，这个业务可以是任何东西，例如，今天你可能会关注金融业务，我的拍卖贷款是互联网金融业务。从我们两年前兴起的热门概念——大数据，到热门概念——人工智能，再到我们真正关注的业务，这三者之间实际上有很强的关系，也可以说大数据和人工智能已经成为热点，也有一定的内部联系。
我们认为首先你需要在业务过程中去积累大量的数据，因为当你的数据量足够大，我们才可以用它去做一些事情。现在人工智能其实可以更多的看作是工具类的东西，利用大数据这样一个原料，回归到我们所关注的这个业务问题，解决一些实际的问题。这个人工智能领域呢，它是一个相对比较宽的概念，最近这一两年人工智能再次火爆可能是因为AlphaGo引起了热潮。AlphaGo更多的是和深度学习有关系，但其实人工智能相对来说是一个比较广义的概念，任何可以用机器来代替人做事情我们都可以把它认为是人工智能。它可以包括你写的一些简单的规则引擎，做一些预警和监控等等，也包括今天我们要关注的机器学习这样一个话题。在机器学习里边的一个类别就是现在很热的深度学习。
从我个人理解，机器学习跟广义的人工智能的区别在于它是需要从大量的数据里面去学出来一些东西，然后再去运用，而不仅仅是应用一些专家的经验。这是它在整个业务和人工智能中的一个定位，然后我们可以再看一下在整个流程里面它是什么样的状态。当我们想用数据驱动的方式去解决一个业务问题的时候，一般会要走过这样几个大的步骤：首先我们需要关注这个问题本身是什么，比如我现在看一个金融上的问题,我需要去预测一个股票它在明天是涨还是跌，这是一个比较明确的问题。但是很多时候这个问题没有那么清晰明确，所以你可能先要去看这个问题种类。要预测的是什么，关注的人群或者样本集是什么。然后最终希望这个问题带来的输出是什么，等等。这个其实是商业和技术的一个结合，需要两拨人去共同探讨的事情，中间会经过若干个比较偏科研的步骤。你真的需要知道要解决什么问题以后，然后要建模，学出来一些我们可以应用到业务上的一些规律或者模型。最终会涉及到一个比较偏电子工程的事情是要把学出来这些东西真正部署到线上的系统。假如说我这个系统是一个高频交易系统，那我学出来的这个交易的逻辑，我就要把它应用过去。假如说是拍拍贷，我学出来的是一个评价借款人信用状况的模型，那我需要把它应用到整个借款流程，比如说我们APP里面有一个环节里需要做的打分这件事情。
我们今天主要探讨的更多的是科研这一块，也就是和模型的构建比较相关的话题。在整个机器学习概念里面，按照学习的时候有没有老师来教，可以把它分成三个大的类别。一个是就像我在课堂上听讲一样，老师会教我这个是苹果，那个是iPhone，那个是桔子等等，对出现的每个样本都有一个明确的标签，这个叫做监督学习（Supervised Learning）。假如说有一些问题是完全没有老师，要靠自己去探索的，叫非监督式学习（Unsupervised Learning）。然后还有一种在一般做数据分析的时候用的不是很多，但是在比如说机器人或者是AlphaGo里面会涉及的比较多的是增强学习（Reinforcement Learning）。这其实是跟小孩子学东西的过程比较相近，它是一开始没有老师告诉你任何措施，让你在实践中做对的事情得到奖励，做错的事情去得到惩罚。通过环境对它的反馈让它来不断增强自己对环境的认识。
这三类问题之下，我们最常用，大家用起来感觉最得心应手的应该是第一个：监督学习。监督学习的好处是它对一般问题定义是比较清楚的，然后你有一个明确的要预测的一个目标。比如说它是一个分类问题：你要知道这个人是一个未来预期的用户，或者是一个会有良好信用的用户。或者你要知道这些股票明天是会跌或者涨。这些都是有明确的标签，这种叫分类问题（Classification）。如果是有明确的预测目标，但是这个目标是一个连续的数，比如说你想预测的是股票的价格，那它可以是一个回归问题（Regression）。
像后面提及的非监督学习，它之所以叫非监督，一是这个数据本身的理解不是那么清楚，还有就是有些情况下它的标签获取很困难就。就这种问题本身没有那么的明确，所以它是一个非监督的。我可能拿到这个数据以后先做一些分析来看一看它是什么样的，它里头其实是比较包罗万象的，不像监督学习，有比较清晰的一个方向。所以非监督学习可以根据学习的目的分成几类。比如说如果我只是想知道现在的这个人群大概是分成几个群体，但是其实我也不知道应该分成几个群体，不知道什么是对的，这个就是分群（clustering）。分段（segmentation）有点像是切分成几个集合。然后还有一个很重要的也是做降维（dimensional regression），因为现在是一个数据爆炸时代，对于很多人来说，其实数据不是太少而是太多，有可能有成千上万甚至10万级这样的数据维度，特别是在图像数据、自然语音数据这样一些比较复杂的数据类型或者是网络的一些访问日志等等这样的数据，维度相当高。如果让它直接做一些前面的监督的话其实是需要特别含量的数据才有可能去决出一个可以用的模型。所以降维这件事情是机器学习方面的一个蛮大的工作。然后下面这个是文本方面的主题模型（topic modeling）：一篇文章你可以把它降低到一些主题或者是一些主题的混合。然后还可以做的事情是：有一堆的照片或者视频，但是我不知道这些照片中会发生什么比较异常的行为，但是我想知道哪些是异常的，如果全部靠人看的话这就太不经济了，所以异常发现（abnormal detection）也是一个很大的一个类别，而且在安保这些方面使用的是比较多。
这些具体的方法我们就不会再仔细的讲了，如果有兴趣的话我们可以在以后的分享里面再讨论。稍微回顾一下，简单概括一下刚才的各种纷繁复杂的方法或者分支。首先我们考虑，它是监督学习还是非监督的。下面是一个简单的展示图，左边是表示一个用来测试一个分类的问题，然后右边是我有一堆的数据，但是完全不知道应该分几类，只是稍微去分一下，看一下每一类是不是有相对比较特别一点。这就是监督学习和非监督学习的区别和直观体验。
这里还有一个简单的，和前面有点不一样的分类方式，前面始终在说问题是怎么分类的，这是在定义要解决的问题的时候就已经决定了，而不是我们一定要选择的。但是判别模型(Discriminative model)和生成模型（generative model）这两个分类更多的指选择怎么建模型。这是对于有监督的情况下，可以从这两方面去考虑。当你有一个学习目标的时候，假如说我只想了解一个条件概率的话，也就是给出自变量X，我想知道Y是什么样的情况，这个就是叫判别模型。有些时候我同时也关心X自己的分布情况，所以我们可能关心的是X和Y的联合分布，这时用的是生成模型。一般来说判别模型直接做条件概率效果会比较好，特别是当训练集和预测集比较一致的情况下。但是对一些比较特殊情况，比如说X里面有一些变量缺失，如果你有一个联合分布，对X本身的分布有方法可以学出来的话，就可以生成一个新数据集，做真实值指补充等等，这算一些好处。当然生成模型还有一些别的比较好的特性，如果大家有兴趣的话，我们以后可以展开。现在先预热一下，简单介绍一下机器学习大概的情况。
标签： a05环境传感器