深度学习：从 AI 到 True-AI

人工智能是非常广泛的范畴，现在的研究分为三个层次：1、算法模拟神经元（Neuron），转换成电信号；2、算法模拟大脑（Human Brain），这里面有抽象的理解，并转变成电信号；3、算法自学习（Baby Learning），和周围环境接触过程中，智能水平会提高。这就像《超能查派》，最开始只有基本功能，当把人工智能植入的时候，它开始模仿人类，最后和人类的沟通就非常流畅。

在这种理解下，我们把人工智能分成两方面：Brain-Like 和 Baby-Like。Brain-Like 擅长做语音识别和人脸识别，Baby-Like 可以放在环境里自适应，做识别和理解。

那么什么样的模型能达到这种效果？它会有多种状态，模式之间可以互相指导，例如图像指导语音，语音指导图像。它可以在不同层之间互相沟通，这时候就得用到深度学习的工具。

在深度学习上面，我们过去看到的是模型越大性能越好。在这里我想用iPhone的一个宣传口号：岂止于大。

这里面有三个点：1、Pixel-to-Pixel Inference（像素到像素）；2、Neuron Nonlinearity（非线性神经元）；3、Feedback Strategies（回馈策略）。

Pixel-to-Pixel Inference：在 P2P（Pixel to Pixel）上，这是一种端对端的训练，可以从 P2P 进入到 P2P-aware。

它还可以做图像分割，过去我们认为是不可能的，而现在由于加上了结构性模型，它也可以做到。

这样即便是一些有遮挡的图片，图像的模拟效果都还不错。

Neuron Nonlinearity：这方面最好用小网络来处理，去设计不同的尺寸。当你做的足够小的时候，就能更好的拟合它应该具备的功能。这样的话你就得到了 Network in Network，它就有很不错的性能。

我们把 NIN 放到GoogleNet上面测试了一下，LFW（ Labeled Faces in the Wild数据库，对应研究非受限情况下人脸识别问题）可以达到 99.7%，最好的百度已经能做到 99.8%。

这是一个朋友，她上传了两张照片，左边和右边看起来其实差别很大，但在系统里面能够识别出是同一个人。

Feedback Strategies：在Feedback层面，不同的Layer和Task之间可以做很多工作。假如每层的数据一样，很自然的它就是在上面逐步测试。这样虽然第一次调的不一定准，但它可以帮助网络，最终实现很高的性能。

比如说给你一张图像，找出帽子、包和衣服。有些层的尺寸是一样的，我们就可以拿这些层做对比。

还有一些小尺寸的维度，如果把这些也加入到网络里面，就会有比较好的提升。

最后你可以把这些都合在一起，你可以得到连在一起的 Network。这样就能很好识别出哪个是眼镜、哪个是包、哪个是袜子。这些都能看得清楚。

从定量的角度说，它的性能会有很大的提升。如果用到高性能计算的GPU，基本可以处理到 20%，而且系统非常稳定。

有时候即便衣服是部分的，也可以识别出来。这方面的成功案例非常多。

这部分是关于 Baby-Like 的研究，也是 True AI。

当你和真实世界进行交互的时候，其实会有自我学习在里面。这里面的核心是能够理解上下文。

Baby-Like 是一种多特征的角度。包含了视觉、语音和自然语言理解。我们可以从过去的知识中，去学习和积累经验。

那么小孩是怎么学习的呢？他不需要太多的案例，只需要很小的训练样本（Prior Knowledge，先验知识），就能够在和真实世界的交互中，进行自学习。比如有了先验知识，当他看到了新事物（斑马），他会问妈妈说：这是一只马吗？

这张图是两种学习模式的抽象表示。

相比起来，Prior Knowledge（先验知识，指先于经验的知识）的模式取得了不错的成绩，它的性能指标从 53% 上升到了 56%。

这是Baby Learning 在脸部识别的应用，通过观看录像进行自我学习。

目前来说，基于注释的数据 Deep Learning，这是一种比较成熟的技术。但是未来的希望肯定会是 Baby Learning。它会有聪明的办法，在缺少或者弱标签的情况下学习，而且可以和人们的学习机制一致，包括自学习和终生学习的理念。