我来科普下深度学习的应用范围吧

http://www.mitbbs.com/article_t/Programming/31470943.html

发信人: wdong (cybra), 信区: Programming
标  题: 我来科普下深度学习的应用范围吧
发信站: BBS 未名空间站 (Tue Mar  1 11:44:25 2016, 美东)

所谓“深度”，是特指训练三层以上的神经网络。小于三层就是浅的，大于三层就是深
的。
神经网络在９０年代火过一阵，各种理论早就已经成熟了。back propagation的理论跟
网络深度是无关的，但实际运行的时候就是发现层数大于三的话就训练不上去。
所以相当长一段时间内神经网络在机器学习方面被SVM等“浅度”神经网络特例压得
抬不起头。９０年代神经网络拿funding得时候，应该把深浅网络都promise了拿过一遍
钱了。
然后没有deliver，并且把整个人工智能得名声都搞臭了。现在把训练深度网络的问题
部分解决了，需要旧瓶装新酒再拿一次钱。因为“神经网络”的名声已经臭了，
所以造出来“深度学习”这个概念来乎悠人。
(CNN的经典论文LeCun 1998 Gradient-based learning applied to document
recognition.)

然后来说这个“部分解决”的问题。现在深度网络可以训练了，不是理论有了突破，
而是靠的大数据＋快硬件。如果按传统的机器学习套路，一个对象先提取一个特征，
然后应用学习算法，这个数据量其实还是不够大的。各种深度学习的一个典型特征
就是convolution，或者说是sliding window。一个400x400的图片，用40x40的
sliding window扫过去，每隔４个pixel采一次样，就能出来快１００个样本。
如果有1,000,000个图片，其实这种window就有100M个。如果是图片的话一般
还需要对输入图片进行各种抖动产生更多的样本。

除了图片以外，深度学习应用范围都有一个明显的特征，就是可以做sliding window：
从大对象里掐下来局部的一小片，还是一个对象。比如声音，文本，序列。
不是说神经网络对别的数据不干活，而是在别的数据上神经网络对传统技术没那么大
的优势。股票数据是典型的时间序列，所以是落在神经网络的应用范围内的，所以
可以比较肯定地说，神经网络预测股票价格要比别的机器学习技术要强。至于是否能
干活，依赖一个大前提，就是股市本身得是可以预测的。图片，语音啥的，人能
识别，所以明显是可以预测的，所以神经网络干活了。股市在多大程度上可以预测，
这个本身就是一个大问题。