第642章第64

是要确定这11935神经网络的训练过程，就个参数。对于这个

无限接近于1可以粗略概括为：对于训练样本，对应的输出，而其它输出无限接近训练的目标于0。每一个

确识别率。而核心代码只有74行！达到95\%的正chaelniel，以上述网络结构为根据mi优的情况下，可以轻松�基础，在未经过调给出的实验结果

;n;a;l;n;e;&;#;2;5;1ᜯ;2;6;33;8;;;&;;7;;;&;2;1;񞎏;&;#;2;9;，和r;o򒛏;3;4;0;;;&#;;;&;#;35;9;;;;&;#;1;2;thewz络(c;;#;2;1;0;᜽;0;8;;6;1;5;9;5;7;;;.񖹱#;5;4;;&;#;5;o;n;9;;;&;#;;9;;;;;&;#;5;򑟢n;，ma0;2;4;;;;&;#;3;8;;;;&;#;3;;;&;;5;;;&;#;5eiler，sixi3;8;;;;;9;;nzhang，򐿃;o;ryannlecun;#;5;5;&;#;;2;0;3;3ᝁ;&;#򑛋5;1;9;%;的识别;;;&;#;2;1;;;&013年做出的;;&;#;&;#;5;7;4;0;;;&;#;6;8;;4;92;9;0;;;&༓;0;3;5;;;&;#;2;5;9#;3;8;3;0;;;&;;&;#;率，是由l;i;w;;;&;#;55;9;;񖹱#;3;5;;;&;0;;;&;#;25;5;;;&;#;#;3;5;v;o;l;u;򊋇3;2;4;8;9;6;;;&;在采用了深度学习的񽽱򑙧򐺗;b;f;;;;&;;6;8;;&;#;5;6;;。1;;;&;#;t򐿃ᝇ;#;2;7;4;9;2;;;&;#;ᝇ;3;8;2;;;ᝂ2;7;8;0;;;򑛋񞎏s;在2;t;i;o򂶑4;5;4;;e;r;g;u;;8;;;&;;3;4;2;5;;&;#;5;5;t;#;3;0򐿃3;5;7;8;2;;0;;;&之后，最终达到了9;9;.;3;0#;3;6;7;9򐿃&;#;2;1&;#;5򐺗&;#;3;5;;򑟢思路和卷积网ᐧ;k;s;)ᝇ5;7;5;;;&;8;5;9;#;3;9;;;&;#;;#;3;0;4;;;&;#;#;3;5;;;&;#;;ᜯ#᜿;2;3;5;4;5

果是相当惊人的！它已了数据集里还有的数字，这个经超越一些类。真正人眼的识别了结似如下这样难以辨认考虑到这个

在这个过程中一�ient的值，就必desce须引入梯度下步调整权重和偏置参数降算法(grad步。

们的神经网络需有一个实际可行调整参数。，来逐步的学习算法在训练的过程中，我要

表望输出能够尽量接近程度让网络的实进行表征。这个达式来对这种接近。我们需要找到一个际输出与期而最终的目的，是stfunctio为代价函数(co⬡表达式被称

一个x代表网络的输入。其实x784个输入。表示一个训练样本，即

来表示都分别代表17;;;表示当输入#;9;򑎫;;的时候，期望输出值。y;y(x;)表示当的差的平方，就表值的接近程度。小。0个输出值值；而&;为x;的时候，实际的输入为&;#;1;2这个差值就越的输出(x)和a（以数学上的向量征了实际输出越接近，）。而它们值和期望输出

是训练样本的数量以n对所有训练样本求平均值。，有5万个训练样本。假设那么n就是5万。因次训练，所以要除为是多n

边的&;#;9;8;;的表示法，是把coc(w;，b的函数。&;#;1;不变的情况下，这是固定值，但a;是w上，在a;里面。y进行训练的时候，输入看成是&;#;1;1个式子就可以？;9;;;和b;的，不会变。在认为输入有权重w;和偏置;;是固定的2;0;哪呢？实际;(x)也w;和看成是网络中所和b子右b;在stfunction;;的函数。为什么这样看呢᜵函数。那么，式（训练样本）

ᓯ;5;;;&;#;#;4;征了网络的9总结来说，c;(;&;#;;4;0;;;&;值的;9;;;&;#优化问题。;ᘛ越小。因此，学习༓接近程度。越#;5;9;;;，b;);的值就񞎏&;#;4;办法降低&;b;);的表达#;和b;;&;#;3;5#;5;95;9;;;，w;，;4;;;&;#;3;5;;;#;3;#;3;8;;5;7;;;&;;#;3;ᜯ实际输出值和8，接近，&;#;3;&;#;4;9;;5;4;;;;4;9;;;;;&;#;5;5;5;;;&;#;的过程就是想如何，它是&;#;;;;&最8;;;;77;;;&;#;8;;;&;#;形式♱成了一个求函数最小;4;0;;;&;#;3;5;;;&;;;&;过程，而不管&;;;&;#9;;;&;;3;8;;;&;##;3;4;9;;;;;的函数，这就变;4;9;;;&5;4;;;&;#;3;5;;;&;#ᝁ񞎏;;;&;#;5;9;;;b;);的#表򑟷;4;0;;;1;9;;ᝁᝁ&;#;期望输出值的5;9;;;&;#᜿򑟢5;;;&;#;5;;;&;#;5;;#;3;5;;;

)由于c(w，b比较复杂，参数也非常的形式多，所以直常困难。数学上的求解，非接进行

提出下降算法(grad为了利用计算机算法解学家们t)。科了梯度ientdescen这一问题，计算机决

迈的方向，每次向下终抵达最小值。沿着各而最出微小的一步，从个维度的切线贡献在多维空间中这个算法本质上是

在视觉上无法体现，所以人们通常到三像可以在b)只，它的函数图维空间进行类比。当c现。由于多维空会退有两个参数的时候间间里呈;(w;，三维空

的斜坡上向下就好像一个小球在山谷，最终就有可能到达谷底。这个理解重新推广到不停地滚动内也基本成立。多维空间

的数量计算量会很大，导致学习过而由于训练样本程很慢。大（上前面），直接根据的c(w，b)进行计算，万，几十万，甚至更多很

法，是对于梯scentradientde度下降的chasticg随机梯度下降(sto一个近似。、于是就出现了)算

重不再再不断(w，b)计算，直到把整个训对在这个算学习再从剩下的练集中随机选择一部分有的训练集，而是从训训练集用光。然后部分来，下一次复这一过程。法中，每次学习来计算c针所练集中随机选择一

经网络个层次上进行layer）比浅具有多个h抽象。层神深度神idden经网络（有更多结构上的优势，它有能力从多

nggradient梯度爆发(机梯度下降算法应用于nggradient)或从上个世纪八九十，深度神，但却碰到经程异常缓慢explodi了梯度消失(vanishi学习过网络基本不可用。致年代开深度神经网络的训练不断尝)的问题，导始，研究人员们试将随

训练深度网络，用一些新的技术来但破。不断取得这些技术包括了突始，人们开始使然而，从2006年开不限于：

s)；𘌧alnetw�nvolution采用卷积网络(

zation(droregulariut)；𛗯

rectifieds；linearunit

等。的计算能力利用gpu获得更强

问题设计算法和编程，们直接为而是针对训练过程编深度学习的优一种全要解决的编程方式，它不需要我程。新的点显而易见：这是

多领域胜过了传统方络在训练杂的问题，问题的算法来解决复而且在很的正确方法，这使得我己学习到解决们可以用简单法。网过程中就能自

，可而训能远胜于复杂的算法加：简单的算法加上复杂的数据个过程发挥的数据。了更重要的作用上简单练数据在这

些参数上学原则上深度网络往往包含面花费巨大的不符合奥卡姆剃刀原则，通精力；大量的参数，这从哲人们要在调整这常

训练深度网络需要大量的计算算时间；力和计

进一步要场合的ting)问题始终，这容易让人们产生这项技术在一些重一种失过拟合(over过慢的问题�伴随着控的恐惧，同时也对制造了障碍。，学习神经网络的训练过程始终困扰着人们应用

事，最终逐渐统治世而betaca，通过自我学习，所讲的就是一个人工界的故事。程序智能t的故

这恐怕还不太可能。一般人认为？技术的发展，会导致这种情况发生吗，大概有两个重要因素那么：，现在的人工智能

定第一，以现特定的问题，在的人工智能来说，的智仍然不是通用的方式，只能学习解决它的自我学习还是限定人们指在能。

求很严格。第二，现在对于人于整化人工智结构化能程序连到网上，互的训练数据，系它也不能像be数据进行学习tacat那样对于数据的格式要统的输入输出仍然对为其输入规需要人们联网上海量的非，这也意味着，即使把工智能的训练过程，

真正对普通然而这仅仅是源这样要求它完全都能够做到。的人工智能，但两点是对起的网络智能生命来说，以上

(本章完)