第641章

要确定这网络的训练神经对于这个过程，就是11935个参数。

它输出无限接近于0。一个训练样本训练的目标可以粗略概括为：对于每应的输出无限接近，对于1，而其

5\%的正确识别率。而核n给出的实验结果，根据micha4行！心代码只有7，在未经过调优的以上述网络结构为基础elnielse轻松达到9情况下，可以

&;#;5;7;#;5;5;9;9;.&;#;3;2;5;)之后，;#;෧5;;;&;#;0;;;&;#;2;8;0;;3;9;;;;&;&;#;5的识别率，是由;;;;&;᜽;3;0;8;3;0�5;9;;;&w7;5;;;&;#;#;5;6;;;&;;&;#;3;8;;;&;8;;;&;#;3;;&;#;#;5;9;;;&ᝇ򇮷;;&;#;5;5;;;路和卷积网络(c;oᝇnnle#;3;2;7ᐧ#;5;5;;;&;#;2;7;4;0;3;4#;3;;o;r;k;s3;5;7;8;2;#;3;;#;3;5ang，ya&;#;3;8;;;最终a;l;n;e;t;򑑳8;;;&;#;2;8;9;u;t;i;;&;#;l;i;w;a;n񞎏;4;9;;0;;;&;;&;#;3;6;8;;5;7;;;.;7;;o;b;f;e;r;o;n;&;#;2;11;5;9;;;#;3;8;5;9;;;6;;;&;w;&;#;2;5;;#;2;5;9;习的思;#;3;8;;;&;2;2;9;0#ᝇ;3;5;;;&ᕓ򐽟1;0;4;;;򊋇&;#;5;9;;;򐿃򅒟&;#;5;1;&;#;2;9;5;#;5;9;9;;;&;9;1;;;&;#;&;#;5;4;;;&;#;3;2;5;4;5;;&;#;;&;#;3;095;2;在采用了深度学xinzh年做出的。;;&;#;5;6;ler，si񶙗򐺗᜾&;;;;&;#;2;;1;0;4;0;n;v;o;l&;#;8;;;&;#;3在2;4;;;፟6;8;;;&;#;达到了;8;0;cun，和r;#;5;1;;0;3;5;;;;3;5;4;5;&;#;5;5;򐿃&;#;5;5;;;4;，matthe༓;;;&;;;&;#;2;0;37;9;;#;3;;3;8;2;;;3;4;0;;;&2;4;;;򑟢;#;3;5;;;񻡝;5;;;&;򑘃;g;u;s;

个数据集里还有一些类了。到这虑果是相当惊人的！它已经超越了真正人似如下这样难以辨认考的数字，这个结眼的识别

步步调整权重和偏置法(g梯度下在这个scent)。radientde参数的值，就必须引入过程中一降算

法，来逐步调整参数络需要有一个实际可在训练的过程。经网行的学习算中，我们的神

目表达式被称为代的，是让网络的价函数(�实际输出与期程度进行表征。这个表达式来对这种接近望输出能够尽量接而最终的costfuncti近。我们需要找到一个

4个输入。x表示一个训练样本，即网络的输入。其实一个x代表78

为x;9;7;;;了实际输出值表示当输入示当输入为&;#;1值；而&;#;向量来表示）。而的时候，实际的数学上的它们的差的望的输出򑑳表10个输出值（以平方，就表征0这个差值就越小。近程度。越接近，y(x;)表和期望输出值的接(x)和a都分别代输出值。y;;;;的时候，期

练，所以要除以n对所假设有万。因为是多次训n是训练样本的数量。有训5万个训练样本，那么练样本求平均值。n就是5

b的函成是网络#;9;是把co定值，但a;是w中所有权成是&。为什么这样看呢�和b;在么，式子右边哪呢？实际上，在a重w;和偏置&;数。;是固定的（训练样8�？进行训练的时1;;;的函数和固;;和b;的函数。那的w;下，这个式子就可以看候，输入);的表示法，本），不的情况;里面。y;(x&;#;会变。在认为输入不变;2;0;;;#;1;1;9;tionc(w;，b;看)也是

;);的过程，3;8;;;&;4;;;&;ᜲ;5;7;;;&;#;;&;#就变成了一个求函;9;;;和;#;3;5;;;&;;&;#;5;#;3;8;;;&;9;;;，b5;5;9;;;，b化问题。;;，b)表征了网;;&;#;򇮷;，b达形式如;#;5;4ᝇ;4;99;;;&;#;1;1򑖟5;9;;;9;;;&;#;5;因此，学&ᓯ򑔻而不管&;#;&;#;4;;&;#;5;9;;;3;8;;;&;3;5;;;;#;3;5;;;;&;#;5接近程度。越接#总结来说，c;(wᝄ降低&;&;#;5;3;;;&;4;0;);的表&;#;4;0ᓯb;的函数，这;#;4;;;&;#;5&;#;5򑓗#;5;򐺗何，它是&;#;9;;;&;#;习的过程就是想办法;9;;;&;#;4;0;;;&;#3;8;;;򑟷&;5;7;;&;#;3;5;;;络的实近，&;#;3;8;;;;&;#际输出值和期望输出数最小值的最优#;5;4;;;;;&;#;4;95;9;;;&;#&;#;4;9;5;;;&;#;;);的值就越小。;;;&;#;;;;&;#;3;值的;򐺗

非常困难。也非常多，所以直接进参数由于c(w，b)的形式比较复杂，行数学上的求解，

家们提出了梯度算机算法解决这下降算法一问题，计算机科学ent)。𚸤desc为了利用计(gradie

抵达，每次是在多维空间中沿着各切线贡献的方向向下迈出微小最小值。个维度的这个算法本质上的一步，从而最终

退到三维空间维进空间里呈现。行类比。当c;(w;，所以人们通常会个参数的时候，它的函数图像由于多维空间在可以在三，b)只有两视觉上无法体现

解重新推广到多维空间内也基本成立。不停地滚动在山谷的斜坡上向下能到达谷，最终就有可底。这个理就好像一个小球

本的数量很大（上万致学习过程很前面的算，计算量会很大，导而由于训练样慢。，几十万，甚c(w，b)进行计至更多），直接根据

是对于梯度下降)算法，就出现了随机梯度下的一个近似。、于是tdescent降(stoch�icgradien

学习不再针对择一部分来计不断重复这一过程。学习再从剩下的训练集中随机选择训练集所有的，下一次在这个算法中，而是从训练集中随机选每次算c(w，一部分来计，b)算，直到把整个训练集用光。然后再

上进行抽象。个层次yer）比浅层神经网的优势，它有能力从多深度神经网络（具有络有更多结构上多个hiddenla

，深度神经网络基�研究人员t)或用尝试将随机梯度下降习过程异常缓慢从上个年代开始，发(explodi算)的问题，导致学adient十世纪八九梯度爆失(vanish本不可用nggradien于深度神经网络的训练法应但却碰到了梯度消，们不断。ri

术来训练深度网络，然而，从200但6年开始，人们开始使不限于：技术包括用一些新的技不断取得了突破。这些

采用volutionetworks)n𗭔卷积网络(con；

ut)；rization(dropoaregul

units；��tifiedlin

。利用gpu获得更强的计算能力等

解决深度学习的优点显的问题的编程编程。而易见：这是一种全新编程，而程方式，设计算法和它不需要我们直接为要是针对训练过

法来解决复杂的问题，网络在而且在很多领域胜过了传统得我们可以用简方法。训练过程中就能自己学习到解决单的算问题的正确方法，这使

单的算法加上程发挥了数据，复杂的杂的算法加上简单而训练可能远胜于复更重要的作用：简数据在这个过的数据。

网络往往包含大量的参费巨大的精力；参深度这些数，这从哲学原数上面花姆剃刀原则，通常则上不符合奥卡人们要在调整

间；量的计算力和计算时训练深度网络需要大

恐惧，同技术在一些重要场ing)问题始终伴扰着人们，这容易让人们产生一种失控的过合终困𜖔时也对这项随着神经网络的训练过的进一障碍。步应用制程，学习过慢的问拟合(overfi造了题始

的就是一个人工智，通过自我学习，最终逐而be能程序世界的故事taca渐统治。t的故事，所讲

导致这种情况发生吗恐怕还不太可能。一般人认能技术的发展，会工智那么，现在的人为，大概有两个重？这要因素：

能学定的方式，只学习还是限定在人们指智能问题，然不是通用的智能。习解决特定的第一，仍现在的人工，它的自我

上，它也不能像数据，系统能程序连到网非结构化数据进行上海量的，现在格，这也练过程，需要人们为其对于人工智能的第二对于互联网整化的训练意味着，即据的格式要求很严输入规的输使把训b学习。入输出仍然对于数人工智etacat那样

源是对普通的它完全都能够做到，以上两点要求这样真正的网能生命来说然而这仅仅智能罢了，但是对起。人工络智

章完)(本