当前位置:首页 >> 能源/化工 >>

高性能算法之深度学习论文


研究生课程考核报告

科目:高性能算法研究前沿教师: 向涛 姓名:周月玥学号: 20161402032t 专业:计算机科学与技术类别:学术型 上课时间: 考生成绩: 卷面成绩 平时成绩 课程综合成绩 2016.3——2016.6

阅卷评语:

阅卷教师 (签名)
重庆大学研究生院制

度学习算法研究与实现
深度学习原理
深度学习是机器学习拉出的分支, 它试图使用包含复杂结构或由多重非线性变换构成的 多个处理层对数据进行高层抽象的算法。深度学习是机器学习中表征学习方法。观测值(例 如一幅图像)可以使用多种方式来表示,如每个像素强度值的矢量,或者更抽象地表示成一 系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如, 人脸识别或面部表情识别[6]) 。深度学习的好处是将用非监督式或半监督式的特征学习和分 层特征提取的高效算法来替代手工获取特征。 表征学习的目标是寻求更好的表示方法并创建 更好的模型来从大规模未标记数据中学习这些表示方法。 表达方式类似神经科学的进步, 并 松散地创建在类似神经系统中的信息处理和通信模式的理解上, 如神经编码, 试图定义拉动 神经元的反应之间的关系以及大脑中的神经元的电活动之间的关系。 至今已有数种深度学习框架, 如深度神经网络、 卷积神经网络和深度信念网络和递归神经网 络已被应用计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了 极好的效果。另外,深度学习已成为类似术语,或者说是神经网络的品牌重塑。

深度学习的研究发展过程和最新研究现状
以前, 绝大多数机器学习和信号处理技术都利用浅层结构, 这些结构一般包含最多一到 两层的非线性特征变换,这种状况直到近几年才得以改变。浅层结构包括高斯混合模型 (GMM) ,线性或非线性动力系统,条件随机场(CRF) 、最大熵模型(MaxEnt) 、支持向量 机(SVM) 、逻辑回归(LR) 、核回归以及多层感知器(MLP) (包括极限学习器而且只包含 一个隐层) 。已近证明,浅层结构在解决很多简单的或者限制较多的问题上效果明显,但是 由于其建模和表示能力有限, 在遇到实际生活一些更复杂的涉及自然信号的问题时就会遇到 各种困难。 然而,人类信息处理机制,总是需要深度结构从丰富的感官输入信息中提取复杂结构并 构建内部表示。例如,由于人类语言的产出和感知系统都具有清晰的层结构,这就使得信息 可以从波形层转换到语言层。 同理, 人类视觉系统也有分层的特点这些虽然基本都只是存在 于感知层面,但有趣的是,有时候在产出时也有分层的特点。我们应该相信,如果能提出更 高效且更有效的深度学习算法, 那么用于处理这种自然信号的最前沿技术也将进一步得到提 高。 深度学习的概念起源于对人工神经网络的研究。 前馈神经网络或具有多隐层的多层感知 器是深度结构模型中很好的范例。加拿大多伦多大学教授、机器学习领域泰斗——Geoffrey Hinton 和他的学生 RuslanSalakhutdinov 在顶尖学术刊物《科学》上发表了一篇文章,开启了 深度学习在学术界和工业界的浪潮。这篇文章有两个主要的信息:1. 很多隐层的人工神经 网络具有优异的特征学习能力, 学习得到的特征对数据有更本质的刻画, 从而有利于可视化

或分类; 2. 深度神经网络在训练上的难度, 可以通过“逐层初始化” (Layer-wise Pre-training) 来有效克服,在这篇文章中,逐层初始化是通过无监督学习实现的。 自 2006 年以来,深度学习在学术界持续升温。斯坦福大学、纽约大学、加拿大蒙特利 尔大学等成为研究深度学习的重镇。2010 年,美国国防部 DARPA 计划首次资助深度学习项 目,参与方有斯坦福大学、纽约大学和 NEC 美国研究院。支持深度学习的一个重要依据, 就是脑神经系统的确具有丰富的层次结构。一个最著名的例子就是 Hubel-Wiesel 模型,由于 揭示了视觉神经的机理而曾获得诺贝尔医学与生理学奖。 除了仿生学的角度, 目前深度学习 的理论研究还基本处于起步阶段,但在应用领域已显现出巨大能量。2011 年以来,微软研 究院和 Google 的语音识别研究人员先后采用 DNN 技术降低语音识别错误率 20%~30%,是 语音识别领域十多年来最大的突破性进展。2012 年,DNN 技术在图像识别领域取得惊人的 效果,在 ImageNet 评测上将错误率从 26%降低到 15%。在这一年,DNN 还被应用于制药 公司的 DrugeActivity 预测问题,并获得世界最好成绩,这一重要成果被《纽约时报》报道。 正如文章开头所描述的,今天 Google、微软、百度等知名的拥有大数据的高科技公司 争相投入资源,占领深度学习的技术制高点,正是因为它们都看到了在大数据时代,更加复 杂且更加强大的深度模型能深刻揭示海量数据里所承载的复杂而丰富的信息, 并对未来或未 知事件做更精准的预测

深度学习的应用情况
语音识别 语音识别系统长期以来, 在描述每个建模单元的统计概率模型时, 大多采用的是混合高 斯模型(GMM) 。这种模型由于估计简单,适合海量数据训练,同时有成熟的区分度训练技 术支持,长期以来,一直在语音识别应用中占有垄断性地位。但这种混合高斯模型本质上是 一种浅层网络建模,不能充分描述特征的状态空间分布。另外,GMM 建模的特征维数一般 是几十维, 不能充分描述特征之间的相关性。 最后, GMM 建模本质上是一种似然概率建模, 虽然区分度训练能够模拟一些模式类之间的区分性,但能力有限。 微软研究院语音识别专家邓立和俞栋从 2009 年开始和深度学习专家 GeofferyHinton 合 作。2011 年微软宣布基于深度神经网络的识别系统取得成果并推出产品,彻底改变了语音 识别原有的技术框架。采用深度神经网络后,可以充分描述特征之间的相关性,可以把连续 多帧的语音特征并在一起, 构成一个高维特征。 最终的深度神经网络可以采用高维特征训练 来模拟。由于深度神经网络采用模拟人脑的多层结果,可以逐级地进行信息特征抽取,最终 形成适合模式分类的较理想特征。 这种多层结构和人脑处理语音图像信息时, 是有很大的相 似性的。深度神经网络的建模技术,在实际线上服务时,能够无缝地和传统的语音识别技术 相结合,在不引起任何系统额外耗费情况下,大幅度提升了语音识别系统的识别率。其在线 的使用方法具体如下:在实际解码过程中,声学模型仍然是采用传统的 HMM 模型,语音模 型仍然是采用传统的统计语言模型,解码器仍然是采用传统的动态 WFST 解码器。但在声学

模型的输出分布计算时,完全用神经网络的输出后验概率乘以一个先验概率来代替传统 HMM 模型中的 GMM 的输出似然概率。百度在实践中发现,采用 DNN 进行声音建模的语音 识别系统相比于传统的 GMM 语音识别系统而言,相对误识别率能降低 25%。最终在 2012 年 11 月,百度上线了第一款基于 DNN 的语音搜索系统,成为最早采用 DNN 技术进行商业 语音服务的公司之一。 国际上,Google 也采用了深层神经网络进行声音建模,是最早突破深层神经网络工业 化应用的企业之一。但 Google 产品中采用的深度神经网络只有 4-5 层,而百度采用的深度 神经网络多达 9 层。 这种结构差异的核心其实是百度更好地解决了深度神经网络在线计算的 技术难题,因此百度线上产品可以采用更复杂的网络模型。这将对于未来拓展海量语料的 DNN 模型训练有更大的优势。 图像识别 图像是深度学习最早尝试的应用领域。早在 1989 年,Yann LeCun (现纽约大学教授) 和 他的同事们就发表了卷积神经网络(Convolution NeuralNetworks,简称 CNN)的工作。CNN 是一种带有卷积结构的深度神经网络, 通常至少有两个非线性可训练的卷积层, 两个非线性 的固定卷积层(又叫 Pooling Laye)和一个全连接层,一共至少 5 个隐含层。CNN 的结构受 到著名的 Hubel-Wiesel 生物视觉模型的启发, 尤其是模拟视觉皮层 V1 和 V2 层中 Simple Cell 和 Complex Cell 的行为。在很长时间里,CNN 虽然在小规模的问题上,如手写数字,取得过 当时世界最好结果,但一直没有取得巨大成功。这主要原因是,CNN 在大规模图像上效果 不好,比如像素很多的自然图片内容理解,所以没有得到计算机视觉领域的足够重视。这个 情况一直持续到 2012 年 10 月,Geoffrey Hinton 和他的两个学生在著名的 ImageNet 问题上 用更深的 CNN 取得世界最好结果,使得图像识别大踏步前进。在 Hinton 的模型里,输入就 是图像的像素, 没有用到任何的人工特征。 这个惊人的结果为什么在之前没有发生?原因当 然包括算法的提升,比如 dropout 等防止过拟合技术,但最重要的是,GPU 带来的计算能力 提升和更多的训练数据。 百度在 2012 年底将深度学习技术成功应用于自然图像 OCR 识别和 人脸识别等问题,并推出相应的桌面和移动搜索产品,2013 年,深度学习模型被成功应用 于一般图片的识别和理解。 从百度的经验来看, 深度学习应用于图像识别不但大大提升了准 确性,而且避免了人工特征抽取的时间消耗,从而大大提高了在线计算效率。可以很有把握 地说,从现在开始,深度学习将取代“人工特征+机器学习”的方法而逐渐成为主流图像识别 方法。 自然语言处理 除了语音和图像,深度学习的另一个应用领域问题是自然语言处理( NLP) 。经过几十 年的发展,基于统计的模型已经成为 NLP 的主流,但作为统计方法之一的人工神经网络在 NLP 领域几乎没有受到重视。最早应用神经网络的 NLP 问题是语言模型。加拿大蒙特利尔大 学教授 YoshuaBengio 等人于 2003 年提出用 embedding 的方法将词映射到一个矢量表示空间,

然后用非线性神经网络来表示 N-Gram 模型。 世界上最早的最早的深度学习用于 NLP 的研究 工作诞生于 NEC 美国研究院, 其研究员 Ronan Collobert 和 Jason Weston 从 2008 年开始采用 embedding 和多层一维卷积的结构, 用于 POS Tagging、 Chunking、 Named Entity Recognition、 Semantic Role Labeling 等四个典型 NLP 问题。值得注意的是,他们将同一个模型用于不同任 务,都能取得与业界最前沿相当的准确率。最近以来,斯坦福大学教授 Chris Manning 等人 在将深度学习用于 NLP 的工作也值得关注。 总的来说,深度学习在 NLP 上取得的进展没有在语音图像上那么令人影响深刻。一个 很有意思的悖论是:相比于声音和图像,语言是唯一的非自然信号,是完全由人类大脑产生 和处理的符号系统, 但模仿人脑结构的人工神经网络却似乎在处理自然语言上没有显现明显 优势?我们相信,深度学习在 NLP 方面有很大的探索空间。从 2006 年图像深度学习成为学 术界热门课题到 2012 年 10 月 Geoffery Hinton 在 ImageNet 上的重大突破, 经历了 6 年时间。 我们需要有足够的耐心。 搜索广告 CTR 预估 搜索广告是搜索引擎的主要变现方式,而按点击付费(Cost Per Click,CPC)又是其中被 最广泛应用的计费模式。在 CPC 模式下,预估的 CTR(pCTR)越准确,点击率就会越高,收 益就越大。通常,搜索广告的 pCTR 是通过机器学习模型预估得到。提高 pCTR 的准确性, 是提升搜索公司、广告主、搜索用户三方利益的最佳途径。 传统上,Google、百度等搜索引擎公司以 Logistic Regression(LR)作为预估模型。而从 2012 年开始,百度开始意识到模型的结构对广告 CTR 预估的重要性:使用扁平结构的 LR 严 重限制了模型学习与抽象特征的能力。为了突破这样的限制,百度尝试将 DNN 作用于搜索 广告,而这其中最大的挑战在于当前的计算能力还无法接受 1011 级别的原始广告特征作为 输入。作为解决,在百度的 DNN 系统里,特征数从 1011 数量级被降到了 103,从而能被 DNN 正常地学习。这套深度学习系统已于 2013 年 5 月开始服务于百度搜索广告系统,每天 为数亿网民使用。 DNN 在搜索广告系统中的应用还远远没有成熟,其中 DNN 与迁移学习的结合将可能是 一个令人振奋的方向。使用 DNN,未来的搜索广告将可能借助网页搜索的结果优化特征的 学习与提取;亦可能通过 DNN 将不同的产品线联系起来,使得不同的变现产品不管数据多 少,都能互相优化。我们认为未来的 DNN 一定会在搜索广告中起到更重要的作用。

深度学习实践
平台选择: 在本次实验我选择了比较熟悉 java 语言作为开发语言,在具体的深度学习包我选择了 该平台上非常出名的 Deeplearning4j,并在其推荐的 intellij-idea 作为实验环境。 工作目标:

随机给出一些点,系统需要去学习这些点的规律并将它进行分区域,在输入测试集后, 将其以大概率正确的画到所在区域。 环境搭建: ? ? ? Jdk7.0 的配置 Intellig-idea 下载后,直接安全,然后应用 jdk 的路径 Maven 配置:实验室要依赖于 maven 的构建,幸运的是 intellig-idea 可以自动帮 我们下载配置 maven 文件 实验结果:

图1

图2

图3

图4

图 1 中的左边部分是训练数据集的, 系统通过学习数据得到一个规律即该数据可以分成 线性区域,右边部分是测试将数据分类。图 2 表明 score 收敛,表明正在学习,图 3 是系统 学习到了椭圆区域,图 4 是学习到了另一种区域。


相关文章:
高性能算法之深度学习论文
研究生课程考核报告 科目:高性能算法研究前沿教师: 向涛 姓名:周月玥学号: ...重庆大学研究生院制 深度学习算法研究与实现深度学习原理深度学习是机器学习拉出的...
高性能算法-深度学习
高性能算法-深度学习_计算机软件及应用_IT/计算机_专业资料。深度学习的课程论文,对caffe深度学习平台进行了简单的实验。深度学习算法的研究与实现 1 摘要深度学习近...
深度学习调研报告
调研报告目前人脸识别的主要研究方法有 3 种。①...严重影响最终系统性能, 所以一个好的人脸识别技术...Facenet:FacenNet 是 Google 开发的深度学习算法。...
一种深度学习的快速学习算法
一种深度学习的快速学习算法_机械/仪表_工程科技_...它也比同一任务支持向量机报告 Decoste 和 ...6.在 MNIST 数据库的性能 6.1 训练网络 手写数字...
深度学习史上最全总结(文末有福利)
年火遍各个领域的词汇,似乎所 有的算法只要跟它扯上关系, 瞬间就显得高大上...但其实, 从 2006 年 Hinton 在 Science 上的论文算起,深度学习发展至今才不...
深度学习前沿报告
深度学习前沿报告_IT/计算机_专业资料。关于深度学习...实现平台有什么,它们优缺点有哪些 算法: (1) 限制...高维复杂数据处理 实现平台: (1) :Caffe 优点:...
深度学习的9篇标志性论文
深度学习的9篇标志性论文_信息与通信_工程科技_专业...(DBN), 其中训练最高层的 RBM 时加入了 label。...(CD) 算法逐层训练重构输入数据 的 RBM ,堆叠在...
深度学习发展现状
程最终可以归结为一种单一算法, 而人脑的神经元可以通过这种算法, 分化出识别...从 2006 年以来,大量的关于深度学习论文被发表。 3 深度学习的应用现状及...
深度学习算法简介
深度学习算法简介_计算机硬件及网络_IT/计算机_专业资料。深度学习深度...从 2006 年以来,大量的关于深度学习论文被发表,一些探讨了其他原理来引导中间...
更多相关标签: