人工神经网络的发展历史,神经网络的起源和发展

1、神经网络的历史是什么

沃伦·麦卡洛克和沃尔特·皮茨1943基于数学和一种称为阈值逻辑的算法创造了一种神经网络的计算模型。这种模型使得神经网络的研究分裂为两种不同研究思路。一种主要关注大脑中的生物学过程另一种主要关注神经网络在人工智能里的应用。

一、赫布型学习

二十世纪40年代后期心理学家唐纳德·赫布根据神经可塑性的机制创造了一种对学习的假说现在称作赫布型学习。赫布型学习被认为是一种典型的非监督式学习规则它后来的变种是长期增强作用的早期模型。从1948年开始研究人员将这种计算模型的思想应用到B型图灵机上。

法利和韦斯利·A·克拉克1954首次使用计算机当时称作计算器在MIT模拟了一个赫布网络。纳撒尼尔·罗切斯特1956等人模拟了一台 IBM 704计算机上的抽象神经网络的行为。

弗兰克·罗森布拉特创造了感知机。这是一种模式识别算法用简单的加减法实现了两层的计算机学习网络。罗森布拉特也用数学符号描述了基本感知机里没有的回路例如异或回路。这种回路一直无法被神经网络处理直到保罗·韦伯斯(1975)创造了反向传播算法。

在马文·明斯基和西摩尔·派普特1969发表了一项关于机器学习的研究以后神经网络的研究停滞不前。他们发现了神经网络的两个关键问题。

第一是基本感知机无法处理异或回路。第二个重要的问题是电脑没有足够的能力来处理大型神经网络所需要的很长的计算时间。直到计算机具有更强的计算能力之前神经网络的研究进展缓慢。

二、反向传播算法与复兴

后来出现的一个关键的进展是保罗·韦伯斯发明的反向传播算法Werbos 1975。这个算法有效地解决了异或的问题还有更普遍的训练多层神经网络的问题。

在二十世纪80年代中期分布式并行处理当时称作联结主义流行起来。戴维·鲁姆哈特和詹姆斯·麦克里兰德的教材对于联结主义在计算机模拟神经活动中的应用提供了全面的论述。

神经网络传统上被认为是大脑中的神经活动的简化模型虽然这个模型和大脑的生理结构之间的关联存在争议。人们不清楚人工神经网络能多大程度地反映大脑的功能。

支持向量机和其他更简单的方法例如线性分类器在机器学习领域的流行度逐渐超过了神经网络但是在2000年代后期出现的深度学习重新激发了人们对神经网络的兴趣。

三、2006年之后的进展

人们用CMOS创造了用于生物物理模拟和神经形态计算的计算设备。最新的研究显示了用于大型主成分分析和卷积神经网络的纳米设备具有良好的前景。

如果成功的话这会创造出一种新的神经计算设备因为它依赖于学习而不是编程并且它从根本上就是模拟的而不是数字化的虽然它的第一个实例可能是数字化的CMOS设备。

在2009到2012年之间Jürgen Schmidhuber在Swiss AI Lab IDSIA的研究小组研发的循环神经网络和深前馈神经网络赢得了8项关于模式识别和机器学习的国际比赛。

例如Alex Graves et al.的双向、多维的LSTM赢得了2009年ICDAR的3项关于连笔字识别的比赛而且之前并不知道关于将要学习的3种语言的信息。

IDSIA的Dan Ciresan和同事根据这个方法编写的基于GPU的实现赢得了多项模式识别的比赛包括IJCNN 2011交通标志识别比赛等等。

他们的神经网络也是第一个在重要的基准测试中例如IJCNN 2012交通标志识别和NYU的扬·勒丘恩Yann LeCun的MNIST手写数字问题能达到或超过人类水平的人工模式识别器。

类似1980年Kunihiko Fukushima发明的neocognitron和视觉标准结构由David H. Hubel和Torsten Wiesel在初级视皮层中发现的那些简单而又复杂的细胞启发那样有深度的、高度非线性的神经结构可以被多伦多大学杰弗里·辛顿实验室的非监督式学习方法所训练。

2012年神经网络出现了快速的发展主要原因在于计算技术的提高使得很多复杂的运算变得成本低廉。以AlexNet为标志大量的深度网络开始出现。

2014年出现了残差神经网络该网络极大解放了神经网络的深度限制出现了深度学习的概念。

构成

典型的人工神经网络具有以下三个部分

1、结构Architecture结构指定了网络中的变量和它们的拓扑关系。例如神经网络中的变量可以是神经元连接的权重weights和神经元的激励值activities of the neurons。

2、激励函数Activation Rule大部分神经网络模型具有一个短时间尺度的动力学规则来定义神经元如何根据其他神经元的活动来改变自己的激励值。一般激励函数依赖于网络中的权重即该网络的参数。

3、学习规则Learning Rule学习规则指定了网络中的权重如何随着时间推进而调整。这一般被看做是一种长时间尺度的动力学规则。一般情况下学习规则依赖于神经元的激励值。它也可能依赖于监督者提供的目标值和当前权重的值。

例如用于手写识别的一个神经网络有一组输入神经元。输入神经元会被输入图像的数据所激发。在激励值被加权并通过一个函数由网络的设计者确定后这些神经元的激励值被传递到其他神经元。

这个过程不断重复直到输出神经元被激发。最后输出神经元的激励值决定了识别出来的是哪个字母。

2、神经网络的发展历史

1943年心理学家W·Mcculloch和数理逻辑学家W·Pitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型神经网络与历史结合。此模型沿用至今并且直接影响着这一领域研究的进展。因而他们两人可称为人工神经网络研究的先驱。
1945年冯·诺依曼领导的设计小组试制成功存储程序式电子计算机标志着电子计算机时代的开始。1948年他在研究工作中比较了人脑结构与存储程序式计算机的根本区别提出了以简单神经元构成的再生自动机网络结构。但是由于指令存储式计算机技术的发展非常迅速迫使他放弃了神经网络研究的新途径继续投身于指令存储式计算机技术的研究并在此领域作出了巨大贡献。虽然冯·诺依曼的名字是与普通计算机联系在一起的但他也是人工神经网络研究的先驱之一。
50年代末F·Rosenblatt设计制作了“感知机”它是一种多层的神经网络。这项工作首次把人工神经网络的研究从理论探讨付诸工程实践。当时世界上许多实验室仿效制作感知机分别应用于文字识别、声音识别、声纳信号识别以及学习记忆问题的研究。然而这次人工神经网络的研究高潮未能持续很久许多人陆续放弃了这方面的研究工作这是因为当时数字计算机的发展处于全盛时期许多人误以为数字计算机可以解决人工智能、模式识别、专家系统等方面的一切问题使感知机的工作得不到重视其次当时的电子技术工艺水平比较落后主要的元件是电子管或晶体管利用它们制作的神经网络体积庞大价格昂贵要制作在规模上与真实的神经网络相似是完全不可能的另外在1968年一本名为《感知机》的著作中指出线性感知机功能是有限的它不能解决如异或这样的基本问题而且多层网络还不能找到有效的计算方法这些论点促使大批研究人员对于人工神经网络的前景失去信心。60年代末期人工神经网络的研究进入了低潮。
另外在60年代初期Widrow提出了自适应线性元件网络这是一种连续取值的线性加权求和阈值网络。后来在此基础上发展了非线性多层自适应网络。当时这些工作虽未标出神经网络的名称而实际上就是一种人工神经网络模型。
随着人们对感知机兴趣的衰退神经网络的研究沉寂了相当长的时间。80年代初期模拟与数字混合的超大规模集成电路制作技术提高到新的水平完全付诸实用化此外数字计算机的发展在若干应用领域遇到困难。这一背景预示向人工神经网络寻求出路的时机已经成熟。美国的物理学家Hopfield于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经网络研究的论文引起了巨大的反响。人们重新认识到神经网络的威力以及付诸应用的现实性。随即一大批学者和研究人员围绕着 Hopfield提出的方法展开了进一步的工作形成了80年代中期以来人工神经网络的研究热潮。

3、神经网络计算机的发展历程

早在40年代McCulloch和Pitts就已开始了以神经元作为逻辑器件的研究。60年代Rosenblatt提出了模拟学习和识别功能的“感知机”模型其构造和规则曾轰动一时但终因此类机器严格的局限性而很快冷落下来。到1982年Hopfield提出了一种新的理论模型。这一模型简明地反映了大脑神经系统的分布式记忆存储、内容寻址、联想以及局部细胞损坏不灵敏等特性。与此同时神经网络在解决“推销员旅行”问题、语音识别、音乐片断的学习创作、英语智能读音系统等方面都取得了令人鼓舞的结果。因此人工神经网络的研究热潮在80年代初期又重新兴起成为多学科共同关注的跨学科新领域。不同学科研究神经网络的方法虽不尽相同但目的都是为了探索大脑智能的机制和实现智能计算机。人工神经网络研究的进展使研制神经网络计算机的历史任务落到了现代高科技的面前。这是社会对智能计算机的迫切需要。

4、有人可以介绍一下什么是"神经网络"吗?

由于神经网络是多学科交叉的产物各个相关的学科领域对神经网络
都有各自的看法因此关于神经网络的定义在科学界存在许多不同的
见解。目前使用得最广泛的是T.Koholen的定义即"神经网络是由具有适
应性的简单单元组成的广泛并行互连的网络它的组织能够模拟生物神经
系统对真实世界物体所作出的交互反应。"
如果我们将人脑神经信息活动的特点与现行冯·诺依曼计算机的工作方
式进行比较就可以看出人脑具有以下鲜明特征
1. 巨量并行性。
在冯·诺依曼机中信息处理的方式是集中、串行的即所有的程序指
令都必须调到CPU中后再一条一条地执行。而人在识别一幅图像或作出一项
决策时存在于脑中的多方面的知识和经验会同时并发作用以迅速作出解答。
据研究人脑中约有多达10^(10)～10^(11)数量级的神经元每一个神经元
具有103数量级的连接这就提供了巨大的存储容量在需要时能以很高的
反应速度作出判断。
2. 信息处理和存储单元结合在一起。
在冯·诺依曼机中存储内容和存储地址是分开的必须先找出存储器的
地址然后才能查出所存储的内容。一旦存储器发生了硬件故障存储器中
存储的所有信息就都将受到毁坏。而人脑神经元既有信息处理能力又有存储
功能所以它在进行回忆时不仅不用先找存储地址再调出所存内容而且可
以由一部分内容恢复全部内容。当发生"硬件"故障例如头部受伤时并
不是所有存储的信息都失效而是仅有被损坏得最严重的那部分信息丢失。
3. 自组织自学习功能。
冯·诺依曼机没有主动学习能力和自适应能力它只能不折不扣地按照
人们已经编制好的程序步骤来进行相应的数值计算或逻辑计算。而人脑能够
通过内部自组织、自学习的能力不断地适应外界环境从而可以有效地处
理各种模拟的、模糊的或随机的问题。
神经网络研究的主要发展过程大致可分为四个阶段
1. 第一阶段是在五十年代中期之前。
西班牙解剖学家Cajal于十九世纪末创立了神经元学说该学说认为神经
元的形状呈两极其细胞体和树突从其他神经元接受冲动而轴索则将信号
向远离细胞体的方向传递。在他之后发明的各种染色技术和微电极技术不断
提供了有关神经元的主要特征及其电学性质。
1943年美国的心理学家W.S.McCulloch和数学家W.A.Pitts在论文《神经
活动中所蕴含思想的逻辑活动》中提出了一个非常简单的神经元模型即
M－P模型。该模型将神经元当作一个功能逻辑器件来对待从而开创了神经
网络模型的理论研究。
1949年心理学家D.O. Hebb写了一本题为《行为的组织》的书在这本
书中他提出了神经元之间连接强度变化的规则即后来所谓的Hebb学习法则。
Hebb写道"当神经细胞A的轴突足够靠近细胞B并能使之兴奋时如果A重
复或持续地激发B那么这两个细胞或其中一个细胞上必然有某种生长或代
谢过程上的变化这种变化使A激活B的效率有所增加。"简单地说就是
如果两个神经元都处于兴奋状态那么它们之间的突触连接强度将会得到增
强。
五十年代初生理学家Hodykin和数学家Huxley在研究神经细胞膜等效电
路时将膜上离子的迁移变化分别等效为可变的Na+电阻和K+电阻从而建
立了著名的Hodykin-Huxley方程。
这些先驱者的工作激发了许多学者从事这一领域的研究从而为神经计
算的出现打下了基础。
2. 第二阶段从五十年代中期到六十年代末。
1958年F.Rosenblatt等人研制出了历史上第一个具有学习型神经网络
特点的模式识别装置即代号为Mark I的感知机Perceptron这一重
大事件是神经网络研究进入第二阶段的标志。对于最简单的没有中间层的
感知机Rosenblatt证明了一种学习算法的收敛性这种学习算法通过迭代
地改变连接权来使网络执行预期的计算。
稍后于RosenblattB.Widrow等人创造出了一种不同类型的会学习的神经
网络处理单元即自适应线性元件Adaline并且还为Adaline找出了一种有
力的学习规则这个规则至今仍被广泛应用。Widrow还建立了第一家神经计
算机硬件公司并在六十年代中期实际生产商用神经计算机和神经计算机软
件。
除Rosenblatt和Widrow外在这个阶段还有许多人在神经计算的结构和
实现思想方面作出了很大的贡献。例如K.Steinbuch研究了称为学习矩阵
的一种二进制联想网络结构及其硬件实现。N.Nilsson于1965年出版的
《机器学习》一书对这一时期的活动作了总结。
3. 第三阶段从六十年代末到八十年代初。
第三阶段开始的标志是1969年M.Minsky和S.Papert所著的《感知机》一书
的出版。该书对单层神经网络进行了深入分析并且从数学上证明了这种网
络功能有限甚至不能解决象"异或"这样的简单逻辑运算问题。同时他们
还发现有许多模式是不能用单层网络训练的而多层网络是否可行还很值得
怀疑。
由于M.Minsky在人工智能领域中的巨大威望他在论著中作出的悲观结论
给当时神经网络沿感知机方向的研究泼了一盆冷水。在《感知机》一书出版
后美国联邦基金有15年之久没有资助神经网络方面的研究工作前苏联也
取消了几项有前途的研究计划。
但是即使在这个低潮期里仍有一些研究者继续从事神经网络的研究工
作如美国波士顿大学的S.Grossberg、芬兰赫尔辛基技术大学的T.Kohonen
以及日本东京大学的甘利俊一等人。他们坚持不懈的工作为神经网络研究的
复兴开辟了道路。
4. 第四阶段从八十年代初至今。
1982年美国加州理工学院的生物物理学家J.J.Hopfield采用全互连型
神经网络模型利用所定义的计算能量函数成功地求解了计算复杂度为
NP完全型的旅行商问题Travelling Salesman Problem简称TSP。这
项突破性进展标志着神经网络方面的研究进入了第四阶段也是蓬勃发展
的阶段。
Hopfield模型提出后许多研究者力图扩展该模型使之更接近人脑的
功能特性。1983年T.Sejnowski和G.Hinton提出了"隐单元"的概念并且
研制出了Boltzmann机。日本的福岛邦房在Rosenblatt的感知机的基础上
增加隐层单元构造出了可以实现联想学习的"认知机"。Kohonen应用3000
个阈器件构造神经网络实现了二维网络的联想式学习功能。1986年
D.Rumelhart和J.McClelland出版了具有轰动性的著作《并行分布处理-认知
微结构的探索》该书的问世宣告神经网络的研究进入了高潮。
1987年首届国际神经网络大会在圣地亚哥召开国际神经网络联合会
INNS成立。随后INNS创办了刊物《Journal Neural Networks》其他
专业杂志如《Neural Computation》《IEEE Transactions on Neural
Networks》《International Journal of Neural Systems》等也纷纷
问世。世界上许多著名大学相继宣布成立神经计算研究所并制订有关教育
计划许多国家也陆续成立了神经网络学会并召开了多种地区性、国际性
会议优秀论著、重大成果不断涌现。
今天在经过多年的准备与探索之后神经网络的研究工作已进入了决
定性的阶段。日本、美国及西欧各国均制订了有关的研究规划。
日本制订了一个"人类前沿科学计划"。这项计划为期15－20年仅
初期投资就超过了1万亿日元。在该计划中神经网络和脑功能的研究占有
重要地位因为所谓"人类前沿科学"首先指的就是有关人类大脑以及通过
借鉴人脑而研制新一代计算机的科学领域。
在美国神经网络的研究得到了军方的强有力的支持。美国国防部投资
4亿美元由国防部高级研究计划局DAPRA制订了一个8年研究计划
并成立了相应的组织和指导委员会。同时海军研究办公室ONR、空军
科研办公室AFOSR等也纷纷投入巨额资金进行神经网络的研究。DARPA认
为神经网络"看来是解决机器智能的唯一希望"并认为"这是一项比原子弹
工程更重要的技术"。美国国家科学基金会NSF、国家航空航天局NASA
等政府机构对神经网络的发展也都非常重视它们以不同的形式支持了众多
的研究课题。
欧共体也制订了相应的研究计划。在其ESPRIT计划中就有一个项目是
"神经网络在欧洲工业中的应用"除了英、德两国的原子能机构外还有多
个欧洲大公司卷进这个研究项目如英国航天航空公司、德国西门子公司等。
此外西欧一些国家还有自己的研究计划如德国从1988年就开始进行一个
叫作"神经信息论"的研究计划。
我国从1986年开始先后召开了多次非正式的神经网络研讨会。1990年
12月由中国计算机学会、电子学会、人工智能学会、自动化学会、通信学
会、物理学会、生物物理学会和心理学会等八个学会联合在北京召开了"中
国神经网络首届学术会议"从而开创了我国神经网络研究的新纪元。

5、人工神经网络的发展

现代意义上对神经网络特指人工神经网络的研究一般认为从1943年美国芝加哥大学的生理学家W.S. McCulloch和W.A. Pitts提出M-P神经元模型开始到今年正好六十年。在这六十年中神经网络的发展走过了一段曲折的道路。1965年M. Minsky和S. Papert在《感知机》一书中指出感知机的缺陷并表示出对这方面研究的悲观态度使得神经网络的研究从兴起期进入了停滞期这是神经网络发展史上的第一个转折。到了20世纪80年代初J.J. Hopfield的工作和D. Rumelhart等人的PDP报告显示出神经网络的巨大潜力使得该领域的研究从停滞期进入了繁荣期这是神经网络发展史上的第二个转折。
到了20世纪90年代中后期随着研究者们对神经网络的局限有了更清楚的认识以及支持向量机等似乎更有前途的方法的出现“神经网络”这个词不再象前些年那么“火爆”了。很多人认为神经网络的研究又开始陷入了低潮并认为支持向量机将取代神经网络。有趣的是著名学者C.-J. Lin于2003年1月在德国马克斯·普朗克研究所所做的报告中说支持向量机虽然是一个非常热门的话题但目前最主流的分类工具仍然是决策树和神经网络。由著名的支持向量机研究者说出这番话显然有一种特殊的意味。
事实上目前神经网络的境遇与1965年之后真正的低潮期相比有明显的不同。在1965年之后的很长一段时期里美国和前苏联没有资助任何一项神经网络的研究课题而今天世界各国对神经网络的研究仍然有大量的经费支持1965年之后90%以上的神经网络研究者改变了研究方向而今天无论是国际还是国内都有一支相对稳定的研究队伍。实际上神经网络在1965年之后陷入低潮是因为当时该领域的研究在一定意义上遭到了否定而今天的相对平静是因为该领域已经走向成熟很多技术开始走进生产和生活从而造成了原有研究空间的缩小。
在科学研究中通常有这么一个现象当某个领域的论文大量涌现的时候往往正是该领域很不成熟、研究空间很大的时候而且由于这时候人们对该领域研究的局限缺乏清楚的认识其热情往往具有很大的盲目性。从这个意义上说过去若干年里各领域研究者一拥而上、各种专业刊物满眼“神经网络”的风光其实是一种畸形繁荣的景象而对神经网络的研究现在才进入了一个比较理智、正常的发展期。在这段时期中通过对以往研究中存在的问题和局限进行反思并适当借鉴相关领域的研究进展将可望开拓新的研究空间为该领域的进一步发展奠定基础。