人工智能科普(三)——人工智能的发展历程·上

在探寻未知的道路上,人工智能(AI)始终踏着曲折起伏的步伐,其发展历程可以概括为五个关键阶段:

  • 起步发展期(1943年—20世纪60年代)
  • 反思发展期(20世纪70年代)
  • 应用发展期(20世纪80年代)
  • 平稳发展期(20世纪90年代—2010年)
  • 蓬勃发展期(2011年至今)

文章内容较长分上下两篇,请耐心阅读或直接跳到您感兴趣的部分,本文素材图片内容来自相关论文资料

人工智能科普(三)——人工智能的发展历程·上

起步发展期(1943年—20世纪60年代)

人工智能概念的提出催生了符号主义和联结主义(神经网络)的研究。在这一时期,人工智能学科取得了一系列引人瞩目的研究成果,如机器定理证明、跳棋程序、人机对话等,掀起了人工智能发展的第一个高潮。

  • 1943年,神经科学家麦卡洛克和逻辑学家皮茨提出神经元的数学模型,为现代人工智能学科奠定了基石。
  • 1950年,艾伦·麦席森·图灵提出著名的“图灵测试”,开启了让机器产生智能的思想探索。
人工智能科普(三)——人工智能的发展历程·上
  • 1956年,达特茅斯学院举办了历史上第一个人工智能夏季研讨会,并正式使用了“人工智能(AI)”这一术语,标志着人工智能学科的诞生。
  • 1957年,弗兰克·罗森布拉特在IBM-704计算机上实现了“感知机”,是一种最简单形式的前馈式人工神经网络。
人工智能科普(三)——人工智能的发展历程·上

感知机可以被视为一种最简单形式的前馈式人工神经网络,是一种二分类的线性分类判别模型,其输入为实例的特征向量想(x1,x2…),神经元的激活函数f为sign,输出为实例的类别(+1或者-1),模型的目标是要将输入实例通过超平面将正负二类分离。

  • 1958年,David Cox提出了“logistic regression”,与感知机相似的线性分类判别模型,其激活函数为sigmoid,目标是极大化正确分类概率。
人工智能科普(三)——人工智能的发展历程·上

LR是类似于感知机结构的线性分类判别模型,主要不同在于神经元的激活函数f为sigmoid,模型的目标为(最大似然)极大化正确分类概率。

  • 1959年,Arthur Samuel明确定义了“机器学习”概念,即让计算机在没有显式编程的情况下具备学习能力。
  • 1961年,Leonard Merrick Uhr和Charles M Vossler尝试通过机器学习或自组织过程设计模式识别程序。
  • 1965年,古德发表了“AI威胁论”的先驱,对人工智能未来可能对人类构成威胁的问题进行了警示。
  • 1966年,Joseph Weizenbaum发布了“ELIZA”程序,可以使人与计算机进行自然语言对话。
  • 1967年,Thomas等人提出了“K最近邻算法”(KNN),用于分类问题。
人工智能科普(三)——人工智能的发展历程·上

KNN的核心思想,即给定一个训练数据集,对新的输入实例Xu,在训练数据集中找到与该实例最邻近的K个实例,以这K个实例的最多数所属类别作为新实例Xu的类别。

  • 1968年,爱德华·费根鲍姆提出首个专家系统“DENDRAL”,开创了专家系统的研究方向。
人工智能科普(三)——人工智能的发展历程·上

专家系统(Expert Systems)是AI的一个重要分支,同自然语言理解,机器人学并列为AI的三大研究方向。它的定义是使用人类专家推理的计算机模型来处理现实世界中需要专家作出解释的复杂问题,并得出与专家相同的结论,可视作“知识库(knowledge base)”和“推理机(inference machine)” 的结合。

  • 这一时期也引出了一些问题,如1969年马文·明斯基提出的单层感知器无法解决XOR线性不可分问题,导致神经网络研究进入了低潮期,需要引入更高维的非线性网络(如多层感知器-MLP)。
人工智能科普(三)——人工智能的发展历程·上

这些历史里程碑标志着人工智能从萌芽发展到起步探索,为未来人工智能蓬勃发展奠定了基础。

反思发展期(20世纪70年代)

初期的突破性进展提升了人们对人工智能的期望,但由于计算力和理论等方面的限制,人工智能的发展进入了低谷期

  • 1974年,沃伯斯博士首次提出了通过误差的反向传播(BP)来训练人工神经网络,但当时并未引起重视。这个算法的思想是用误差的梯度来调整权重,实现网络的万能近似功能。
人工智能科普(三)——人工智能的发展历程·上

BP算法的基本思想不是(如感知器那样)用误差本身去调整权重,而是用误差的导数(梯度)调整。通过误差的梯度做反向传播,更新模型权重, 以下降学习的误差,拟合学习目标,实现’网络的万能近似功能’的过程。

  • 1975年,马文·明斯基在论文《知识表示的框架》中提出了用于人工智能中的知识表示学习框架理论,对知识库的开发和使用提供了指导。
  • 1976年,斯坦福大学的肖特利夫等人完成了医疗专家系统MYCIN,用于血液感染病的诊断、治疗和咨询服务,展示了专家系统在医学领域的潜力。
  • 1976年,斯坦福大学的博士勒纳特发表论文《数学中发现的人工智能方法——启发式搜索》,描述了“AM”程序,通过启发式规则发现数学中的新概念和定理。
  • 1977年,海斯·罗思等人的基于逻辑的机器学习系统取得较大进展,但仅能学习单一概念,应用受限。
  • 1979年,汉斯·贝利纳打造的计算机程序战胜双陆棋世界冠军,成为标志性事件,展示了人工智能在棋类游戏中的潜力。

在这一时期,人工智能研究者开始认识到人工智能的局限性,计算力不足以支持复杂任务,而一些过于理想化的目标也难以实现。然而,这个时期的研究为后续的发展奠定了基础,尤其是反向传播算法的出现,为神经网络的未来崛起奠定了关键的技术基础。同时,专家系统的研究和机器学习等领域也在为人工智能发展的新阶段铺平道路。

应用发展期(20世纪80年代)

20世纪80年代是人工智能发展的应用发展期,取得了新的高潮。在这一时期,专家系统和机器学习(尤其是神经网络)成为主要的研究方向,并在实际应用中取得了重大突破。

  • 1980年,第一届机器学习国际研讨会在卡内基梅隆大学召开,标志着机器学习研究在全球范围内兴起。
  • 1980年,德鲁·麦狄蒙和乔恩·多伊尔提出非单调逻辑和后期的机器人系统,推动了机器人学科的发展。
  • 1980年,卡内基梅隆大学为DEC公司开发了名为XCON的专家系统,取得巨大成功,展示了专家系统在实际应用中的潜力。
  • 1981年,保罗出版了第一本机器人学课本,标志着机器人学科的成熟。
  • 1982年,马尔发表了代表作《视觉计算理论》,提出计算机视觉的概念,对认知科学产生深远影响。
  • 1982年,约翰·霍普菲尔德发明了霍普菲尔德网络,为神经网络领域带来了新的活力和兴趣。
人工智能科普(三)——人工智能的发展历程·上
  • 1983年,Terrence Sejnowski、Hinton等人发明了玻尔兹曼机,用于对输入数据进行重构以提取数据特征做预测分析。
  • 1985年,朱迪亚·珀尔提出贝叶斯网络,为人工智能的概率方法和因果推理理论发展做出贡献。
人工智能科普(三)——人工智能的发展历程·上

贝叶斯网络是一种模拟人类推理过程中因果关系的不确定性处理模型,如常见的朴素贝叶斯分类算法就是贝叶斯网络最基本的应用

人工智能科普(三)——人工智能的发展历程·上

贝叶斯网络拓朴结构是一个有向无环图(DAG),通过把某个研究系统中涉及的随机变量,根据是否条件独立绘制在一个有向图中,以描述随机变量之间的条件依赖,用圈表示随机变量(random variables),用箭头表示条件依赖(conditional dependencies)就形成了贝叶斯网络。 对于任意的随机变量,其联合概率可由各自的局部条件概率分布相乘而得出。如图中b依赖于a(即:a->b),c依赖于a和b,a独立无依赖,根据贝叶斯定理有 P(a,b,c) = P(a)*P(b|a)*P(c|a,b)

  • 1986年,罗德尼·布鲁克斯发表论文《移动机器人鲁棒分层控制系统》,标志着基于行为的机器人学科的创立。
  • 1986年,辛顿等人提出多层感知器(MLP)与反向传播(BP)训练相结合的理念,解决了单层感知器不能做非线性分类的问题,开启了神经网络的新高潮。
人工智能科普(三)——人工智能的发展历程·上
  • 1986年,昆兰提出ID3决策树算法,决策树模型具有良好的模型解释性,通过自顶向下的贪心策略构建决策树,根据信息增益来选择特征进行划分,递归地构建决策树。
人工智能科普(三)——人工智能的发展历程·上

决策树模型可视为多个规则(if, then)的组合,与神经网络黑盒模型截然不同是,它拥有良好的模型解释性。ID3算法核心的思想是通过自顶向下的贪心策略构建决策树:根据信息增益来选择特征进行划分(信息增益的含义是 引入属性A的信息后,数据D的不确定性减少程度。也就是信息增益越大,区分D的能力就越强),依次递归地构建决策树

  • 1989年,George Cybenko证明了“万能近似定理”,即多层前馈网络可以近似任意函数,消除了对神经网络表达力的质疑。这个定理视为神经网络的基本理论,表明给定足够数量的隐藏单元,前馈神经网络可以以任意精度来近似任何函数。
人工智能科普(三)——人工智能的发展历程·上

“万能近似定理”可视为神经网络的基本理论:⼀个前馈神经⽹络如果具有线性层和⾄少⼀层具有 “挤压” 性质的激活函数(如 sigmoid 等),给定⽹络⾜够数量的隐藏单元,它可以以任意精度来近似任何从⼀个有限维空间到另⼀个有限维空间的 borel 可测函数。

  • 1989年,LeCun结合反向传播算法与权值共享的卷积神经层发明了卷积神经网络(CNN),并首次成功应用于美国邮局的手写字符识别系统。卷积神经网络通常由输入层、卷积层、池化层和全连接层组成,其中卷积层用于提取图像的局部特征,池化层用于降低参数量级,全连接层用于输出结果。
人工智能科普(三)——人工智能的发展历程·上

卷积神经网络通常由输入层、卷积层、池化(Pooling)层和全连接层组成。卷积层负责提取图像中的局部特征,池化层用来大幅降低参数量级(降维),全连接层类似传统神经网络的部分,用来输出想要的结果。

在这一时期,专家系统的应用使得人工智能在特定领域取得了显著的成就,而机器学习的复苏和神经网络的崛起为人工智能的实际应用带来了新的可能性。这些成果奠定了人工智能未来进一步发展的基础,为更广泛的应用领域铺平了道路。

分享到:
0
0

发表回复

猜你喜欢
近期文章
利用生成式AI推动创新 美国本田这样做
东方Project-个人AI绘画合集-8(更新至2024-2-14)
AI绘画(动物科普)—兔狲
12.28乾坤AI日报 — 2023年度十大科技名词发布
12.26乾坤AI日报 — OpenAI公布2024年计划
近期评论
ai-world发表在
AI赛博机车—借助SD技术赚取第一桶金
mulei77发表在
AI赛博机车—借助SD技术赚取第一桶金
An Vũ( CEO AGBIG GROUP)发表在
12.25乾坤AI日报 — 苹果正购买新闻采集权用于训练生成式 AI