人工智能科普(三)——人工智能的发展历程·下
AI基础百科

接《人工智能科普(三)——人工智能的发展历程·上》

平稳发展期(20世纪90年代—2010年)

由于互联网技术的快速发展,人工智能进一步走向实用化,各个相关领域都取得了长足进步。2000年代初,专家系统的局限性,需要编码广泛的显式规则,导致效率降低和成本增加。因此,人工智能研究的重点从基于知识的系统转向机器学习的方向。

  • 1995年,Cortes和Vapnik提出了支持向量机(SVM),它在解决小样本、非线性及高维模式识别等问题上表现出许多优势,并被推广应用到其他机器学习问题中。
人工智能科普(三)——人工智能的发展历程·下

支持向量机(Support Vector Machine, SVM)可以视为在感知机基础上的改进,是建立在统计学习理论的VC维理论和结构风险最小原理基础上的广义线性分类器。与感知机主要差异在于:1、感知机目标是找到一个超平面将各样本尽可能分离正确(有无数个),SVM目标是找到一个超平面不仅将各样本尽可能分离正确,还要使各样本离超平面距离最远(只有一个最大边距超平面),SVM的泛化能力更强。2、对于线性不可分的问题,不同于感知机的增加非线性隐藏层,SVM利用核函数,本质上都是实现特征空间非线性变换,使可以被线性分类。

人工智能科普(三)——人工智能的发展历程·下
  • 1995年,Freund和Schapire提出了AdaBoost算法,它是一种Boosting集成学习方法,通过串行组合多个弱学习器,以达到更好的泛化性能。
人工智能科普(三)——人工智能的发展历程·下

Adaboost迭代算法基本思想主要是通过调节的每一轮各训练样本的权重(错误分类的样本权重更高),串行训练出不同分类器。最终以各分类器的准确率作为其组合的权重,一起加权组合成强分类器。

  • 1997年,国际商业机器公司(IBM)的深蓝超级计算机战胜国际象棋世界冠军卡斯帕罗夫,这标志着在国际象棋等领域中,计算机取得了超越人类专家的成就。
  • 1997年,Sepp Hochreiter和Jürgen Schmidhuber提出了长短期记忆神经网络(LSTM),这种结构设计解决了在长序列训练中出现的梯度消失问题,为序列数据处理提供了有效的解决方案。
人工智能科普(三)——人工智能的发展历程·下

LSTM是一种复杂结构的循环神经网络(RNN),结构上引入了遗忘门、输入门及输出门:输入门决定当前时刻网络的输入数据有多少需要保存到单元状态,遗忘门决定上一时刻的单元状态有多少需要保留到当前时刻,输出门控制当前单元状态有多少需要输出到当前的输出值。这样的结构设计可以解决长序列训练过程中的梯度消失问题。

  • 1998年,万维网联盟的蒂姆·伯纳斯·李提出语义网(Semantic Web)的概念,旨在通过给予万维网上的文档以能被计算机理解的语义,实现更智能的信息交换。
  • 2001年,John Lafferty首次提出条件随机场模型(CRF),它在自然语言处理等任务中表现出色,是一种判别式概率图模型。
  • 2001年,布雷曼博士提出随机森林(Random Forest),它是一种集成学习方法,通过组合多个拟合较好且有差异模型来优化泛化性能。
人工智能科普(三)——人工智能的发展历程·下

随机森林算法的基本思路是对于每一弱学习器(决策树)有放回的抽样构造其训练集,并随机抽取其可用特征子集,即以训练样本及特征空间的多样性训练出N个不同的弱学习器,最终结合N个弱学习器的预测(类别或者回归预测数值),取最多数类别或平均值作为最终结果。

  • 2003年,David Blei、Andrew Ng和Michael I. Jordan提出了Latent Dirichlet Allocation(LDA),这是一种无监督方法,用于推测文档的主题分布。
人工智能科普(三)——人工智能的发展历程·下

LDA是一种无监督方法,用来推测文档的主题分布,将文档集中每篇文档的主题以概率分布的形式给出,可以根据主题分布进行主题聚类或文本分类。

  • 2003年,Google公布了3篇大数据奠基性论文,为大数据存储和分布式处理提供了理论基础,促进了现代大数据技术的发展。
人工智能科普(三)——人工智能的发展历程·下
  • 2005 年,波士顿动力公司推出一款动力平衡四足机器狗,有较强的通用性,可适应较复杂的地形。
  • 2006年,杰弗里·辛顿以及他的学生鲁斯兰·萨拉赫丁诺夫正式提出了深度学习的概念,这开启了深度学习在学术界和工业界的浪潮。
人工智能科普(三)——人工智能的发展历程·下

深度学习的概念源于人工神经网络的研究,它的本质是使用多个隐藏层网络结构,通过大量的向量计算,学习数据内在信息的高阶表示。

  • 2010年,Sinno Jialin Pan和Qiang Yang发表了《迁移学习的调查》,迁移学习成为一个重要的研究方向,其核心思想是利用已有的知识来学习新的知识,以适应特定的目标任务
人工智能科普(三)——人工智能的发展历程·下

迁移学习(transfer learning)通俗来讲,就是运用已有的知识(如训练好的网络权重)来学习新的知识以适应特定目标任务,核心是找到已有知识和新知识之间的相似性。

在互联网技术的驱动下,人工智能取得的成就引起了广泛的关注和兴趣,使人们对于人工智能技术的未来充满了希望和期待。这段时期的发展奠定了人工智能技术在21世纪的重要地位,为现代社会带来了巨大的变革和进步。

蓬勃发展期(2011年至今)

随着大数据、云计算、互联网、物联网等信息技术的迅猛发展,泛在感知数据和图形处理器等计算平台的推动,人工智能技术以深度神经网络为代表飞速发展,大幅跨越了科学与应用之间的技术鸿沟。图像分类、语音识别、知识问答、人机对弈、无人驾驶等人工智能技术取得了重大的技术突破,迎来了一波爆发式增长的新高潮。

  • 2011年:IBM Watson问答机器人赢得Jeopardy回答测验比赛,成为首个集成自然语言处理、知识表示、自动推理及机器学习技术的电脑问答系统。
  • 2012年:AlexNet神经网络模型在ImageNet竞赛中取得巨大成功,引爆了神经网络研究热情,标志着深度学习的兴起。
人工智能科普(三)——人工智能的发展历程·下

AlexNet是一个经典的CNN模型,在数据、算法及算力层面均有较大改进,创新地应用了Data Augmentation、ReLU、Dropout和LRN等方法,并使用GPU加速网络训练

  • 2012年:谷歌发布谷歌知识图谱Google Knowledge Graph,通过在字串搜索上叠加关系,提高搜索质量。
人工智能科普(三)——人工智能的发展历程·下

知识图谱是结构化的语义知识库,是符号主义思想的代表方法,用于以符号形式描述物理世界中的概念及其相互关系。其通用的组成单位是RDF三元组(实体-关系-实体),实体间通过关系相互联结,构成网状的知识结构。

人工智能科普(三)——人工智能的发展历程·下
  • 2013年:Durk Kingma和Max Welling提出变分自编码器(VAE),为生成模型开辟新的可能性。
人工智能科普(三)——人工智能的发展历程·下

VAE基本思路是将真实样本通过编码器网络变换成一个理想的数据分布,然后把数据分布再传递给解码器网络,构造出生成样本,模型训练学习的过程是使生成样本与真实样本足够接近。

  • 2013年:Google的Tomas Mikolov提出Word2Vec模型,引起工业界和学术界广泛关注。
人工智能科普(三)——人工智能的发展历程·下

Word2Vec基本的思想是学习每个单词与邻近词的关系,从而将单词表示成低维稠密向量。通过这样的分布式表示可以学习到单词的语义信息,直观来看,语义相似的单词的距离相近。

人工智能科普(三)——人工智能的发展历程·下

Word2Vec网络结构是一个浅层神经网络(输入层-线性全连接隐藏层->输出层),按训练学习方式可分为CBOW模型(以一个词语作为输入,来预测它的邻近词)或Skip-gram模型 (以一个词语的邻近词作为输入,来预测这个词语)。

人工智能科普(三)——人工智能的发展历程·下
  • 2014年:聊天程序“尤金·古斯特曼”首次通过图灵测试。
  • 2014年:Goodfellow等人提出生成对抗网络(GAN),被誉为近年来最酷炫的神经网络。
人工智能科普(三)——人工智能的发展历程·下

GAN是基于强化学习(RL)思路设计的,由生成网络(Generator, G)和判别网络(Discriminator, D)两部分组成, 生成网络构成一个映射函数G: Z→X(输入噪声z, 输出生成的伪造数据x), 判别网络判别输入是来自真实数据还是生成网络生成的数据。在这样训练的博弈过程中,提高两个模型的生成能力和判别能力。

  • 2015年:深度学习三巨头LeCun、Bengio和Hinton发布深度学习综述《Deep learning》。
人工智能科普(三)——人工智能的发展历程·下

《Deep learning》文中指出深度学习就是一种特征学习方法,把原始数据通过一些简单的但是非线性的模型转变成为更高层次及抽象的表达,能够强化输入数据的区分能力。通过足够多的转换的组合,非常复杂的函数也可以被学习。

  • 2015年:Kaiming He等人提出ResNet,在ImageNet竞赛中获得优胜。
人工智能科普(三)——人工智能的发展历程·下

残差网络(ResNet)的主要贡献是发现了网络不恒等变换导致的“退化现象(Degradation)”,并针对退化现象引入了 “快捷连接(Shortcut connection)”,缓解了在深度神经网络中增加深度带来的梯度消失问题。

  • 2015年:谷歌开源TensorFlow框架,广泛应用于机器学习算法的编程实现。
  • 2015年:马斯克等人共同创建OpenAI,推出产品如OpenAI Gym和GPT。
  • 2016年:谷歌提出联邦学习方法,允许在分散设备上训练算法,而不交换数据。
人工智能科普(三)——人工智能的发展历程·下

联邦学习保护隐私方面最重要的三大技术分别是: 差分隐私 ( Differential Privacy )、同态加密 ( Homomorphic Encryption )和 隐私保护集合交集 ( Private Set Intersection ),能够使多个参与者在不共享数据的情况下建立一个共同的、强大的机器学习模型,从而解决数据隐私、数据安全、数据访问权限和异构数据的访问等关键问题。

  • 2016年:AlphaGo战胜围棋世界冠军李世石,引发全球对AI的关注。
人工智能科普(三)——人工智能的发展历程·下

AlphaGo是一款围棋人工智能程序,其主要工作原理是“深度学习”,由以下四个主要部分组成:策略网络(Policy Network)给定当前局面,预测并采样下一步的走棋;快速走子(Fast rollout)目标和策略网络一样,但在适当牺牲走棋质量的条件下,速度要比策略网络快1000倍;价值网络(Value Network)估算当前局面的胜率;蒙特卡洛树搜索(Monte Carlo Tree Search)树搜索估算每一种走法的胜率。

人工智能科普(三)——人工智能的发展历程·下

在2017年更新的AlphaGo Zero,在此前AlphaGo版本的基础上,结合了强化学习进行了自我训练。它在下棋和游戏前完全不知道游戏规则,完全是通过自己的试验和摸索,洞悉棋局和游戏的规则,形成自己的决策。随着自我博弈的增加,神经网络逐渐调整,提升下法胜率。更为厉害的是,随着训练的深入,AlphaGo Zero还独立发现了游戏规则,并走出了新策略,为围棋这项古老游戏带来了新的见解。

  • 2017年:类人机器人索菲亚获得公民身份,展现面部表情和与人交互的能力。
  • 2018年:Google提出Bert模型,在NLP任务中取得state of the art的结果。
人工智能科普(三)——人工智能的发展历程·下

BERT是一个预训练的语言表征模型,可在海量的语料上用无监督学习方法学习单词的动态特征表示。它基于Transformer注意力机制的模型,对比RNN可以更加高效、能捕捉更长距离的依赖信息,且不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练,而是采用新的masked language model(MLM),以致能生成深度的双向语言表征。

  • 2019年:IBM推出Q System One,世界上第一个量子计算系统。
  • 2019年:AI帮助发现分子策略,解决传统新药开发中的难题。
  • 2020年:Google与Facebook分别提出无监督学习算法SimCLR和MoCo。
  • 2020年:OpenAI发布参数巨大的GPT-3,在多个NLP任务上取得最先进的性能。
  • 2020年:马斯克的Neuralink展示脑机接口设备实验。
  • 2020年:DeepMind的AlphaFold2成功解决蛋白质结构预测问题。
  • 2020年:中国科学技术大学潘建伟等人构建76个光子的量子计算原型机“九章”,速度超越传统超级计算机。
  • 2021年:OpenAI提出DALL·E和CLIP两个连接文本与图像的神经网络。
  • 2021年:德国Eleuther人工智能公司推出开源文本AI模型GPT-Neo。
  • 2021年:斯坦福大学研究人员开发用于打字的脑机接口系统。
人工智能科普(三)——人工智能的发展历程·下

用于打字的脑机接口(brain–computer interface, BCI),这套系统可以从运动皮层的神经活动中解码瘫痪患者想象中的手写动作,并利用递归神经网络(RNN)解码方法将这些手写动作实时转换为文本。相关研究结果发表在2021年5月13日的Nature期刊上,论文标题为“High-performance brain-to-text communication via handwriting”。

  • 2021年:AlphaFold 2 能很好地预判蛋白质与分子结合的概率,为我们展示了人工智能驱动自然学科研究的无限潜力
  • 2022年:ChatGPT出现,AI的想象迅速膨胀,展望未来。
人工智能科普(三)——人工智能的发展历程·下

人工智能的发展一直在探索着更广阔的未来。这些技术的应用领域越来越广泛,从语音识别、图像生成到蛋白质结构预测等,都在推动着人工智能与科学、工业、医学等领域的融合,为我们带来更多便利和可能性。同时,也面临着一些挑战和讨论,比如数据隐私、伦理问题等,需要社会各界共同探讨和解决。随着技术的不断发展,人工智能的未来充满了无限的可能性,我们拭目以待!

分享到:
0
0

发表回复

猜你喜欢
近期文章
生成式AI看起来很美,ROI怎么算
利用生成式AI推动创新 美国本田这样做
东方Project-个人AI绘画合集-8(更新至2024-2-14)
AI绘画(动物科普)—兔狲
12.28乾坤AI日报 — 2023年度十大科技名词发布
近期评论
ai-world发表在
AI赛博机车—借助SD技术赚取第一桶金
mulei77发表在
AI赛博机车—借助SD技术赚取第一桶金
An Vũ( CEO AGBIG GROUP)发表在
12.25乾坤AI日报 — 苹果正购买新闻采集权用于训练生成式 AI