百度文心大模型 4.0发布在即
AI新闻资讯

传百度文心大模型 4.0 正在加紧训练,即将发布,训练背后有哪些难点?文心大模型4.0会达到什么高度呢?经过更新的语言大模型是否能达到GPT4.0水平呢?值得期待。

百度文心大模型 4.0发布在即

根据财经媒体财联社的披露,百度的文心大模型4.0正在紧锣密鼓地进行训练,并已接近发布的状态。我也通过我自己的渠道去了解了下文心4.0的更多消息,其中包括底层架构、基础设施、训练数据集以及成本等关键信息,这些消息的可信度相当高!

百度文心大模型 4.0发布在即
我的AI绘画作品

先上结论

根据我了解到的消息,文心大模型4.0目前正在进行小流量测试,并且该模型的参数量,超过了目前已经公开发布的所有LLM语言大模型!这也是国内首次使用万卡集群进行训练的大型模型。

百度文心大模型 4.0发布在即
我的AI绘画作品

据小道消息传,与文心3.5相比,文心4.0的推理成本增加了很多,大约是8-10倍,看来训练大模型真是一个耗钱的事情,训练成本非常高昂。

百度文心大模型 4.0发布在即
我的AI绘画作品

如果这些爆料属实,那么这将是百度甚至是国内语言模型发展中的一个重要节点,真的是能够做到有望超越GPT-4!

百度文心大模型 4.0发布在即
我的AI绘画作品

史上最大参数模型?

根据我打探到的消息,文心大模型4.0的参数规模要大于目前所有公开发布参数的LLM,这意味着文心大模型4.0的参数规模预计能突破万亿级别。

单看这个参数量,很多人会觉得还好,毕竟根据目前揭秘的信息,GPT-4的参数量已经在1.8万亿左右。但根据爆料的消息进一步表示,文心大模型4.0仍然是一个单一模型,并没有采用GPT和很多其他大语言模型使用的混合专家模型(MoE)。

百度文心大模型 4.0发布在即
我的AI绘画作品

之前「天才黑客」乔治・霍兹就爆料,GPT-4之所以采用混合模型,是因为无法让模型的参数规模超过 2200 亿。OpenAI希望模型变得更好,但如果仅仅是训练时间更长,效果已经递减。

所以,如果百度能实现单一模型上的突破,模型能力是否也会有明显的提升,这个只能等真正发布之后来看了。

百度文心大模型 4.0发布在即
我的AI绘画作品

这么大参数量的模型,对算力要求注定不会小。现在的消息是,文心4.0是在万卡AI集群上训练出来的,应该也算上是国内首次使用万卡规模集群进行训练的大语言模型。

万卡集群是怎样的概念呢?之前只有华为和阿里透露已经建成万卡AI集群,但我们尚未见到基于该集群推出的具体模型。

百度文心大模型 4.0发布在即
我的AI绘画作品

这说明建设万卡集群并非易事,而要充分发挥其作用更加困难。据消息分析,正是因为百度飞桨的深度联合,才能高效地基于万卡集群训练起如此规模的模型。

成本激增

根据消息源透露,文心4.0不仅训练成本在增加,推理成本也比3.5增加很多,虽然我还没有听说具体每千token的推理成本,但据传大概是此前的8-10倍,这还是在高利用率(MFU)的情况下。如果利用率更低,估计成本还会继续增加。

百度文心大模型 4.0发布在即

不得不说,大模型真的很费钱。打造领先的底层基础打模型,就是一场巨头的游戏!

最后,根据我打探到的内部员工的说法,百度实际上已经开始秘密小流量测试文心大模型4.0,有小部分文心一言用户在使用的已经是最新的模型版本。我觉得这个说法比较靠谱,其实也可以从最近技术社区上的一些爆料上看出一点端倪。

百度文心大模型 4.0发布在即
我的AI绘画作品

说不定,你现在在文心一言上提问,用的就是文心大模型4.0了。就是不知道生成的结果是否能跟GPT-4一战。

结语

百度文心大模型 4.0发布在即
我的AI绘画作品

最后再次强调,以上并非官方信息,是我根据各个消息源整合的内容,大家要自行判断其准确性,或者,让我们期待17号百度大会现场的公布吧!

分享到:
0
0
评论 1 文明上网理性发言,请遵守《乾坤AI用户评论服务协议》
  1. 现在别说一战了,上一个牌桌的可能都不大,百度的AI,差ChatGPT可能在一年以上

发表回复

猜你喜欢
近期文章
生成式AI看起来很美,ROI怎么算
利用生成式AI推动创新 美国本田这样做
东方Project-个人AI绘画合集-8(更新至2024-2-14)
AI绘画(动物科普)—兔狲
12.28乾坤AI日报 — 2023年度十大科技名词发布
近期评论
ai-world发表在
AI赛博机车—借助SD技术赚取第一桶金
mulei77发表在
AI赛博机车—借助SD技术赚取第一桶金
An Vũ( CEO AGBIG GROUP)发表在
12.25乾坤AI日报 — 苹果正购买新闻采集权用于训练生成式 AI