Meta训练Llama 3,或成为免费、开源的GPT 4?
AI新闻资讯

据称,Meta正在开发一款比GPT4更强大的人工智能大模型Llama3,并且计划将其开源并免费提供使用。

根据人工智能新闻网站the decoder的报道,这一消息是在Meta组织的Generative AI Group社交活动中,OpenAI工程师兼前谷歌大脑工程师Jason Wei无意中听到的。

Wei表示,他注意到Meta现在有足够的计算能力来训练Llama3和Llama4。Llama3计划达到GPT-4的性能水平,但仍将免费提供。

Meta训练Llama 3,或成为免费、开源的GPT 4?

然而,目前还没有关于Llama3何时发布甚至是否发布的官方声明。从今年2月发布的Llama1到7月的Llama2,Meta花了大约五个月的时间。

值得一提的是,GPT-4具有比Llama标准版更复杂的架构。文章指出,GPT-4可能通过采用更复杂的专家混合架构来实现其高性能,该架构包括16个专家网络,每个网络约有1110亿个参数。

因此,从Llama 2升级到Llama 3可能不仅仅是简单的扩展,而且可能需要更长的时间,相比从Llama 1升级到Llama 2。

Llama2在某些应用中达到了GPT-3.5的水平,并且还通过微调和额外功能由开源社区进行优化。

例如,最近发布的基于Llama2的CodeLlama,在Human Eval编码基准测试中通过微调取得了与GPT-3.5和GPT-4相媲美的结果(根据测量类型而定)。

然而,在关于Llama2的论文中,Meta自己指出,与GPT-4和谷歌的PaLM-2等闭源模型相比,仍存在巨大的性能差距。

所以可以说,Llama2在某些方面达到了GPT-3.5的水平,但与最先进的闭源模型GPT-4相比,仍存在明显的差距。它主要的优势在于其开源性,即允许研究人员和开发者基于它进行调优和创新。

据英国《金融时报》报道,Meta公司计划开发Llama模型,旨在挑战OpenAI在大型语言模型(LLM)市场的主导地位。Meta可能会将Llama模型作为LLM市场的支持技术,类似于谷歌在移动市场上推出Android并随后推出更多产品的做法。此外,Meta还从开源社区模型的快速开发中获益。

OpenAI首席执行官Sam Altman在6月上旬表示,GPT-5的训练发布还有很长的路要走。谷歌计划在今年年底或明年初推出下一代多模态LLM Gemini。

分享到:
0
0

发表回复

猜你喜欢
近期文章
利用生成式AI推动创新 美国本田这样做
东方Project-个人AI绘画合集-8(更新至2024-2-14)
AI绘画(动物科普)—兔狲
12.28乾坤AI日报 — 2023年度十大科技名词发布
12.26乾坤AI日报 — OpenAI公布2024年计划
近期评论
ai-world发表在
AI赛博机车—借助SD技术赚取第一桶金
mulei77发表在
AI赛博机车—借助SD技术赚取第一桶金
An Vũ( CEO AGBIG GROUP)发表在
12.25乾坤AI日报 — 苹果正购买新闻采集权用于训练生成式 AI