扫码阅读
手机扫码阅读

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

25 2024-09-29

我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。

查看原文:最强开源大模型Llama3深夜发布 - 世界不能没有Meta
文章来源:
数字生命卡兹克
扫码关注公众号

在AI界备受期待的Llama3模型终于发布,这一消息激起了业界的巨大关注,甚至被认为影响力不亚于GPT4.5。Meta公司,被认为是真正的“OpenAI”,其Llama模型是众多大型模型生态的基础。

Llama3模型已在其官网和huggingface平台上架,提供两个版本:8B和70B。与往常一样,Meta允许在特定条件下(月活跃用户不超过7亿)免费商用这些模型。

在跑分测试中,无论是8B还是70B版本的Llama3都显示出惊人的性能,全线秒杀同尺寸的竞争对手,其中8B版本甚至超越了Llama2的70B版本。Llama3 70B版本在对标其他顶尖模型如Gemini Pro 1.5和Claude3 Sonnet时表现出色,其分数证明了其强大的性能。

Llama3还进行了额外的高质量评估集测试,涵盖了12个关键用例。然而,模型存在两个局限:知识库更新只到2023年(7B到3月,70B到12月)和上下文长度限制在8K,这在当前大模型中显得较小。

Llama3在训练数据方面使用了超过15T的词库,是Llama2的七倍大,并且包含了四倍于Llama2的代码数量。预训练数据集还包含超过5%的非英语数据,涵盖30多种语言。Meta还在训练一个规模更大的400B模型,但这可能不会开源。

在官方网站和第三方平台上可以直接使用Llama3,也可以下载部署和微调。Llama3的中文能力相对较弱,需要社区的微调来改善。

在实际测试中,Llama3-8B在代码能力方面表现出色,解决了复杂的编程问题,这在Llama2中是不可能的。总的来说,Llama3是一个王炸级别的模型,被认为是目前最强的开源模型,再次证明了Meta在AI领域的领先地位。

同时,文章中也提到了吴恩达的生日,以及对OpenAI的GPT5的期待。

想要了解更多内容?

查看原文:最强开源大模型Llama3深夜发布 - 世界不能没有Meta
文章来源:
数字生命卡兹克
扫码关注公众号