扫码阅读
手机扫码阅读

结合Transformer与Mamba,Jamba来了!

28 2024-09-29

我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。

查看原文:结合Transformer与Mamba,Jamba来了!
文章来源:
啥都会一点的研究生
扫码关注公众号
Article Summary

Grok 重大升级

Elon Musk的人工智能初创公司X.ai推出了Grok-1.5,这是Grok聊天机器人的一次重大升级。新模型具有更强大的推理能力,特别是在编程和数学任务上。它还能处理更长、更复杂的输入,具有高达128,000个标记的上下文窗口。目前正在由X的早期用户测试,并计划后续推广。

结合Transformer与Mamba,Jamba来了

AI21 Labs发布了基于Mamba架构的Jamba,这是一个结合了Transformer模型和Mamba SSM优势的生产级AI模型。Jamba具有混合架构,优化了内存、吞吐量和性能。它在基准测试中展示了卓越的性能,将以Apache 2.0许可证公开发布,并可通过NVIDIA API目录获取。

谷歌DeepMind的AI生成数据检查器

谷歌DeepMind开发的Search-Augmented Factuality Evaluator(SAFE)系统在评估大型语言模型生成信息的准确性方面,表现优于人类。SAFE的成本效益显著,比人类检查员便宜20倍,尽管其“超人类”的表现仍有争议。

情感与AI结合:Hume AI的EVI

Hume AI推出了Empathic Voice Interface(EVI),这是一个新型对话AI。EVI能理解用户的语调,并在交互中加入情感智能。它还能准确检测对话的结束,处理中断,并通过学习用户反应来逐步改进。

Claude 3 Opus击败GPT-4

Anthropic的Claude 3 Opus在Chatbot Arena排行榜上超越了OpenAI的GPT-4,成为评价最高的聊天机器人。它的低成本和中档模型也表现出色。OpenAI仍占主导地位,但Anthropic的进展以及传闻中的GPT-4.5或GPT-5模型,显示了竞争态势。

DBRX成为世界上最强大的开源LLM

Databricks发布了DBRX系列,这是一系列开源大型语言模型,为性能和效率设定了新标准。这些模型在计算效率上比其他领先的LLM高出2倍,在多个行业基准上优于GPT-3.5,尽管仍落后于GPT-4。

Stability AI CEO离职与新LLM发布

Stability AI的CEO Emad Mostaque辞职,专注于去中心化人工智能,并推动透明和分布式治理。公司任命临时联合CEO,同时在混乱中寻找永久替代者。同时,Stability AI推出了新的Instruction-tuned LLM,Stable Code Instruct 3B,声称在多个方面优于竞争对手。

Zoom推出现代AI协作平台

Zoom推出了Zoom Workplace AI协作平台,集成了多种工具以提高团队合作效率。该平台引入了超过40个新功能,并提供了定制选项和AI-powered的业务服务,简化了工作流程并促进了团队协作。

想要了解更多内容?

查看原文:结合Transformer与Mamba,Jamba来了!
文章来源:
啥都会一点的研究生
扫码关注公众号