2024-02-29 简讯 :
头条
苹果取消自动驾驶汽车项目
https://www.theverge.com/2024/2/27/24084907/apple-electric-car-project-titan-shuts-down
经过十年的努力和数十亿美元的投入,苹果公司取消了制造汽车与特斯拉竞争的失败尝试。 许多员工预计将转向生成式人工智能项目。
伯克利函数调用排行榜
https://gorilla.cs.berkeley.edu/blogs/8_berkeley_function_calling_leaderboard.html
该排行榜旨在评估模型在函数调用任务上的能力。
研究
ChatMusician
https://arxiv.org/abs/2402.16153
音乐理解通常依赖于向语言模型添加特定于模态的编码器。 这是昂贵且不稳定的。 这项工作发现,当音乐被标记为 ABC 记谱法时,音乐理解力显着提高,而不会影响基本语言能力。
MegaScale
https://arxiv.org/abs/2402.15627
字节跳动开发了一个名为 MegaScale 的系统,可用于训练大规模并行大型语言模型。 它成功地在 12,288 个 GPU 上训练了 175B LLM,模型 FLOP 利用率 (MFU) 为 55.2%,这是非常令人印象深刻的。 字节跳动计划开源代码库的某些方面。
通过高级重排序进行信息检索
https://arxiv.org/abs/2402.15838v1
ListT5引入了一种前沿的重排序方法,不仅提高了信息检索的精度,还为之前列表重排序所面临的挑战提供了有效的解决方案。
工程
自动驾驶中的 3D 物体检测 (GitHub Repo)
https://github.com/Bosszhe/EMIFF
EMIFF 是一种基于摄像头的创新 3D 检测框架,用于车辆-基础设施协作目标检测。 它使用多尺度交叉注意和相机感知通道遮蔽来纠正相机异步造成的姿势错误。
合并多个 LLM 的优点 (GitHub Repo)
https://github.com/fanqiwan/fusellm
FuseChat 引入了一种创新方法,将各种大型语言模型的优势融合到一个更强大的模型中,而无需从头开始进行高昂的训练成本。
使用 ShieldLM 实现安全LLM (GitHub Repo)
https://github.com/thu-coai/shieldlm
ShieldLM 是一款适用于大型语言模型的安全检测器,符合人类安全标准,提供可定制的检测并解释其决策。
杂七杂八
Databricks、Anyscale 和 Microsoft 的十大人工智能见解
https://foundationcapital.com/ten-ai-insights-from-databricks-anyscale-and-microsoft
本文报道了对人工智能前沿公司创始人的采访,涵盖了他们对 AGI 出现的看法、如何看待LLM,以及创始人如何在其产品中应用人工智能的简单策略。
MobiLlama (GitHub Repo)
https://github.com/mbzuai-oryx/MobiLlama
MobiLlama 是一个完全开源、透明的小型语言模型,适用于移动设备。 对于 0.5B 参数的小型模型来说,它的性能非常出色 - 甚至优于一些较大的模型。
提高效率的量化语言模型
https://arxiv.org/abs/2402.05445v1
IR-QLoRA 是一种新方法,可以提高量化大型语言模型的准确性,使它们更适合在资源有限的设备上使用。
富有表现力的人形机器人
https://expressive-humanoid.github.io
加州大学圣地亚哥分校的研究人员对人形机器人策略进行了训练,使其更具表现力、更倾向于社交且更稳健。 他们在草地上未经编排的舞蹈视频令人印象深刻。
Simulatrex (GitHub Repo)
https://github.com/simulatrex/simulatrex-engine
Simulatrex 是一个专注于基于代理的生成建模 (GABM) 的开源项目。 它利用大型语言模型进行更准确的模拟。
BookPecker (Product)
https://www.bookpecker.com
使用人工智能把每本书总结为 5 个要点, 已经有14,509 本书。