2024-03-02 简讯 : Meta LLama 3 模型计
头条
Meta LLama 3 模型计划于 7 月推出
https://www.reuters.com/technology/meta-plans-launch-new-ai-language-model-llama-3-july-information-reports-2024-02-28/
据报道，Meta 的 Llama 团队仍在致力于调整，以使模型可以表现的更好。
Modal 添加了 websocket
https://modal.com/blog/websocket-launch
大多数无服务器 GPU 产品需要每个模型推理一个 POST 请求。 然而，如果想要流式传输模型输出，这是一个挑战。 Websocket 使流式传输成为可能。
蒂姆·库克表示苹果将在生成人工智能领域“开辟新天地”
https://www.macrumors.com/2024/02/28/tim-cook-apple-generative-ai-break-new-ground/
苹果首席执行官蒂姆·库克在公司年度股东大会上宣布，公司计划于 2024 年在生成式人工智能领域取得新突破，为用户带来变革机会。
研究
视频作为现实世界决策的新语言
https://arxiv.org/abs/2402.17139
这篇令人惊叹的论文将视频视为人工智能与人类用户交互的潜在更好方式。 它展示了如何将视频模型用作规划器、代理、计算引擎和环境模拟器。
1Bit LLMs
https://arxiv.org/abs/2402.17764
大多数语言模型使用 16 位或更多位来表示模型中的参数。 这会产生强大的模型，但运行成本可能很高。 这项工作提出了一种每个参数使用 1.58 位的方法 - 每个参数位于 {-1, 0, 1} 中。 此方法将性能精确匹配到 3B 参数。 尚未发布任何代码或模型。
增强人工智能模型的视觉感知
https://arxiv.org/abs/2311.06783v1
这项研究的重点是在低级视觉感知任务中推进 GPT-4V 等多模态基础模型。 这项大规模实验收集了来自 58,000 人的 18,973 张图像的反馈，并创建了 Q-Pathway 数据集来分析清晰度、颜色和亮度。
工程
使用图扩散策略优化的药物设计 (GitHub Repo)
https://github.com/sail-sg/gdpo
图扩散策略优化使用独特的强化学习技术增强了药物设计的图生成模型。 这种方法在创建复杂多样的图形结构方面有望提供更好的性能，并可以在该领域树立新的标准。
LLM通过双块注意力处理 100K tokens
https://github.com/hkunlp/chunkllama
双块注意力 (DCA) 扩展了 Llama2 70B 等大型语言模型的功能，使它们无需额外训练即可处理超过 100k 个标记。 它将注意力计算分解为多个块，增强模型对短期和长期上下文的理解。
用于比对数据收集的 Distilabel 框架 (GitHub Repo)
https://github.com/argilla-io/distilabel
Distilabel 是一个专为 AI 工程师设计的框架，它使用人类反馈强化学习 (RLHF) 相关方法（例如奖励模型和 DPO）来调整大型语言模型。 它主要侧重于LLM的微调和适应。 Distilabel 协助数据收集、清理和培训。
杂七杂八
StarCoder v2
https://huggingface.co/bigcode/starcoder2-15b
Big Code 项目发布了其旗舰编码模型的另一个版本。 该模型具有 16k 上下文窗口，并在 4T 令牌上进行训练。 它的性能很强，但仍低于 DeepSeek 编码器。
从异构图学习
https://higpt-hku.github.io/
HiGPT 是一种跨不同异构图学习的方法，无需进行微调。 它与新颖的图形分词器和大量图形指令的集成使其能够出色地适应各种数据分布。
多模式知识蒸馏的网上购物
https://arxiv.org/abs/2402.17188v1
PromptMM 通过使用多模态知识蒸馏改进了 Amazon 和 TikTok 等平台上的推荐系统。 它解决了用户偏好的不准确问题，并通过从各种内容类型（视觉、文本或声音）中提取重要特征来简化系统，以防止过度拟合。
DPO 鼓励描述性 (GitHub Gist)
https://gist.github.com/vwxyzjn/64d91ce0b66b0548f1d2c33e855d168c
使用 TRL 设置的最小代码，用于调整模型以使其更具描述性。
ML 编码的形状后缀
https://medium.com/@NoamShazeer/shape-suffixes-good-coding-style-f836e72e24fd
Character AI 的编码风格极大地提高了张量形状的可读性。
Adobe 生成式 AI 文档和 PDF 工具
https://www.adobe.com/acrobat/generative-ai-pdf.html
Adobe Acrobat 的全新 AI 助手可以查询文档以获取归属地答案、创建文档摘要、提供建议问题列表以获得更深入的见解、协助起草满足各种通信需求的内容，并提供大纲和要点，以便用户可以快速浏览重要文档信息 。
