2024-07-22 简讯 : Mistral 和 Nvidia
头条
Mistral 和 Nvidia 的新模型
https://mistral.ai/news/mistral-nemo/
Mistral Nemo 12B 是一个使用新标记器训练的多语言模型，具有强大的多语言和英语性能。它也支持 128k 上下文。
GPT-4o Mini
https://www.theverge.com/2024/7/18/24200714/openai-new-cheaper-smarter-model-gpt-4o-mini
GPT-4o Mini 是 OpenAI 推出的一款新型小型模型，旨在取代 GPT-3.5。它在 MMLU 上的得分为 82，对于廉价模型来说，这个分数是合理的。
Cohere 和富士通战略合作伙伴关系
https://cohere.com/blog/fujitsu-partnership
Cohere 和富士通宣布建立战略合作伙伴关系，以开发和提供具有业界领先日语能力的企业 AI 服务。这些服务将以安全和数据隐私为核心，提供私有云部署，为金融机构、公共部门和研发部门等高度监管行业的组织提供服务。
研究
使用语言映射超越传统的基于向量的 RAG
https://x.com/mutableai/status/1813815706783490055
检索是构建数据聊天应用程序的重要组成部分。但是，系统通常对检索内容的格式很敏感。构建内容的语言映射（例如，维基百科样式条目）并将其用于检索可显著提高基于聊天的性能。Mutable AI 将此用于代码库问答。
补丁级训练技术提高 LLM 的效率
https://arxiv.org/abs/2407.12665v1
研究人员提出对大型语言模型进行补丁级训练，以提高训练效率。
从传播模型中删除不适当的内容
https://arxiv.org/abs/2407.12383v1
可靠高效的概念擦除 (RECE) 是一种新颖的方法，只需 3 秒即可从传播模型中删除不适当的内容，而无需额外的微调。
工程
LLM2sh
https://github.com/randombk/llm2sh
LLM2sh 是一个命令行实用程序，它利用 LLM 将纯语言请求转换为 shell 命令。
使用图形神经网络的符号音乐任务
https://github.com/manoskary/graphmuse
GraphMuse 是一个新框架，旨在增强图形神经网络 (GNN) 在符号音乐任务中的使用。
使用 LLM 的通用多模态嵌入
https://github.com/kongds/e5-v
E5-V 是一个新框架，它采用多模态大型语言模型 (MLLM) 来创建通用多模态嵌入。它使用提示弥合了不同输入类型之间的差距，无需微调即可在多模态任务中实现令人印象深刻的性能。
杂七杂八
为机器学习面试制定准备策略
https://mlengineerinsights.substack.com/p/strategizing-your-preparation-for
机器学习面试可能具有挑战性。了解机器学习角色的范围并根据具体工作职责和专业化量身定制准备工作可以显著提高成功率。专注于掌握基础知识、研究公司特定的技术，并持续跟踪进度，以自信地应对面试。
使用 Abliteration 解除任何 LLM 的审查
https://research.google/blog/smart-paste-for-context-aware-adjustments-to-pasted-code/
Llama 模型出于安全考虑受到严格审查，限制了灵活性。“abliteration”技术通过识别和删除拒绝机制来解除审查，允许模型无需重新训练即可响应所有提示。
科学论文问答
https://arxiv.org/abs/2407.09413v1
SPIQA 是一个 QA 数据集，旨在帮助读者通过解释复杂的图形和表格来快速找到科研文章中的答案。
OpenAI 和 Broadcom 就生产 AI 芯片进行了讨论
Broadcom 已与 OpenAI 讨论构建新的人工智能服务器芯片。
克服当前 LLM 的局限性
https://seanpedersen.github.io/posts/overcoming-llm-limits
大型语言模型面临着幻觉、缺乏信心估计和缺乏引用等挑战。
Flow Studio
https://www.producthunt.com/posts/flow-studio
Flow Studio 可制作完整、电影品质的 3 分钟长视频，具有引人入胜的情节、一致的角色以及自动匹配的背景音乐和音效。
