2024-02-23 简讯 : GPT-4 知识更新至 2023
头条
GPT-4 知识更新至 2023 年 12 月
https://platform.openai.com/docs/models/overview
根据 OpenAI 平台上的新文档，GPT-4 模型的训练数据已更新，包含截至 2023 年 12 月的信息。
软银创始人孙正义计划为新芯片企业筹集 1000 亿美元
https://www.msn.com/en-us/money/companies/softbank-founder-masayoshi-son-aims-to-raise-100-billion-for-new-chip-venture-izanagi/ar-BB1iq42h
孙正义的软银集团公司正在推出 Izanagi，这是一家价值 1000 亿美元的芯片企业，旨在与 Nvidia 竞争并专注于人工智能应用。
Scribe B 轮融资 2500 万美元
https://scribehow.com/library/series-b-announcement
Scribe 已筹集了由 Redpoint Ventures 领投的 B 轮融资，以加速其人工智能驱动平台的发展，该平台可自动创建可视化分步指南并促进组织内的知识共享。 超过 100 万个团队使用 Scribe，其中包括财富 100 强企业中 97% 的团队。该公司正在扩展其 AI 功能，以使工作场所信息更易于访问。
研究
生成表征指令调优
https://arxiv.org/abs/2402.09906
Contextual 团队训练并发布了一个可以生成文本和嵌入的模型。 它的性能显着优于单一专业模型。 该模型是对多模态趋势的有趣诠释，其中输出模态是嵌入。
深度剖析：曼巴的艰难之路
https://srush.github.io/annotated-mamba/hard.html
Sasha Rush 发布了一个带注释的教程，用于使用自定义 Triton 内核加速 Mamba。 由于 Triton 编译器中的错误，它还无法扩展，但它是该技术的极端例证，对于那些希望深入研究状态空间 Transformer 替代世界的人来说非常有用。
使用 LoRA+ 增强微调.
https://arxiv.org/abs/2402.12354v1
本文提出了 LoRA+，它是对现有低秩适应 (LoRA) 方法的改进，用于微调大型模型。 LoRA+ 通过对过程中的关键组件使用不同的学习率，在不增加计算需求的情况下实现了更好的性能和更快的微调。
工程
只需 4 张图片即可生成 3D 对象 (GitHub Repo)
https://github.com/GaussianObject/GaussianObject
该存储库允许您拍摄四张图像，并使用高斯溅射将它们转换为高质量的 3D 表示。
生成任意分辨率的图像 (GitHub Repo)
https://github.com/whlzy/fit
灵活视觉转换器 (FiT) 是一种新颖的架构，旨在创建任何分辨率和纵横比的图像。 与传统模型不同，FiT 将图像视为可变大小的标记序列，使其能够在训练和推理过程中更有效地适应不同的图像大小。
增强人工智能对对抗性攻击的防御 (GitHub Repo)
https://github.com/chs20/robustvlm
该项目引入了一种新方法来增强 OpenFlamingo 和 LLaVA 等多模态模型抵御视觉对抗攻击的能力。 通过以无监督的方式微调 CLIP 视觉编码器，作者有效地保护了这些模型免受操纵图像攻击，从而增强了它们在实际应用中的可靠性和安全性，而无需重新训练整个模型。
杂七杂八
新的LLM基准
https://nicholas.carlini.com/writing/2024/my-benchmark-for-large-language-models.html
杰出研究员 Nicholas Carlini 发布了他用于评估大型语言模型性能的基准。 有趣的是，它的 GPT-4 比大多数其他基准测试更领先。
加速未来的战略
https://www.oneusefulthing.org/p/strategies-for-an-accelerating-future
AI 领域的最新进展，特别是 Google 的 Gemini 提供了超过 100 万个Token的上下文窗口，以及 Groq 的硬件实现了 GPT-3.5 模型几乎即时的响应，这标志着实际 AI 应用的重大飞跃，并强调了领导者理解和理解的紧迫性。
如何在生成人工智能中失败
https://medium.com/@sanguit/how-to-lose-at-generative-ai-2e6e6c20fecf
生成式人工智能虽然被大肆宣传，但可能会让大多数初创公司感到失望，因为它有利于拥有数据优势、现有工作流程以及无需大修即可将人工智能集成到现有业务中的企业。 尽管风险资本流入 GenAI 领域，但专注于工作流程层的快速工程和用户体验改进的初创公司本质上是在为现有企业做嫁衣，这些企业可以轻松采用人工智能创新并将其集成到其主导平台中，这表明对于旨在实现这一目标的初创企业来说，未来的道路充满挑战。
BoCoEL (GitHub Repo)
https://github.com/rentruewang/bocoel
使用贝叶斯优化准确评估LLM。
亚马逊 AGI 团队称他们的人工智能正在展现“新兴能力”
https://futurism.com/the-byte/amazon-researchers-ai-emergent
Amazon AGI 研究人员开发了一种名为“具有紧急能力的大自适应流式 TTS”(BASE TTS) 的语言模型，该模型在对话文本中显示“最先进的自然度”，展示了未经专门训练的语言技能。
AdGen AI
https://www.producthunt.com/posts/adgen-ai
AdGen AI 直面传统广告制作的混乱局面，提供了简化的、人工智能驱动的解决方案。 在几分钟内从单个网址生成 100 多个广告变体。
