数据科学简讯 2023-03-23
头条
Google 发布 Bard
它在这里！谷歌期待已久的语言模型服务游戏。 Bard 是 Lambda 的轻量级版本，Lambda 是几年前训练的 70B 参数的模型。他们花了很多努力使模型安全，并且避免胡说八道，我们将看到人们何时开始被添加到 wait list，如果这次 Google 能兑现承诺的话。
OpenAI 停止 Codex
自 2021 年以来一直处于免费测试阶段的 4 种流行编码模型集现已停产，取而代之的是 turbo 和 gpt-4 模型。虽然这些模型非常擅长编码。但研究界担心，淘汰这些模型将大大降低重现基于它们的先前研究的能力。
Adobe 的生成模型
Player 2 已经发布。 Adobe 为其 Firefly 模型集推出了私人测试版。在强大的视觉团队和重要数据的支持下，这家艺术巨头现在准备提供他们自己的生成图像模型。越来越多的人认为技术不那么重要，渠道仍然是王道，当两者结合时，我们将拭目以待！
研究
Google 提出SVDiff, 一种个性化的文本到图像扩散模型
谷歌的研究人员提出了一种称为 SVDiff 的新方法，以解决现有文本到图像扩散模型在个性化方面的局限性，包括过度拟合和低效的参数存储。 SVDiff 涉及对权重矩阵的奇异值进行微调，从而产生紧凑且高效的参数空间，从而降低过度拟合、语言漂移的风险，并具有明显更小的模型大小，使其在实际应用中更加实用。
Zero-1-to-3：Zero-shot 图像到 3D Object
Zero-1-to-3 是一个框架，用于从单个 RGB 图像更改对象的相机视点，使用条件扩散模型从合成数据集中学习相对相机视点的控制。这种方法对分布外数据集和野外图像（包括印象派绘画）显示出强大的零样本泛化能力，并且可用于从单个图像进行 3D 重建，优于最先进的模型利用互联网规模的预训练。
工程
我需要多少个 GPU 来训练我的模型？
简而言之，训练一个模型至少需要16*N（十亿参数）GB的集群内存。较大的集群可以加快收敛速度和训练时间，本文的方法是一种估量自己训练模型成本与性能的好方法。
GPTNeox 2.0 (GitHub Repo)
最好的、开放的、可用的模型并行训练库之一现在是最新的 deepspeed 版本。让这两个项目保持同步一直是一个挑战，现在将得到更多的关注。如果您想从头开始训练具有数十亿个参数的模型，那么这可能是适合您的存储库。
CLIP goes 3D (GitHub Repo)
CG3D 提出了一种框架，通过使用点云、渲染的 2D 图像和文本训练 3D 编码器，实现了零样本 3D 几何特征提取。对比损失（Contrastive loss）将特征对齐到多模态嵌入空间，并且可训练输入参数的提示微调（prompt tuning）克服了分布偏移问题。CG3D 展示了令人印象深刻的零样本、开放场景理解和检索能力，并作为下游 3D 识别任务的强起始权重（starting weight）。
杂七杂八
Nvidia H 系列芯片获得内存提升
大多数大型语言模型受限于芯片上的内存。这个新系列的芯片提供了188GB的芯片内存，令人惊叹。同时，这个芯片还拥有990 TFLOPS的计算能力，预计会更频繁地被用于训练和推理需要大量计算的模型。
人工智能与旅游行业的机遇
在这篇文章中，a16z 认为，旅游行业在从计划旅行到预订机票，再到旅途中的各个方面，都可以通过人工智能实现颠覆性的变革。生成式人工智能可以利用公共和私人旅行偏好、位置、交通和活动等方面的数据，提供洞察和建议。初创公司可以利用人工智能为旅行者提供灵感、行程规划、预订和旅途协助，创造更具有对话性和定制化的旅行体验。
减缓人工智能发展的理由
本文主张，我们在人工智能上的发展速度过快，也许减缓速度、更好地理解风险，才是人类最好的选择。
Bing 开放使用 DALL-E 创建图像
微软的 Bing 聊天机器人现在在搜索引擎中内置了一个由人工智能驱动的图像创建器。
AI Commits (GitHub Repo)
AI Commits 是一个 CLI 工具，它使用人工智能为你编写 Git 提交信息。
Awesome-Totally-Open-ChatGPT (GitHub Repo)
一个开源的 ChatGPT 替代品列表。
CanceledGPT (Product)
CanceledGPT是一个使用AI搜索和修改旧的攻击性推文的网站。
