预测式人工智能

以前的AI主要是根据数据做预测

例如：

• 预测X光片子有肿瘤迹象
• 贷款人是否会拖欠

---

生成式AI

• 创造新数据
• 创造类似于训练集的数据

---

预测和生成底层机制相同

“When it comes to the actual machinery underlying generative AI and other types of AI, the distinctions can be a little bit blurry. Oftentimes, the same algorithms can be used for both,” says Phillip Isola, an associate professor of electrical engineering and computer science at MIT, and a member of the Computer Science and Artificial Intelligence Laboratory (CSAIL).

---

早期生成式模型 - 马尔可夫链

• In machine learning, Markov models have long been used for next-word prediction tasks, like the autocomplete function in an email program.
• In text prediction, a Markov model generates the next word in a sentence by looking at the previous word or a few previous words. But because these simple models can only look back that far, they aren’t good at generating plausible text, says Tommi Jaakkola

---

数据量

• 以前针对一个特定数据集训练。
• 现在通常是非常大的数据集

---

模型

---

GAN

• 2014年的GAN
• 一个模型生成、一个模型判别真假。对抗中进步。
• 例如：StyleGAN

---

扩散模型

• 一年以后由斯坦福和伯克利学者提出
• 通过迭代refine其输出，这种模型能生成类似于训练集中数据的新数据。
• 可以生成逼真的照片。
• 例如：用于 文字生成图像 的 Stable Diffusion

---

Transformer

• 2017年google提出transformer，用于大型语言模型。
• 例如：ChatGPT
• 把文字编码成token，然后生成注意力地图，（地图）捕捉了每个token与其他token之间的关系。

---

token

• 把输入转换为一组token。token是一组数据的数值表示。
• What all of these approaches have in common is that they convert inputs into a set of tokens, which are numerical representations of chunks of data.
• 这是通用CPU处理任何数据的统一方法。
• but it is really getting closer to the way a general-purpose CPU can take in any kind of data and start processing it in a unified way

---

广泛用途

• Isola的小组 生成训练数据
• Jaakkola的小组用AI设计蛋白质结构或者新材料的晶体结构。

---

不适用于所有数据类型

• 结构化的数据。例如电子表格。传统机器学习方法更好。
• 它们的最高价值是成为人性化的人机交互界面。

---

需要注意警惕

• 电话问卷调查。机器代替人工，造成失业。
• 继承并滋长训练数据中的歧视
• 剽窃、版权问题

---

empower艺术家

---

未来

• 生成制造椅子的方案计划