人工智能时代设计工具的重新思考(AI+Design)

https://medium.com/artists-and-machine-intelligence/rethinking-design-tools-in-the-age-of-machine-learning-369f3f07ab6c

# Never miss a story on Artist and Machine Learning on Medium

它们是：新兴功能集，通过探索设计，按描述设计，过程组织和会话界面。

我认为这些想法有可能简化设计流程，而不需要从设计师那里获得创造性的控制。

但是，更令人兴奋的是，这些机制将使设计师能够将他们的全部重点放在设计工作本身上，而不是学习如何将他们的想法映射到特定工具的组织方式。

换句话说，设计师将领导该工具，而不是其他方式。

1.新兴功能集

当设计师坐下来制作设计时，也许他们对最终产品有一个确切的描述，也许他们没有。

在任何一种情况下，他们都需要通过发现将空白画布转换为最终产品的一系列组件工具操作来找到最终产品。

这让我想起了一句名言：

“每块石头里面都有一尊雕像，这是雕塑家发现它的任务。” - [归因于]米开朗琪罗

我喜欢这个引用，因为它将艺术和设计过程作为一种搜索的框架。

一块大理石具有一定的混凝土边界，并且在这些边界内同时存在无数可能的雕塑。艺术家的工作就是发现大海捞针 - 这是满足一系列特定要求的特性组合。

这很像一位正在寻找新分子或寻找新味道组合的厨师的化学家。

确定的用户可以找到到达目的地的蜿蜒路径。

但是，如果在用户的脑海里，那个目的地的确切属性未被提前完全阐明，那么他或她就不可能在那里有机地导航。

因此，尽管高级别工具可能仅使地图的小区域完全无法访问，但其搜索空间的碎片使得实际上无法访问更大的区域。

从这个意义上说，消费者级别的设计工具不能延伸人的范围，他们迫使我们的创造性探索变成狭窄的通道。

如果我们想要保持创造性的自由，我们似乎需要坚持低级操作或产生大量的高级特性，这些高级特性将覆盖更广泛的可能用例，但也会牺牲工具词汇的简洁性。

A determined user may find a winding path to their destination.

But if the exact properties of that destination are not fully articulated ahead of time in the user’s mind, it is unlikely that he or she will navigate there organically.

机器学习使我们能够通过观察他们的行为来推断关于用户的大量信息以及他们希望达到的目标。

与其试图通过预先构建的高级功能集来预测设计者的需求，我们可以创建工具来学习设计者对软件的参与。

在过去几年中，一种名为“递归神经网络”的机器学习系统已被证明是特别擅长学习连续模式。这些系统已经应用于诸如预测一串文本中的下一个字符或者一段音乐中的下一个音符之类的任务。

可以采用递归神经网络来发现常用的低级特征序列，并动态合成与设计者当前活动相关的特定功能，而不是围绕一组不变的预构建的高级特征构建设计工具。

自定义高级功能的自动生成中使用的行为模式可以从个体设计师或许多设计师处开采。

The behavioral patterns used in the automated production of custom high-level features can be mined from individual designers or across many designers.

有点像推荐系统，根据用户喜好的相似性来推荐音乐或电影，可以利用众多设计师的模式发现，根据他或她倾向于使用的工作流程向个人建议相关特征。

这将允许工具制造商更好地解决设计人员的多样性问题，以及他们消化信息，制定决策和与软件交互的多种方式。

它将使工具制造商能够满足设计师需求，而不是要求他们适应由更传统的静态功能集提供的单一预先授权的思维或工作流程。

通过推断许多用户的行为模式，工具制造者可以更好地理解系统内提供的功能之间的隐含关系。

这将为工具制造商提供有关如何改进软件的重要见解。

通过采用这种方法，工具制造者的角色将从高级功能的整体管理转向更细化的界面元素。

从预设的规则系统和接口到隐式智能生成的移动，意味着工具制造商将放弃对软件某些方面的某种控制。

但是，这样做可以使设计人员解决工具制造者尚未明确预期的任务。

2.通过探索设计

每个人都有一种天生的美学和设计感 - 感受愉悦或有用的东西。

但是我们很多人缺乏将这些直觉应用于设计领域的实际创意产出的词汇，方法论或信心，而我们以前没有经验。

设计工具不仅应该帮助我们在我们已经了解的领域执行设计，还应该帮助我们在新设计领域建立专业知识。

如果我们要在街上随机抽样，给他们一张空白的纸，并要求他们设计理想的客厅，许多人不知道从哪里开始。

但是，如果我们让他们访问Pinterest并要求他们通过挑选他们喜欢的元素来设计客厅，那么很多人在这项任务上会有更容易的时间。

这个“当我看到它时知道”的敏感性可以形成一个强大的机制来推动我们与设计工具的交互。

用户不需要记住在复杂菜单系统中附加到某个模糊函数名称的行为。相反，他们可以看到应用到场景副本的行为，并决定他们是否喜欢它。

此前，我们研究了二维搜索空间的二维可视化。虽然范围有限，但这种可视化为设计提供了一种直观而细致的机制。用户只需指向一个位置即可到达搜索空间边界内的任何可能的设计。

这种空间组织还使用户能够在搜索空间内为给定翻译的效果建立清晰的心理模型。

当然，很少有真实世界的设计问题仅由两个可变性轴组成。但是，通过使用所谓的“降维”机器学习系统，可以产生高维特征空间的低维地图。

在上面的动画中，我已经将一组叶轮廓的图像呈现给维度降低系统。

随着训练过程的展开，算法重新配置每个叶子在二维地图中的位置，以便找到类似叶子彼此靠近的布置。

这最终创建了一个连续的二维地图，捕捉原始叶子图像表示的全部变化范围。

一旦训练完成，该系统可以重建与地图边界内任何二维坐标相关的图像。

值得注意的是，这可以通过未提供训练样本的坐标来完成，从而为快速构建设计的新颖变体提供了一种简单的机制。

我们可以自由访问地图上的任何位置。我们可以探索叶子概念领域内存在的所有可能的实体。我们有平等的机会获得所有积分，并可以在它们之间自由跳转。例如，我们可以访问代表枫树和橡树叶之间中点的坐标。

如果我们开始对我们想要设计的东西有一个固定的想法，那么我们可以用这个过程来实现它。但是，如果我们想进一步探索，看看还有什么可能的，这种方法可以让我们从解决方案中移出并尝试新的东西。

或者，此地图视图可以暂时叠加在项目视图上。这将允许用户探索元素的可能变化而不会失去对其嵌入的上下文的感觉。

这种探索性的界面可以改变设计的元素，而无需从头开始重做。

例如，假设我们已经使用Bezier路径创建了上面的橡树叶子图，然后决定我们需要看起来更像枫叶的东西。

要在传统的设计软件中这样做，我们需要将此转换映射到贝塞尔路径的逻辑。

作为设计师，我们习惯于这种工作流程，看起来很自然。但事实上，如何操纵Bezier路径的知识仅与手头问题相切。

将一个形状转换为另一个形状可能会使我们在创建第一个形状时所做的大部分工作取消。

这增加了探索成本。不应该是这样。去邻居的家，我们不应该需要穿过城镇。

变体控制表面(variational control surface)允许设计者以他们的设计直觉为指导，而不是受到特定工具抽象路径到特定目的地的倾向性的限制。(rather than being limited by the proclivities of a particular tool’s way of abstracting the path to a given destination.)

通过这种方法，我们不会减少设计者的控制，我们只是消除了前一代工具强加的辅助需求和概念重新映射。(removing the auxiliary demands and conceptual remapping imposed by an earlier generation of tools.)

这样可以让设计人员更专注于在设计决策中建立自己的专业知识，而不是依靠实现这些决策的技术机制。

3.由描述设计

到目前为止，我们讨论的接口类型非常类似于传统意义上的地图。

像其他任何地图一样，如果您愿意，我们可以添加文字标签 - 路牌。这使得我们可以用命令行使设计空间，例如：“带我去枫叶”。一旦出现，我们可以这样说：“让我更接近橡树叶。”

这是非常强大的。但事实证明，我们可以进一步采纳这个想法......

2013年，托马斯米科洛夫等人发表了一系列论文，描述了一系列用于生成代表词语之间概念关系的低维地图的技术。

就像我们一直在讨论的地图一样，在他们现实世界的用法中密切排列的单词也将在单词嵌入地图中彼此靠近。

然而，更令人难以置信的是，Mikolov和他的合作者发现，将有意义的概念代数变换应用于单词向量是可能的。

换句话说，他们发现你可以在现实世界的概念上执行代数。

例如，他们表明，单词向量表达式的结果：

“马德里 - 西班牙+法国”

比“巴黎”更接近任何其他单词向量。

然后：

“国王 - 男人+女人”的结果非常接近“女王”。

这个迷人的机制提供了一种全新的设计工具思维方式。它允许我们在视觉或语言上运用视觉概念，而无需使用辅助抽象和控制系统。

例如，如果我们寻找像毕加索那样的美学，而不是从他的（分析性的）立体派时代的高度来看，我们可以这样说：

我们可以在听觉信息或任何其他媒体上做同样的事情。

在过去的几年中，包括“Style Transfer”和“Neural Doodle”在内的类似技术进一步扩展了这些机制。

这些技术已经在照片共享应用程序中实现 - 并不像更广泛的设计工具中的功能，而是作为一种新颖的图像过滤器，有点像Instagram或Photoshop过滤器。

正如20世纪90年代Photoshop的“过滤泡沫”所证明的那样，这种功能的新颖表现很快便转化为媚俗，并且没有多少意义重新概念化或扩展设计过程。

但作为一个更大更整体的设计框架的个别组成部分，这些技术提供了一种强大的机制，可以在不留下原生词汇的情况下在媒体上进行操作，而无需将它们映射到抽象上。

它们允许我们通过直接操纵这些想法所在的概念空间来探索和构思想法。

但是，像技术一样具有变革性，我认为还有一些缺失。

每个设计师都知道，设计最难的事情并不是做出个人决定所涉及的东西。困难的部分是协调许多组件决策彼此以产生一个有凝聚力的整体。

作为设计师，我们必须在许多组件决策之间来回移动，同时牢记整体。有时候这些组件决定彼此冲突。

像魔方一样，我们不能简单地解决立方体的一面，然后移动到下一面。这会使我们撤销我们之前的一些工作。我们必须同时解决所有方面。

这可能是一个非常复杂的过程，学习导航是成为设计师的核心。

虽然我们讨论过的机器学习技术可以帮助简化这些组件决策(component decisions)，但它们并没有完全解决设计的这个最困难的方面。

为了帮助设计师打造这种专业知识，我们来探讨另外两个概念

3.流程组织和会话界面

传达单个命令或信息点的简单表达式比机械学习系统更容易理解，而不是复杂的多层面语句。然而，设计某些东西时最困难的过程之一是考虑如何将复杂的动态系统分解为不连续的部分。

设计工具最有用的东西之一就是帮助设计人员完成这一过程。

工具可以帮助设计人员通过创建接口和工作流程来提供简洁的声明，这些接口和工作流程通过一系列简单的练习或决策点来引导用户，每个练习或决策点都针对更大更复杂的任务。

这种方法的一个很好的例子是20Q，游戏“二十个问题”的电子版本。

就像原来的公路旅行游戏一样，20Q要求用户思考一个物体或名人，然后提出一系列选择题来发现用户的想法。

在这个过程中提出的第一个问题总是：“它被分类为动物，蔬菜，矿物或概念？”

随后的问题试图发现从用户已经提供的信息延伸出的进一步区别。

例如，如果第一个问题的答案是“动物”，那么提出的下一个问题可能是“它是哺乳动物吗？”

如果第一个答案是“蔬菜”，那么下一个问题可能是“它通常是绿色的？”

以下每个问题都可以回答：是，不，有时或不相关。

20Q在20个问题后的80％的时间和在25个问题后的98％的时间内猜测正确的人，地点或事物。

该系统使用一种称为学习决策树的机器学习算法来确定将以最小步数导致正确答案的问题序列。

通过使用以前用户与系统交互生成的数据，该算法可以在尽可能多地删除不正确的选项的过程中了解每个问题的相对值，以便它可以首先向用户展示最重要的问题。

虽然这些问题没有一个单独包含用户所想的全部内容，但相对较少的精心挑选的问题可以以惊人的速度发现正确的答案。

除了帮助系统理解用户的表达，这个过程还可以让用户直接受益于他或她更清楚和有目的地交流意见的能力。

其核心是，这个过程可以被看作是通过大量相互关联的决策发现最佳路径的机制。

每个问题和答案交互作为概念空间的翻译矢量，将用户移近他或她的预期输出，同时探索用户思考和阐述该概念的每个方面。

这种机制也可以扩展到设计界面，允许用户通过回答关于它的一系列问题来磨合期望的形式。借鉴自然交互模式，这些问题可以口头回答......

或以手势方式，防止用户需要学习复杂的菜单系统以访问该工具的功能：

基于机器学习的最新进展，机器越来越有可能回答用户关于设计特性的复杂和背景问题：

例如，用户可以提出真实的问题，以帮助他或她评估设计是否适合某些用途：

这种对话会模仿人类对话的形式，但会受益于机器对设计属性的无所不知的知识。

这也可能与机器模拟真实世界约束的能力相关，如材料，物理或化学约束：

通过在实时交互中嵌入此功能，例如，架构师可以通过快速消除不可能产生丰硕成果的新兴创意而节省大量时间。

除了“现实世界的限制”之外，用户在给定交互中的含义可能并不总是很清晰 - 或者是因为机器的知识限制或者是因为用户声明中缺乏清晰度：

机器可以提供清晰的问题和备选方案，而不是用“最佳猜测”进行：

这种对话方式将有助于澄清用户的意图以及建立机器的知识库。

对话式方法也提供了一种自然的机制来保存用户的迭代过程，这种方式比“行动历史”更容易进行审查和反思。

通过将界面展开为线性的，可穿透的“新闻馈送”，用户能够以他或她的想法检查每个阶段，并轻松地返回到先前的迭代，以新的方向分支，同时仍保留每个其他版本的设计。

4.进行中的工作

在过去的几年里，我一直在努力在软件中实现其中的一些想法。

我创建了一个名为Foil的组合编程语言和设计工具，旨在将我们讨论过的许多概念带入生活，并且适用于从新手到专家的全方位设计体验的用户。

当它从互动中学习并且支持设计师培养和发展专业知识时，它可以根据设计师的需求量身定制。

根据用户的不同，Foil可以成为消费者设计工具，专业设计工具和用于创建新兴界面元素和设计窗口小部件的平台，用户最终可以彼此分享。

我很快就会发布一个Alpha版的Foil。

我在纽约大学的ITP研究项目中研究了艺术与技术的交叉点，这些想法已经被很大程度上塑造了。

在这种跨学科的背景下，我清楚地看到，我们正处于巨大文化融合的开始阶段，曾经不同媒体的工具和词汇与彼此之间的相互关系更加密切。

为此，Rune Madsen和我开始了一个专注于机器学习和设计的研究小组。

我们目前还在共同教授一门名为“反思生产工具”的课程，要求学生调查和开发工具制作的新范例。

过去几年机器学习的技术复兴导致了令人难以置信的新的可能性。但是，实现这些可能性的真正工作才刚刚开始。

这项工作需要跨学科的方法，我非常幸运能够在这个激动人心的转型时期与ITP的教师和学生合作。

很多人似乎担心人工智能会占用我们的工作，并使我们无用。

我看到了未来的另一种可能性，一种更乐观的态度，我们仍然相关。事实上，在未来，我们更强大，我们更加人性化。

在未来，我们不会与对象竞争，我们正在使用它们来延伸我们一直以来的工作范围。

但为了达到目的，我们需要提醒自己哪些工具适合。

工具并不意味着让我们的生活更轻松。不是真的。

他们的目的是为了给我们带来杠杆作用，以便我们可以更加努力地推动。

If you enjoyed this article, you might also like my follow-up piece, “A Unified Tool for the Education of Humans and Machines,” which discusses how tools for developing machine learning systems could be made more approachable.

If you’d like to follow my work on machine learning, artificial intelligence, design tools and programming languages, follow me on Medium @Patrick Hebron or on Twitter @PatrickHebron. My homepage also includes several other ways of getting in touch.