美工终结者「鲁班智能设计平台」是如何工作的？
avatar
@阿里巴巴UED：在今年UCAN大会开场，阿里巴巴集团UED委员会委员长杨光发布的智能设计平台——鲁班，便出自乐乘的团队。此平台是通过人工智能算法和大量数据训练机器学习设计。通过一段时间的学习，此平台从去年“双十一”前就已经在阿里内部大规模投入使用，目前其设计水平已经非常接近专业设计师设计的效果。在大会上，乐乘介绍了阿里智能设计实验室的实践全过程。
image
用AI做设计
我们团队现在叫人工智能设计实验室，做的事情很简单，用AI做设计。人工智能现在这个概念太火了，有一个数据证明它有多火：去年人工智能这个领域的创业公司开业速度超过了肯德基的开店速度。不可否认，这里一定有泡沫成分，也有很多概念的炒作。我们先抛开高大上的词，把这个事情拆解一下。
现在讲的人工智能都是通过算法、数据和强大的计算能力来完善服务场景，这是人工智能的四个要素。今天我们团队做的就是用算法、数据、计算、场景来解决商业领域的事情，这样使得这件事情看起来比较靠谱、容易落地。
image
为什么我们团队会想要做这个事情呢，这不是YY出来的想法，而是从广泛的业务场景里找到的一个机会。以一个广告Banner为例，我们把它归类为“大量低质易耗”的设计，这样的设计，设计师花一天做出来，在线上投放时间也只有一天。而且是重复的，改改字就可以了，非常适合被机器所取代。
今年UCAN的主题是新设计x新商业，新商业里非常大的概念，是要通过新的技术、互联网的手段，完成人、货、场的重构，人是消费者，货是商品的服务，场景就是连接人和商品之间的手段。在新的时期下，需要找到一种新的方式做设计。
我们团队的使命是基于算法数据和前台业务需求，打造一个商业设计大脑。这个大脑能理解设计，能为商业的产品去服务，做出合理的设计。
商业设计大脑的三大挑战
在开始做事情之前，我们遇到了三个比较严峻的挑战。
第一个挑战，缺少标注数据。今天所有的人工智能都基于大量的结构化标注数据，设计这件事情连数据都没有完成在线化，更别说标准化、结构化的数据了。
第二个挑战，设计不确定性。设计是个很不确定的东西，比如今天你让机器设计一个高端大气的Banner广告，它就蒙圈了。
第三个挑战，无先例可循。在整个行业里过去一年做下来发现，没有一些现成的技术或者框架可以参考。比如AlphaGo把围棋AI论文发完之后，全世界围棋AI照这个方法都可以做到先进的水平。我们过去一年来都是自己一路摸索中走过来的，这一年走来我们给人工智能做的定义是，我们做的是可控的视觉生成。可控，就是根据商业的需求、业务的需求，智能地进行控制。它解决的是视觉从无到有的问题。
可控的视觉生成过程
这是机器人从诞生的第一版到最近一版的发展历程。2016年9月，勉强完成一张图片的拼合，没有什么美感可言。第二张是去年圣诞节前做的广告，稍微看起来精致一点，整个设计还是非常简单。第三张是两个月前的进展，基本上可以根据这个商品输入主体的氛围，找到最符合的背景氛围，整个设计细节和结构，看起来更稳定一点。
image
我们现在大概学会几百种常规的设计手法，并且每天都在学习中。这是我们目前的设计能力和设计效果，青云给它定的评级是P4，意味着它还只是个助理设计师。我们今年目标是做到P5，还有很长的路要走。
机器如何学习设计
下面和大家详细解释一下这个机器背后的学习设计逻辑。
我们要让机器学习设计，首先必须要让机器理解感知设计是什么。以这样一张非常常见的广告为例，在机器的眼里是有一堆像素点组成的。如果今天以像素为单位让机器去理解设计，对设计的可控性非常弱，所以在前期技术方案选择中没有走像素级生产，而是走向了元素级生产。
image
四个组成部分：设计框架、元素中心、行动器、评估网络
组成一，设计框架。还是以这个广告为例，首先通过人工标注的方式，让机器理解这张设计有哪些元素组成，比如它的商品主体，花的背景，蒙版。往上一层，我们通过设计的经验知识，定义一些设计的手法和风格。手法指的是这些元素为什么可以这么构成，这个知识在设计脑子里机器是不知道的，所以会有手法这一层做输入。最上面这一层是风格，当这些元素构成之后，它从美学或者视觉角度看是一个什么感受。让机器知道它是用什么组成的，为什么可以这么组成，以及它组成后的效果。这个过程将一个设计问题转化成数据问题，这就是设计数据化。
下一步是准备设计的原始文件，比如一系列花朵和设计方法，输入到深度学习系列网络。这个网络有一个很大特点：具备一定记忆功能。因为设计是个步骤很复杂的过程，经常有好几十步才能完成一个设计。
经过这层神经网络学习之后，我们会得到一个设计框架。从技术上理解，它是一堆空间特征和视觉特征构成的模型。设计师的视角来理解的话，它相当于设计师脑子里面在做一组设计之前大概的框架印象，比如今天你接到一个任务要做一个花朵风格，思考这个设计大概会怎么做，然后从一堆文件里提取出了特征模型出来。
image
组成二，元素中心。因为我们做的是元素级生成，所以必须准备一个元素的库。我们会通过收集一些版权图库，以及自己造设计元素的方式，输入到一个元素的分类器。这个分类器会把这些元素分布到各个类型里，比如背景、主体、修饰，也会完成图片库的提取。
image
组成三，行动器。接下来，就是设计的具体过程。比如今天我们接到一个设计任务，要为这样一件衣服设计一个花朵风格的广告。这时候会有一个行动器，负责把前面准备好的底料放到设计框架里。这个过程和下围棋很像，左边是棋盘，右边是下围棋的棋子。行动器就是把元素放到棋盘里，这是整个行动器的生成原理。
它很像设计师实际在做设计的过程，如设计师要做一个花朵的时候，也在软件里面会不断去调每个位置、每个像素、每个角度。同时，整个过程也是一个强化学习的过程，行动器会在不断试错中更智能。
image
组成四，评估网络。设计成品出来之后，我们要告诉机器人，从设计的角度是好还是不好。我们有一个设计评估网络，最终实现的效果就是给它输入任何一个设计成品，它能打个分。技术原理是，我们通过人工输入大量历史上投放过的一些设计图评分，它从这里训练出一个打分的模型出来。同时，专家也会人工干预打分，完成双向反馈。
image
这套框架并不是只能做Banner广告，Banner广告是我们找到的第一个最适合落地的业务场景。我们把它定义为是一个通用的设计智能，理论上，它可以设计一切的数字内容。只要是通过元素或者像素组成的图像，理论上都是可以完成的。
预告一下我们最新的实践。前两张图是机器完成的服饰搭配，根据用户输入的服饰商品进行组合搭配，生成类似杂志的搭配效果图。另外，我们也正在训练机器完成页面模块的设计，比如大量的营销活动页面，我们现在正在训练它完成复杂的排版设计。
image
正在攻克的三个难题
目前，我们已经完成了框架搭建，以及数据的自我学习成长。接下来我们决心攻克的三个难题，也是让机器变得更加强大的关键突破点。
第一，让机器能够自主生成元素。我们目前的元素是靠设计师来提供，一方面是为了保证版权，另一方面，保证它的质量足够高。我们希望能做到，要求机器造一个花朵时，它自己能生成出来，这也是目前计算机视觉生成的一个非常火的话题。
第二，提高认知理解。现在机器还不太理解语义，只能根据需求或者任务生成一个结果，并不了解其中的关系。我们下一步要做的事情是，当用户输入了“清凉一夏”的文案时，机器人能理解“清凉”这个词代表了什么意思，并且理解这张照片代表了“清凉一夏”的理念，图文之间有一定的关系。
最后一个，设计的迁移。比如今天通过大量专家数据训练了几百种常规数据手法之后，它能够完成主流的设计要求了。当这些手法很相似时，就可以完成风格迁移。我们会进一步探索AI，不再根据需求完成使命，而是通过自我学习和演化之后有新的东西出来。
AI+Design 拥抱新时代
今天人工智能设计真的来了，它不以任何意志为转移的趋势走来了，它离我们很近。当一个新的浪潮打过来的时候，我们应该学会的是拥抱它，而不是掉头就跑，边跑边骂不靠谱。
视觉设计的四个层次
image
最基础的是临摹拓展。给你一个东西，照着它拓展一份出来，很明显这一定是机器第一步取代的工作。而且目前已经做到一大半了，证明这是一个没法回避的问题。
image
第二层，场景表达。今天你给它一个东西，它能理解，能表达对。比如今天你根据情人节，这些品牌能够找到一种合适的设计手段，去表达出情人节的温馨，这种手绘的方式会稍微难一点，也就是我们前面讲到的语义这一层。
image
第三层，创意洞见。它能够有一些启发性的东西出来。天猫品牌里面经常有把猫头和品牌创意做联合的事情，这是机器不可能做到的事情，或者在我有生之年没有指望它能做到的。
image
最后一层，创造趋势。这一般是设计大师做的事情。它能定义明年、未来几年的设计趋势走向，这是更高的设计能力。比如今年“三八”女王节，天猫用了一种全新的设计手段，用这种很轻的质感、很细腻的方式来表达商品。它能够代表一个新的趋势和未来，代表一个新的手段，这件事情一定是人来做的。
image
回到今天机器和人之间的差异和对比，如果今天我们搞设计人机大战的话，机器最擅长的是数据、计算、学习。数据上，可以完成巨量素材库，训练成长速度，不断地完成闭环。它的学习速度之快，一个晚上可以完成几十万次的学习训练，是人不吃不喝也赶不上的。而人类设计师的特征，首先在情感层面，我们理解共情，情绪上有表达，这是机器很难做到的。另外两层，创意和创造，设计师能够创造出一些新的东西，做组合迁移，组合创意，美学趋势。如果真正人机对战的话，设计师还是应回归创造、创意，以及理解用户的层面。
image
拥抱这个AI时代，对我们来说有没有什么新的工作方式呢。比如今天有顾客让你做一个设计，以前是一对一的给他一个成品，一对一的完成一个设计任务。有了设计AI之后，就可以将一个设计手段输入给机器，教会机器做执行和生成。这样，你就可以不止为一个客户服务，而是为成千上万的客户服务。
人工智能设计是个不可阻挡的时代，是未来。但是它也刚刚来，我们也刚刚走出第一步。我们还有大量的时间，希望接下来和设计同行一起努力，继续把这件事情做好。
优设目前已经邀请了「鲁班智能设计平台」的负责人乐乘来优设做一期线上公开课，大家有什么想问的可以随时反馈给主编@3年2班程远 喔。
之前优设的合作伙伴「特赞」也采访过乐乘，大家可以先看看：双11期间有1.7 亿个BANNER，都来自阿里的“鲁班”AI设计系统
［关于UCAN］
UCAN是阿里巴巴的年度设计盛会，聚焦用户体验设计。4月27—28日，由阿里巴巴用户体验设计委员会举办的UCAN2017用户体验设计论坛在阿里巴巴西溪园区举行，本届主题是“新设计×新商业”。围绕“无界、融通、超距、生长”等概念，重新定义用户体验在新商业环境中的蜕变和价值，不断把设计领域、设计概念向外延展，与技术、能源和商业产生新的化学反应。
