Facebook 送你个穿搭师,建议十一出行前查收

场景描述:对很多人来说,服装穿搭是一项高难度技巧。无论上班、出席会议,还是约会、休假出游,大家都会被「该穿什么」难倒在衣柜前。Facebook 最新推出 AI 时尚造型师 Fashion ++,帮你在不必买买买的情况下,充分利用现有服装,穿出更时尚的效果,秒变时尚达人。

早晨起来,洗漱完毕,化上美美的妆,然后在电脑屏幕上点击「向左」、「向右」键,看着画面上的服装来回切换组合,挑中一套中意的搭配,点击「Dress Me」(试穿),屏幕上就会显示虚拟人像穿上所选服装的效果。今日出门的行头就这样轻松搞定了。

《独领风骚》里女主早晨用虚拟设计师挑衣服

这是电影《独领风骚》(《Clueless》)中的一个片段,时尚的女主 Cher Horowitz,拥有一个虚拟造型师,通过这个虚拟造型师,她可以预览自己的衣服搭配效果,并挑选一套自己最喜欢的穿搭方案。

如今,电影里的黑科技场景,已经被 AI 技术变为现实,而且还有所超越。

Facebook  最新推出的个性化服装穿搭推荐模型 Fashion ++,能通过算法,对现有服装进行巧妙的穿搭调整,让其显得更加 fashionable,即使是穿搭小白,也可以瞬间变身时尚达人。 

AI 造型师:穿搭技巧信手拈来

每天最令都市男女纠结的问题不止是「今天该吃什么?」,还有「今天该穿什么?」

每次出门前,都把衣柜里的衣服各种排列组合,却还是不知道哪套搭配最好看、最合适。于是广大女性朋友得出一个结论:「女人的衣柜里,永远缺一件衣服」。

挑一件合适的衣服出门真是耗时又耗力

最近眼看着国庆长假在即,要去游山玩水拍各种美照的你,是不是又觉得衣柜里缺衣服了?事实上,你缺的也许并不是衣服,而是一个穿搭指导。其实,同样的一件衣服,会因为不同的穿着方式,比如多一条丝巾或者卷起袖子,就产生大大不同的效果。

同样的衣服,只因为上衣塞进裤腰就产生完全不同的视觉效果

虽然如今坐拥大批粉丝的各大时尚博主能为穿搭手残党解忧,但他们往往最终导向还是「买买买」。

Facebook 近期推出的时尚穿搭推荐模型 Fashion++,则并不鼓励剁手,它会充分利用用户现有服装,通过改变穿着方式(比如卷起衣袖,或塞进裤腰等),对搭配进行调整,从而得到用户最喜欢的造型。

Fashion ++ 模型由一个深度图像生成神经网络构成,该神经网络以对每件衣服的编码为条件识别并学习合成服装。编码根据衣服形状和纹理显式分解,从而允许分别对合身程度和颜色/图案/材料进行直接编辑。

最终实验表明,Fashion ++ 根据自动化指标和人们的意见,提供了成功的穿搭建议,而且这些建议很容易实施。比如:换一件新衣服;调整颜色、穿着方式(比如卷起袖子)或尺寸(比如,让裤子更宽松一些)。

AI 系统如何修炼为穿搭指导?

法国先锋时装设计师可可·香奈儿有句名言:「Before you leave the house, look in the mirror and take one thing off.」这句话对时尚界产生了深远影响。其言下之意是,无论是取下一件配饰,或是摘掉帽子等,细微的调整都可以使现有服装更加时尚。

正是该理念给了 Fashion ++ 团队灵感,他们因此引入了新的计算机视觉挑战:希望通过算法对服装/配饰进行微调,而改善整体时尚性。

服装搭配微调前后的效果对比

该项目具体内容包括:服装生成框架,从网络图片中学习判断时尚性,编辑服装搭配并输出结果。

Fashion ++ 服装生成框架 

Fashion ++ 框架概览

初始服装 x 的文本特征 t 与形状特征 s,经过初步编辑,再由编辑模块 F++ 编辑后生成新的文本特征与形状特征 t++ 与 s++。


之后,生成器 Gs 将新特征反馈至 2D 语义分割模型,最终由生成器 Gt 生成编辑后的新服装搭配效果 x++。


Fashion ++ 时尚性分类器 

团队将给定的整套服装的组成部分(如包、上衣、靴子),映射到它们各自的代码。然后,使用一个有辨别力的时尚性分类器,该分类器在被公认为时尚服装的 12744 张公开图像上进行了训练。 


并且,团队还通过将时尚示例上的服装,与最不相似的服装交换,来引导反面示例。在训练时尚性分类器时,团队考虑到,也许理想的训练集应该由这样两组图片组成:每组图片中都是同一个人,穿着略有不同的服装,其中一组被公认比另一组更时尚。然而,他们认为这样的数据集不仅不适合大规模策划,而且会随流行元素演变而过时。

另一种设想的方法是,将来自特定群体(如名人)的一组图像视为正面的范例,而将另一组图像视为负面的(如日常行人)。但是,他们发现这样的数据集会导致身份和风格的混淆,因此分类器会发现这两组之间与时尚无关的一些属性的区别。

因此,他们提出从时尚服装的网络图片中,自动选出不那么时尚的照片。其主要理念是从时尚达人的照片中创造出「不时尚」的服装,以训练模型辨别能力。

图左为时尚示例(pos),经模型编辑后,生成右图的反面示例(neg)

他们从 Chictopia (在线时尚社交网站)上面的一张全身服装照片开始,选择其中一件进行修改,然后用另一件不同的衣服替换它。为了增加替换衣服降低时尚感的可能性,他们从一套与原衣服最不相似的衣服中提取了一件。


利用这些数据,团队训练出了一个 3 层的多层感知器(MLP)时尚分类器。通过训练这些分解(到服装)和形状和纹理编码的时尚分类器,一个简单的 MLP 可以有效地捕捉微妙的视觉特性和复杂的服装协同作用。

编辑搭配并输出结果 


训练好分类器后,系统会逐渐更新服装,以使其更时尚。团队利用 15930 张图片训练了生成器。


该生成器由图像生成神经网络,使用变体自动编码器生成轮廓,并使用条件生成对抗网络(cGAN)生成颜色和图案,从而呈现新调整的外观。

Fashion ++ 不断迭代编辑结果,直到最终达到系统认为足够时尚的结果(横轴为时尚性平均分数)

为了同时考虑到衣服的图案/颜色和形状/合身程度,他们将每件衣服的编码分解为纹理和形状组件,允许编辑模块控制在哪里和改变什么 (例如,在保持样式的同时,调整衬衫的颜色,或者,改变领口或把它塞进裤腰)。

在优化编辑后,模型以两种格式提供其输出,第一种是从库存中检索最能实现其建议的服装,第二种则是根据修改过的服装编码,绘制出同一个人在调整过的外观中的效果图。

Fashion ++ 在服装颜色/图案上的编辑更新示例

团队使用 Chictopia 的时尚图片数据集验证了其方法,并通过自动化度量和用户研究,证明它可以成功地生成最少的服装编辑,而且优于基准线。

Facebook 相信,Fashion ++ 将通过调整现有服装而不是剁手花更多的钱,来帮助人们使用一个应用程序学会时尚穿搭。 

学会穿搭,做街上最靓的仔


人们自古都追求时尚,怎样穿得更美是永恒不朽的话题。正因如此,我们才看到国内外从古至今服装样式的不断更迭。

中国古代走在时尚前沿的贵妇们

有人认为,时尚是艺术,有人认为时尚是快乐,无论怎样,时尚都是美的一种象征。每个人都希望变得时尚,甚至引领时尚。

现代,打扮得时尚已经不仅仅是出于「女为悦己者容」的目的,更是为了自我的表达。

所以,已经做好黄金周出行规划的你,是否还在纠结该不该带这条丝巾?这条裙子和这个衬衫搭不搭?怎样穿才能不淹没在人从众中?


有了 Fashion ++ 这个免费个人服装造型师,这些问题应该都不是事儿了。赶快拥抱科技,拥抱 AI,说不定,下一个时尚博主就是你。

—— 完 ——