随手画了座池塘加上周围几棵树,画面里就自动冒出几块岩石,还有生动的倒影浮现水面上。随意点击几下就能换张背景素材,把雪景改成草地,整幅画就从冬日仙境转换成热带雨林。
这就是NVIDIA最新推出的AI绘图工具:Canvas,它背后的AI技术能将歪歪扭扭的手绘涂鸦,转眼间变成一幅栩栩如生的风景图画。更令人惊奇的是,Canvas所做的不仅是从现有素材提取,再剪剪贴贴拼凑出画面,而是像真人画家那样,从头开始创造、搭建出全新世界。
NVIDIACanvas这款软件则升级了过去AI在绘图软件中的辅助,专攻最初始的创作阶段,从绘图稿开始协助创作者萌生想法艺术灵感,只要简单几笔线条,就能勾勒出极为写实的丰富画面──丰富到直接把它收进艺廊展览也不奇怪。
NVIDIACanvas背后关键GauGAN技术由台湾人领导研发!
而支持NVIDIACanvas背后的图片处理技术是该公司在年3月发布的AI图片生成系统“GauGAN”,来自台湾的首席研究科学家刘洺堉(Ming-YuLiu),更是当时研发一举成功的主力功臣。
To编按:GauGAN第一次亮相,是在年的GTC大会,当时这套技术是由NVIDIADpImaginationRsarch团队中的刘洺堉主导开发,它通过AI机器学习,和视觉融合等协助,让用户潦草几笔的涂鸭,转换成“拟真风景画”,不但操作简单,效果也相当自然。刘洺堉团队曾发布过许多研究成果,但都没有最新发布的GauGAN来的受欢迎,团队对于社群的热烈反应也感到相当意外。
GauGAN的命名,除了向法国印象派画家高更(PaulGauguin)致敬,也是因为采用了GAN神经网络(GnrativAdvrsarialNtwork)这种深度学习技术。
在神经网络的协助下,GauGAN用户只需要加上几笔线条,就能生成一幅美妙的落日山景;点几下,就能把绘画草图转换成以假换真的风景美照,简直就像是AI时代的超级小画家!
GauGAN是AI界的小画家:一种颜色,代表不同的自然元素
在GauGAN里,每一种颜色都代表了不同类型的自然元素,例如山丘、水流、草地、断垣残壁等等。另外,这套技术采多模态原理运行(multimodal),倘若有两位用户输入一模一样的草图,GauGAN也会随机产生不同参数,创造出相异的绘图成果。
每当搭建者添加了某种颜色,这份草图就会被传递给在“创造者AI”与“探测者AI”之间,扮演协调沟通角色的GAN,两端之间通过不断交换信息、相互博弈来进行机器学习,并以最初输入的草图为基础,最终共同创造出一幅写实图像。
GAN这种互相对抗交换信息的运行形态,也有人把它称之为“生成对抗网络”(AdvrsarialNtwork)。
GauGAN技术再进化,NVIDIACanvas让人人都是艺术家
虽然搭载AI技术的绘图软件早在几年前就已经出现,它们通过以智能识别功能和视觉素材数据库,帮助填补画面上的不足。
但是这回发布的NVIDIACanvas可说是GauGAN技术再进化,在流畅度、对象细腻度与画面质感上都有了长足进步,一般Windows计算机搭配中高端的RTX显卡,就能顺利跑动Canvas。
Canvas绘图工具在使用上相当直观,用户先从简单的形状、线条开始打草稿,一旁则有许多草地、云朵等真实素材可供运用,通过GauGAN的涂鸦系统,明确将不同颜色对应到不同的“自然元素”,
接着AI模型便会即时展示出优异的绘图成果──草草带过几笔,你也能画出绵延山脊和绿油油的田地。
除了可以当业余兴趣之外,这套工具还主打即时性,Canvas对专业创作者与设计师更是一大福利。例如它内置9种风格模式,能够描摹出真实绘画的外观和笔触;还有15类写实素材,从天空、山陵、河流到石头都有。
Canvas也提供图层功能,让画面中各种组件互不干扰;还有默认好的场景可供选择或定制化修改,脑筋一片空白时不妨善用它来激发灵感。
举例来说,想象一位交稿期限在即的广告艺术总监,他必须设计好适当场景,把所有光环聚焦于客户的产品,而镜头里只差一片好风景。此时用Canvas工具,点击几下,这名艺术总监就可以拿到不只一张所急需的风景画,再通过软件进行必要的后期编辑,他很快就能顺利交差。
不用画完,NIVIDIACanvas就可以即时生成拟真风景照
TO编按:更厉害的是,NVIDIACanvas可以即时呈现绘画结果,不用完整画完、反复涂改导出,实在是节省不少创作者的时间。
我们都知道艺术创作拥有无限的可能性,而NIVIDIACanvas所做的,就是帮助创作者克服最困难的起步阶段,能无拘无束地萌生想法点子,并即时验证和查看。
目前NVIDIACanvas附属于NVIDIAStudio这个创作平台,它提供多样软硬件工具,帮助图像与图片工作者尽情挥洒艺术想法。
也难怪一位设计师爱用者会如此感叹:“Canvas让我于面对空白画布之际,再也不会感到不知所措。”
参考资料
《TchCrunch》、《NVIDIA》