Unity:使用合成数据快速创建3D内容

2021-09-26 14:42:48 cathy

Unity:使用合成数据快速创建3D内容

构建计算机视觉系统的综合数据是从真实数据的转变而来。虽然真实世界的数据需要漫长的收集和注释过程,但机器学习(ML)工程师可以在几分钟内构建一个合成数据集,从而实现快速的、以数据为中心的开发周期。此过程速度很快,因此用户可以一次尝试许多数据集变体,以找到经过较佳改进的模型。

目前关于数据的来源仍然是一项挑战。用户需要的往往不是成千上万张的图像与注释,而是数十或数百个三维模型,如网格、纹理和动画等。虽然合成数据降低了对内容的要求,但根据这些资产的3D特性也需要在创建它们时拥有十足的创造性。

幸运的是,四十多年来,电影和电子游戏行业都面临着同样的内容挑战。在那段时间里,他们开发了新的内容创建技术以及庞大的内容存储库,其中大部分已经非常适合进行合成数据生成。

本文将介绍获取3D内容的较佳方式以及各种方式的优缺点,他们适合不同类型的计算机视觉应用。

在线3D资产

获取3D内容极快、极便宜的方法是利用在线的方式下载现有的作品资产。Unity资产商店提供由3D艺术家创作的免费和付费内容,这些内容能够应用于游戏、电影和其他3D应用程序。

Screenshot 2021-08-12 153613.jpg

Unity资产商店“椅子”的搜索结果

这些在线资产通常以“包”的形式出现,包括各种3D模型、纹理变化、材质和动画等。这些资产可以在数据集生成期间随机化,并能够在每个对象上创建几乎无限的变化。通过下载不同风格的资产进一步增加了数据的广度,能够有效减少模型中的偏差和过度拟合。

当任务需要检测诸如“椅子”或“猫”之类的广泛类别的对象时,在线资产源就变成了一个很好的数据来源,这些对象需要各种各样的内容来支持。为了实现模型概括所需的多样性,用户需要在每个相关轴上寻找变化,包括形状、材质、颜色和姿势等。

即使像卡通或纹理和颜色,这样非真实感的资源也可以在模型中得到更好的概括。在近期的一个项目中,将Unity Asset Store中的一小部分高度逼真的资产转换成为广泛的3D模型和纹理,这大大提高了模型的性能。

扫描

用于检测特定物体或制成品的合成数据集需要真实世界物体的精确3D模型,这些模型在网上很难找到。通过3D扫描,用户可以自己独立创建这些资产。

Screen Shot 2021-09-03 at 3.35.42 PM.jpg

SynthDet的资产是使用平板扫描仪和3D建模创建的。

这一系列资产是用3D扫描技术生成的,每种技术都适用于不同类型的对象、质量水平和预算。下面让我们来看看这些案例吧:

摄影测量:摄影测量工具,如Agisoft变形和Unity的增强现实伴侣应用通过从一组从不同角度拍摄的照片合成一个3D对象。

优点:适合对任何尺寸或形状的物体捕捉纹理和细节

缺点:对光照条件和物体颜色敏感

平板扫描仪和三维建模:平板扫描仪可用于扫描盒状对象的不同侧面,然后组合成纹理,并使用标准3D创作工具映射到手动创作的3D网格上。

优点:便宜、高精度的纹理

缺点:仅适用于可展平的对象;需要一些手工创作

工业3D扫描仪:使用激光或结构光进行三维扫描。这种方法非常适合检测机械零件和复杂的电子设备。

优点:能够对大多数高几何度物体进行精确的扫描;快速

缺点:昂贵;对象大小有限

程序性内容

扫描对象和在线3D资产通常是真实对象的快照,另一种不断增长的内容形式被称为程序资产,它使用基于规则的算法来产生无限的变化。每个程序资产都提供了参数,这些参数能够定制它们的外观和形状。这对于合成数据来说是完美的功能,其中每个参数都可以被随机化以实现极大的多样性。用户可以反复调整随机化,以提高模型性能。

真实资产多种多样,过程资产通常会随着真实资产变化而改变。道路、人脸、布料和混凝土等材料都是很好的例子。磨损、年龄、形状和颜色等相关因素可以内置为随机化算法的参数。Unity着色器图形、Adobe Substance 3D和Houdini是构建程序资产的灵活工具,Unity资产商店为特定类型的内容提供了几种程序工具。

EasyRoads3d.jpg

EasyRoads3D可以在Unity中构建程序性道路。

程序技术也为合成数据的环境生成提供了动力。环境生成器的范围从非结构化和高度随机到复杂的分层系统,用于生成逼真的场景。Unity的API能够帮助用户编写程序场景生成器;Houdini 则常用于需要更多结构的场景。

开始使用合成数据

游戏和电影行业提供了丰富的动态3D内容,让用户可以快速使用拥有合成数据的项目,并开始快速迭代数据。通过使用 Unity Perception package,用户可以导入这些资产,将它们进行随机化,并非常快速地生成高度多样化的数据集。


电话
产品
方案
案例