7月4日，天娱数科（002354.SZ）与专注3D视觉+AI的高科技半导体企业银牛微电子签署战略合作协议，并宣布共同投资4000万成立合资公司。

天娱数科总经理徐德伟出席签约仪式并发表讲话，提到：“将以合资公司为主体，把天娱数科在元宇宙、虚拟数字人领域的应用场景优势与银牛微电子在3D视觉芯片领域的技术优势与相结合，共同研发面向元宇宙应用场景的3D深度视觉模组，实现虚拟数字人低成本、短周期、批量化生产制作与低延迟、高精度、沉浸式互动体验，不断降低元宇宙进入门槛，不断丰富元宇宙应用场景。”

【资料图】

为进一步了解天娱数科与银牛微电子成立合资公司后的产品计划，记者与徐德伟进行了深入交流。

Q：您在签约仪式上提到，与银牛共同成立的合资公司将共同研发3D视觉感知产品，请问具体的产品规划是什么？

A：目前，我们规划了3款产品，包括便携式3D深度相机、桌面式3D摄像机和数字人3D数据采集系统，分别应用在虚拟数字人扫描与自动化建模、虚拟数字人全身深度视觉捕捉驱动、人体动作3D数据采集3个领域。

Q：合作开发的第一款产品会是什么呢？

A：第一款产品，我们会把研发重点放在便携式3D深度相机这个产品上，主要应用于虚拟数字人扫描与自动化建模。天娱数科在虚拟人的打造和运营上有丰富的经验，以往行业内要完成一个虚拟人的构建从扫描到建模，需要很长的周期和很高的成本，很难实现大规模的批量化生产。在2020年我们决定切入虚拟数字人赛道时，我们和很多企业、科研机构交流、合作过，当时大部分需要2到3个月的周期才能完成一个超写实的虚拟数字人，建模成本更是从几十万到上百万不等。在过去1年多时间里，我们基于自研的Meta-Surfing元享智能云平台，通过对数字人生成、数字人驱动、数字人交互三个核心功能模块算法的不断优化，通过软件系统的投入，已经大幅缩短了制作周期与制作成本，但距离完美的消费级ToC应用还有一定差距，主要原因是传统的相机扫描采集到的都是2D数据，需要花大量的算力和时间转换成3D数据。

银牛的3D视觉芯片采集的天然就是3D数据，芯片本身还具备AI算力，他们的3D视觉芯片与我们的元享软件平台结合后，会弥补这最后的一点差距，通过软硬结合，真正实现虚拟人短周期、低成本、批量化生成，从而降低元宇宙的门槛，提供给C端用户工具化、标准化、易用型的可交付产品与解决方案。

Q：研发桌面式3D摄像机是出于哪些考虑？

A：虚拟人生成核心环节主要涉及建模、驱动和渲染三大技术。第一阶段通过便携式3D深度相机我们实现了虚拟人扫描、建模自动化，那么第二阶段我们希望变革驱动环节。

我们把虚拟人的发展划分了三个阶段，1.0阶段是静态虚拟数字人阶段，只能展示，不能互动；2.0是动态虚拟数字人阶段，进行展示时可以与现实人互动，但需要中之人操纵，也就是双簧式，需要现实人一对一搭配数字人；3.0是智能数字人阶段，通过自学习，数字人完全可以替代现实人在一些领域独立工作。

1.0阶段是通过传统CG或体积视频技术建模的，是不可控体数字人，无法实时互动，应用场景比较狭窄；2.0阶段主要是基于惯性动作捕捉、光学动作捕捉及实时渲染技术，打造出可控体数字人，应用在虚拟主播、虚拟偶像上，虽然有一些应用，但不完美，动作容易失调、面部表情不到位、互动能力差、沉浸体验感不好。针对这些问题，我们计划推出可以实现3D深度视觉捕捉驱动的桌面式3D摄像机。

通过3D摄像机和深度传感器能获取人体的三维形状和姿势信息，甚至是骨骼结构追踪。对于人脸识别、姿态、动作识别、手势识别，它的准确性和细节捕捉能力都非常强。

因此，相较于惯性动作捕捉、光学动作捕捉、光惯混合动捕方式，视觉捕捉更加灵活方便，无需额外的佩戴设备，对于C端更加适用，而且经过AI数据修正，可以获得更高精度、更稳定、高质量数据，而且还可以在摄像头的视野范围内进行采集拍摄，有更大的活动空间和范围。

Q：第三阶段将推出什么产品，人体动作3D数据采集有什么意义？

A：产品研发的第三阶段，我们的目标是打造一个应用于人物表情、形态及行为特征数据采集的数字人3D数据采集系统，形成我们特有的数据库，用来训练数字人表情和动作，这是我们为实现3.0智能数字人阶段做的数据基础设施。

ChatGPT出现后，虚拟人聊天等智能交互体验有了飞跃提升，但虚拟人作为AIGC典型多模态应用，整个生成式AI技术在虚拟人动作和表情生成领域相对滞后。我们看到一个AI驱动的数字人，或许能和你聊天，但是来来回回就那几个动作。AI技术的成熟度、算法迭代离不开数据，特别是大量、高精度、高质量的3D数据库。

未来，我们会有一个较大规模的基于3D深度摄像机的人体复杂行为数据库，经过数据喂养、深度学习算法提取,AI数字人的动作也会像语言交互体验一样趋于自然、流畅，而且是自学习的，届时虚拟数字人才能真正摆脱“中之人”驱动，完成全面的AI进化。

Q：最后一个问题，为什么选择和银牛微电子合作？

A：选择银牛作为合作伙伴是经过深思熟虑的。银牛是一家集3D双目视觉处理和人工智能芯片设计能力于一体的高科技半导体企业。在3D深度视觉、复杂SoC设计、低功耗、光学、嵌入式系统软件、边缘计算等方面具有10年以上的深厚经验。全球最早从事芯片上3D深度感知引擎研发的企业之一以色列公司Inuitive也是银牛的子公司。加上多年来在泛机器人领域的应用探索，银牛自研的集成3D视觉感知、AI、SLAM的系统级芯片已经应用在在众多前沿应用领域的产品中，3D和AI能力已经得到了验证。我们认为，虚拟人就是元宇宙世界里的关键，它需要3D视觉感知能力，需要AI能力。3D视觉+AI的模式，将赋予虚拟人和各类智能设备“人眼”和“人脑”。选择和银牛合作对天娱数科来说，是跟我们在元宇宙场景和虚拟人方面进行软硬件结合的最佳选择。（CIS）