东芝运用图像识别技术,在CEATEC会场现场演示了利用图像推测人体姿势进行动作捕捉的“活动捕获术 SHADOW”。此技术使用了“Integral Image”等几种特殊技术。下面就来详细报道一下具体的处理过程。
首先,处理过程如下。
(1) 拍摄彩色图像:拍摄240×320像素的彩色图像。
(2) 分离出人物影像:以背景图像的色调(绿色)信息为依据,分离出背景以外的区域。此次演示假定,背景外的区域内只有一人。因此,除了背景之外所有的区域都是人物影像。这样就可以得出背景部分的像素值为零,人物区域为1的2值图像。
(3) 对比姿势数据:将这种2值图像与姿势数据库进行比对,从姿势数据库中的4万个姿势的数据(28个关节角度数据)中筛选出最接近的图像。
(4) 画出CG人物:以(3)中筛选出图像的姿势对应的关节角度数据为依据画出CG。
此次使用的系统每秒可以进行10次判断,所以Cell每l00ms进行一次处理。处理过程中最繁重的是检索姿势。虽说仅是进行人物区域的图像的相关演算,但是将240×320像素的图像与数据库中4万张图像直接做比对的话,即使使用的是高速的Cell,也很难进行实时识别。
通过Integral Image提高比较速度
因此,东芝这次在人物影像的比对过程中做了两方面的努力。首先,为了提高对比速度,采用了被称作“Integral Image”的方法。Integral Image首先提前算出某一区域内的像素总和,这次比对过程中算出了各行像素和。利用Integral Image,可以使相关演算的量降至几百分之一。另外,姿势数据库再将根据关节角度数据画出的CG模型进行平面投影,生成人物影像的图像。
其次,将姿势数据库中相似的姿势排列成3层树结构。树的最上层按大体的姿势分成几类,首先对这一层进行比对、筛选。判断结果出来后再进行下一层的对比。检索处理中,树结构的每一分枝都由Cell的七个SPE分别处理,是并行处理。
更多相关: AV集成
©版权所有。未经许可,不得转载。