图像智能摄制(AI Shooting/Generating)是以人为中心的计算摄影关键技术,主要研究:知识与数据双轮驱动的摄制,人体动作捕捉,人体动作质量评估和增强,以及基于美学的AI生成内容等。
实验室的图像美学摄制(AI Shooting/Generating)研究内容包括:
1、AI-Shooting:知识与数据双轮驱动的摄影(Shooting);
2、AI-Generating:美学引导的AIGC(AI-Generated Content)动作、图像、视频等。
(1)AIGC动作捕捉:
传统的视频动作捕捉采用逐帧人体姿态检测,本质上属于“照虎画猫”技术路线;但由于深度信息缺失、相机参数未知、预测误差不可控等因素,除非满足类似多摄像机光学动捕的苛刻条件,单目视频的捕捉动作很难达到商用级别。实验室尝试研究高精度基于AIGC的internet video动作捕捉、单目实时视频动作捕捉、human scene contact (interaction)等。基于AIGC的动作捕捉是实验室正在研发的“高光动作摄制系统”、“人像摄影与数字内容生产平台”等中可广泛应用的共性技术,动作质量对标商业级应用。
(2)美学引导的动作质量评估和增强;
(3)美学引导的AIGC图像、视频。
vRobotit实验室关于“图像智能摄制”代表性论文:
[1] Dongxiang Jiang, Yongchang Zhang, Shuai He, Anlong Ming*, M2Beats: When Motion Meets Beats in Short-form Videos, in Proceedings of the 33st International Joint Conference on Artificial Intelligence (IJCAI), 2024.
开源项目地址: https://github.com/mRobotit/M2Beats
[2] Haiyang Zhang, Mengchao Wang, Shuai He, Anlong Ming*, AK4Prompts: Automatically Keywords-Ranking Guided by Aesthetics for Prompts in Text-To-Image Models, in Proceedings of the 33st International Joint Conference on Artificial Intelligence (IJCAI), 2024.
开源项目地址:https://github.com/mRobotit/AK4Prompts