图像美学摄制

发布时间:2016-11-27 打印[ ]

图像美学摄制(Aesthetic Shooting/Generating)是以人为中心的计算摄影关键技术,主要研究:知识与数据双轮驱动的摄制,人体动作捕捉,人体动作质量评估和增强,以及基于美学评估的AI生成内容等。

image.png

实验室的图像美学摄制(Aesthetic Shooting/Generating)研究内容包括:

1、Aesthetic Shooting:知识与数据双轮驱动的摄影(Shooting);

2、Aesthetic Generating:美学引导的AIGC(AI Generated Content)动作、图像、视频等。

(1)AIGC动作捕捉:

传统的视频动作捕捉采用逐帧人体姿态检测,本质上属于“照虎画猫”技术路线;但由于深度信息缺失、相机参数未知、预测误差不可控等因素,除非满足类似多摄像机光学动捕的苛刻条件,单目视频的捕捉动作很难达到商用级别。实验室尝试研究高精度基于AIGC的internet video动作捕捉、单目实时视频动作捕捉、human scene contact (interaction)等。基于AIGC的动作捕捉是实验室正在研发的“高光动作摄制系统”、“人像摄影与数字内容生产平台”等中可广泛应用的共性技术,动作质量对标商业级应用。

ezgif-1-cef9080232.gifezgif-1-5e91def877.gif

(2)美学引导的动作质量评估和增强;

(3)美学引导的AIGC图像、视频。


vRobotit实验室关于“图像美学摄制”代表性论文:

  • [1] Dongxiang Jiang, Yongchang Zhang, Shuai He, Anlong Ming*, M2Beats: When Motion Meets Beats in Short-form Videos, in Proceedings of the 33st International Joint Conference on Artificial Intelligence (IJCAI), 2024.
    开源项目地址 https://github.com/mRobotit/M2Beats

  • [2] Haiyang Zhang, Mengchao Wang, Shuai He, Anlong Ming*, AK4Prompts: Automatically Keywords-Ranking Guided by Aesthetics for Prompts in Text-To-Image Models, in Proceedings of the 33st International Joint Conference on Artificial Intelligence (IJCAI), 2024.
    开源项目地址:https://github.com/mRobotit/AK4Prompts