硕士毕设：一部基于计算机视觉的互动电影

目录

1毕设描述、2毕设目标、3功能性原型、4定量分析、

5计算机视觉原理、6结果-原型可用性分析、7结果-三种交互满意度分析

1、毕设描述

使用Python制作了一个原型，相机会捕获用户的动作（张嘴，皱眉，眨眼）。通过定量和定性结合的办法，研究用户对互动电影的满意度，以及这三种交互用户的倾向性，和影响因素。

2、毕设目标

新冠病毒的全球大流行，阻碍了人们去线下体验互动电影。我试图通过电脑自带的摄像头，捕捉人们的面部动作，来实现电影和人的互动。目标是通过这个毕设项目，为业界提供一种新的互动可能性，促进互动电影的发展。具体地说，其一，这个项目使用的是摄像头，可以让观众方便地观看和互动，这有助于互动电影通过网络来传播，而不必依赖线下环境；其二，通过面部动作来实现互动，摆脱了通过鼠标点击造成的不自然感，为互动电影的发展提供了新的思路。

3、功能性原型

4、定量分析

根据使用SPSS，检查三种交互下，用户的满意度是否存在显著性差异

5、计算机视觉原理

6、结果-对原型可用性的分析

    眨眼的版本是最好的，其次是张嘴的版本，最后是皱眉版本。

    皱眉版本得分最低。首先，网络摄像头很难检测到皱眉动作。相比于眨眼、皱眉和动嘴唇的幅度，很明显，皱眉不是明显的面部线索，所以摄像机很难捕捉到。此外，视频质量网络摄像头限制了检测的准确性(Meng，2017)，这也使得摄像头无法捕捉高清人脸数据。第三个原因是距离。皱眉计数计算距离68个五官中左右眉毛的两点之间，但距离这两点会受到人与网络摄像头之间距离的影响。因此，当受试者经历皱眉版本，以上三个因素导致原型无法获得有效的用户皱眉提示(皱眉次数)与用户互动。

    眨眼和嘴唇运动的版本获得了很高的评价，主要是因为检测的准确性。尽管房间的照明水平和用户与网络摄像头之间的角度影响检测的准确性，用户只需要根据自己的生活经验进行自我调整(如开灯、拉窗帘、改变摄像头位置)确保检测的准确性。因此，观众可以有效地与电影进行面部互动线索。然而，是什么导致了两个版本满意度的差异呢？答案是，眨眼是一种更有效的非语言暗示，这一点我在第6.2.1章中有更详细的讨论。   

    一般来说，原型的质量，即检测非语言线索的准确性决定了用户的满意度。在相关工作中，我提到被动电影依赖昂贵生理检测设备和线下影院，所以我希望开发一个以互动电影为主计算机视觉。目前，一个好的结果是我已经成功开发了这样一个原型，它可以通过网络摄像头检测人类的非语言信号，主要是面部信号。然而，新的问题出现了。一部分是对环境的要求。例如，观众需要保证房间有良好的采光水平。此外，网络摄像头之间的距离和角度而人脸会影响长宽比计算和计数的准确性。此外，用户在安装原型的过程中可能会遇到一些问题。在我看来，原型中暴露的这些复杂的可用性问题是可以迭代的改善了。更具体的讨论在讨论的未来部分。但现在，眨眼之间版本最受欢迎。

7、结果-对用户满意度的分析

    大多数参与者都认为眨眼可以反映他们的状态。在单项选择题中'哪个非语言线索能反映你的状态'，13名受试者中有7人选择眨眼。在采访中，参与者也给出了具体的理由。例如，当他们看到电影中荒诞的情节时，他们的眼睛会被它吸引，所以用户会减少眨眼的频率。换句话说，当观众看到无聊的内容，频繁的眨眼是系统切换的有效提示内容。因此，眨眼是一种有效的非语言暗示。

    此外，人们支持皱眉可以反映他们的状态，尤其是当人们感到困惑的时候场景。四个人在一个选择题中选择皱眉“你认为哪个面部动作？”能准确反映你的状态’。深度访谈也支持这一结论。一些观众提到当他们看《瞬间》时，一个女人和她的家人在哭，所以观众皱起眉头，转向进入的民兵。于是，他似乎猜到了剧情而放松下来他的眉毛。因此，皱眉是一种有效的非语言线索。

    然而，参与者对嘴唇运动是否能反映他们的状态，无论是问卷还是面试结果。例如，唇的数量动作可能代表吃，判断用户的状态并不容易。与会者还可以打哈欠，这似乎表明他们对透视不感兴趣。然而，嘴唇运动也可能意味着参与者与他们的朋友分享情节，这似乎表明他们对这部电影非常感兴趣。此外，问卷调查和访谈阶段也提到了其他非语言线索。为例如，一个受试者说要捕捉手的姿势。因为用户认为手很容易被被系统检测到。另一位与会者提到了低头的动作。他解释道如果用户在看电影时(尤其是在家里)低下头，这通常表明他正在用手机，对电影不感兴趣。凝视也被提及，因为它可以显示用户对电影中角色的兴趣。一般来说，用户认为眨眼和皱眉是有效的非语言暗示，代表他们的国家。

    此外，我还讨论了非语言暗示可能会传达用户的个性、情感和生理状态。在我的问卷和访谈中，受试者同意非语言的眨眼和皱眉等暗示可以代表他们的状态。然而，在原型化的过程中发展，识别他们是复杂的。例如，打哈欠代表嘴唇运动，但吃东西而且聊天还会导致嘴唇运动，这很难反映参与者的状态。因此，除了找到有效的非语言线索，找到一个合适的算法来察觉非语言暗示。