人脸识别产品设计基础
人脸识别的产品设计
图像获取
图像获取是人脸识别的第一步，人脸图像主要来源为各类相机，图像质量很大程度会影响人脸识别的准确率。图像质量与采集设备和采集环境密不可分，我们从获取图像的方式、相机选择与架设、相机接入三个主题展开讨论，撰写图像获取的相关要点。
image.png
一、获取图像的方式
获取图像的方式有两种，第一种是直接从源头获取，通过对接前端各类相机、NVR录像存储等设备。第二种是间接获取，包含网上的开源数据集、第三方企业单位提供、用户上传、产品或项目积累。
无论是何种获取方式，图像归根结底是通过各类相机产生的。目前安防、商业类项目主要使用各类监控相机，相机选型、架设、调试及与平台的对接是前期图像获取的关键。
二、相机的选型与架设
1、选择合适的相机
相机的性能决定了图片质量的上限，选择相机需考虑到产品使用场景，并结合相机的功能、性能指标进行综合考虑。
1）监控一体机和人脸抓拍机
使用场景在室外的，相机需具备防雨、防雷、防雾、逆光调节、补光、夜视等功能，这种专门用于户外的相机叫做监控一体机。室内场景下，相机则不需要考虑防雨、防雾、逆光、极端天气等问题。
image.png
如果项目对人脸抓拍率、人脸识别的准确率要求较高，建议选择专业的人脸抓拍机，如图3，人脸抓拍机内嵌智能人脸算法，能够自动捕获进入检测区域内的人脸并进行追踪及人脸抓拍。
相较于普通监控相机，其优点是可直接输出人脸图片流，不需要在服务器端进行人脸检测，降低服务器计算的压力，同时具有出色的人脸曝光效果，增强了逆光环境下人脸的检测和抓拍效果，缺点是价格较高，一般是普通相机价格的1.5倍以上，所以需要考虑到成本问题。
2）常用的功能指标
- 智能分析功能（是否具有绊线、双绊线、周界、物品遗留、物品遗失、徘徊等分析功能）
- 智能报警功能（遮挡报警、IP冲突、MAC冲突、存储器满、存储器异常）
- 支持的网络协议（常用的TCP /HTTP/ FTP / RTSP/ONVI/28181是否支持，是否可定制协议）
- 图像处理（是否支持图像增强、背光补偿、透雾、走廊模式、图像风格可选）
- 彩转黑（是否支持内同步、报警同步、黑白、彩色、定时设置）
- 是否支持强光抑制、背光补偿
- 是否支持本地SD卡储存
- 是否支持断网续传
3）常用的性能指标
- 像素：200万以上为宜
- 图像分辨率：主码流最高分辨率需要不低于1080p（1920×1080）
- 宽动态：室外场景需大于120dB
- 最低照度：彩色≤0.001 Lux(F1.2,AGC ON) 黑白≤0.0001 Lux(F1.2,AGC ON)越低性能越好
- 防护等级：户外IP65以上、防雷、防浪涌
- 功耗：一般在10w以内
- 工作温度：室外在-30℃～60℃为宜
- 镜头：镜头选择见下文
2、镜头选择
相机镜头可分为变焦和固定焦距两种。变焦镜头的焦距是可以手动调节的，所以变焦镜头识别距离更广，也具有更高的适用性。
焦距决定了相机的成像距离，需要根据项目对人脸识别距离要求来选择最合适的焦距，下图展示了焦距大小与最佳人脸识别距离之间的关系。
image.png
3、相机的架设
即使选择了效果最佳的相机和镜头，也需要架设得当才能发挥其最佳效果。于是我们需要事先计算出最合适的架设高度和俯视角。
image.png
从上图不同角度拍摄的人脸效果对比可知，不同的拍摄角度获取的人脸效果互有差异，而按照人脸采集的惯例，通常是采用水平拍摄的方式最大程度获取目标人员的正脸，如身份证照片的采集。
1）俯仰角
人脸摄像机在安装时要求水平面上位于通道中轴线上（水平无偏转），并垂直面上有一定的俯视角度以照顾不同高矮人员经过时能正常抓拍，避免一前一后通过抓拍区域时后方人脸被遮挡，俯视角度α 要求保持在 10°±3°。
2）架设高度
image.png
如图6所示，推荐俯视角α为10°，摄像机视角中轴线延伸到人脸下颌位置，保证人脸处于画面中心区域，取成年人下颌以下的平均高度为 1.5 m（头部长 0.2 m），可得:
L=tan(10°±3°)×D (4)·1
H=L+1.5=tan(10°±3°) ×D+1.5 (5)
例：室内相机可视距离为6m，则算得H为2.5m，即相机应该架设的高度为2.5米，如下图所示。
image.png
3）架设环境
- 摄像机镜头至人员通道出入口中间空旷、无遮挡；
- 聚焦清晰，光照均匀，特别注意避免逆光、侧光，必要时进行补光；
- 人脸大小80像素以上(双眼距离大于30像素)；
- 人脸的俯仰角度在15度以内，左右角度在30度以内。
4）画面调整
调整镜头的目是获得合适的观察宽度。摄像机像素的大小决定了设备可观察画面宽度的范围，观察宽度过大会导致人脸抓拍图片模糊，所以一个合适的观察宽度十分重要，人脸宽度像素宜大于120，瞳距像素宜大于40。
如下表格，统计了不同像素的最佳观察宽度：
image.png
例：按照人像识别要求，人脸横向像素点宜在 120 以上，1080P 摄像机全幅画面横向像素点为 1920，成年人脸的横向平均宽度为 0.16 m，场景宽度（V）计算公式为：
image.png
image.png
三、相机的对接
大部分人脸识别的场景，是建立在对实时视频流（图片流）分析的基础之上，例如你想检测一个摄像机实时画面中的人脸，平台就需要先获取相机的实时视频流（图片流），这就涉及到了平台与相机等设备对接的问题。前端相机与平台之间是通过网络连接的，如果想实现对接，就需要平台满足相应的网络协议。
1、什么是网络协议？
网络协议为计算机网络中进行数据交换而建立的规则、标准或约定的集合。例如，网络中一个微机用户和一个大型主机的操作员进行通信，由于这两个数据终端所用字符集不同，因此操作员所输入的命令彼此不认识。为了能进行通信，规定每个终端都要将各自字符集中的字符先变换为标准字符集的字符后，才进入网络传送，到达目的终端之后，再变换为该终端字符集的字符。
2、网络协议的结构
网络协议分为很多种，例如TCP/IP协议、IPX/SPX协议、NetBEUI协议等。相机对接用到的是基于TCP/IP的四层网络，下三层由网卡、驱动、操作系统实现，研发只需要依据设备的用途开发应用层的协议。
3、通过协议接入相机
平台对接相机的目的是获取相机的实时视频流（普通相机）或图片流（人脸抓拍相机），所以需要开发相应的流媒体服务协议，常用的视频流媒体协议有RTP、RTSP、RTCP等，一般相机通用的协议为RTSP，人脸抓拍机一般支持FTP，国内政府公安类项目，安全级别比较高，会用到ONVIF/28181协议。
人脸库
人脸库是人脸识别的基础，建立人脸库往往是人脸项目的首要任务，接下来会介绍什么是人脸库、如何建立人脸库，特别还包含14个常见的人脸数据集，供大家实战使用。
image.png
一、什么是人脸库
简单来讲，人脸库就是人脸数据的储存管理中心，能够为人脸识别提供比对模板，为抓拍人脸数据提供管理空间，为人脸算法检测提供测试样本。人脸识别项目是建立在人脸库的基础之上，所以人脸识别的首要任务便是是建立人脸库。
人脸库按照用途可分为人脸比对库、人脸抓拍库、人脸数据集，不同类型人脸库的组成、结构、作用也有所不同，下面将会依次介绍，本文重点讨论人脸比对库。
image.png
1、人脸比对库
人脸比对库主要用于人脸1:N识别，如下图，人脸1:N是将人脸抓拍照片的人脸特征与人脸库中所有人脸特征进行逐一比对。
image.png
人脸比对库主要由人脸库管理、人脸数据、人脸库属性描述三部分组成，如下图：
image.png
人脸比对库按照应用场景又可分为四类，分别是黑名单库、白名单库、红名单库和灰名单库。
1）黑名单库：黑名单指需要重点管控、关注的人员，一般由在逃犯、惯犯、水客、异常行为或是想要重点关注的人员构成。比中黑名单中会产生报警提示，常用于公安追逃；
2）白名单库：白名单一般指可信人员，常用于商业领域中的通行管理，白名单中的人员容许进入通过。例如在楼宇内设置人脸识别门禁，只容许公司内部人员进入，于是可将公司员工设置成白名单，白名单一般不会触发报警；
3）红名单库：红名属于白名单的拓展应用，用于白名单中需要重点关注展现的人群，如VIP客户、领导人等，可在识别后进一步分析该人群的行为特点和活动范围；
4）灰名单：介于白名单和黑名单之间，是一类具有异常行为的可疑人员，还需要通过更多数据分析他们是否是黄牛、小偷、罪犯同伙等。
2、人脸抓拍库
人脸抓拍库是管理人脸抓拍数据的地方，在视频流或图片流中凡是能被算法检测到的人脸，都会经过图像处理形成一张张人脸的抓拍照片及对应的场景照，再将抓拍照片进行数据结构化并与其场景照一同保留至人脸抓拍库中。抓拍库的人脸照片会具有性别、年龄、戴眼镜、胡须、表情、是否戴帽子、是否有遮挡等图片描述，方便抓拍照片的检索及深层次人脸数据应用。
image.png
人脸数据分为结构化数据和非结构化数据，人脸结构化数据指将原始采集数据按照规则处理，形成具有统一格式，并用数据库二维逻辑表来表现的数据，如上图，抓拍库储存的是结构化数据，人脸结构化数据指原始人脸数据经过程序分析和过滤，形成具有统一格式和描述的数据储存在数据库中。
3、人脸数据集
人脸数据集就是用于检测人脸算法效果和训练算法的数据库，网上有很多公开的人脸数据集可为模型训练提供数据来源。
常见的人脸数据集可见下表：
1）人脸识别
image.png
2）人脸检测
image.png
3）人脸表情
image.png
4）人脸年龄/性别
image.png
二、如何建立人脸库
人脸库中人脸比对库的建立最为复杂，这里只讨论人脸比对库的建立过程。
1、梳理入库流程
人脸入库流程见下图，人脸数据包含人脸特征向量、人脸信息两部分，它们储存在数据库不同的表中，注意在删除人脸库照片时一定要删除它对应的特征向量。如果照片质量未达到要求，且没有更好的照片，可以有强制入库的选项。
image.png
2、制定入库规则
人脸数据的质量关系到人脸比对的效果，尽可能将人脸清晰、正脸、本人近期的人脸照片入库。在人脸入库时，产品经理需要制定入库规则来过滤质量不佳、格式不规范的人脸数据。
入库规则应该包含：
- 图片的颜色：可支持彩色及灰度的图片，最低要求256灰度图片；
- 图片的格式：各类主流图片格式，例如 bmp/jpg/png等，图片命名格式统一，如常用的命名“姓名_证件号”；
- 图片像素：双眼中心之间的距离大于30像素；
- 图片尺寸：尺寸大于70X80以上；
- 人脸角度：人脸左右偏转30度以内，上下偏转20度以内；
- 图片大小：建议几十KB~一百KB之间为宜，但也不能太大，超过500k，会影响入库速度。
3、设计人脸库功能及界面
人脸库应包含人脸信息的增、删、改、查等基本功能，必要的人脸字段需要根据用户需求来定，人脸库界面可参见下图的样式：
image.png
人脸信息可以从客户端批量导入，客户端需要提供人脸批量导入模板，批量导入适合小规模格式统一的数据。
当人脸项目中需要入库数万以上的人脸信息，并且人脸数据格式并不统一，整理起来很麻烦，这时就需要设计批量入库工具。
新建的人脸库需要设定人脸规模，一般分为＜1W、1W-100W、100W-1000W、>1000W四个范围，大库容进行人脸比对需要更高配置服务器，服务器配置与图像处理能力的关系将会在后续文章中详细讨论。
4、采集人脸库数据
如果想通过人脸识别技术识别某人，就需要先获取到该人的人脸数据，并录入人脸库中作为比对模板，那么如何采集人脸库数据呢？采集方式依据使用场景而定。
公安类项目，人脸数据提供方是公安，公安内部有大量的人脸数据，可通过对接公安信息资源库来获取人脸数据，如下图为八大公安信息资源库。公安的信息资源库是严禁外泄的，对产品的网络安全及数据保密性要求颇为严格，在产品设计时需要考虑到相关问题。
image.png
刷脸通行或新零售类项目，一般是用户配合式采集人脸信息，需要设计人脸信息采集入口，用户可在微信公众号、手机app或PC端进行注册时上传人脸信息。
image.png
大型商业类或平安城市项目中，需要设计非配合式采集人脸信息。一般会通过在主要出入口、通道、走廊等地部署的人脸抓拍机，抓拍路人人脸，自动建立该人档案库，这里需要用到一人一档，作者会在后期文章详细讨论。
image.png
人脸比对
image.png
一、人脸比对类型
人脸比对类型可分为四种，分别是人脸1:1、人脸1:n、人脸1:N、人脸M:N，人脸识别应用无非就是围绕着这四种比对方式展开，下面将依次介绍各种比对类型。
1、人脸1:1
人脸1:1一般用于人证核验，可以简单理解为证明你就是你。例如在乘坐火车、飞机，出入境，银行办卡，通常需要验证本人与其持有身份证是否为同一个人。如下图，系统只需读取二代身份证中的人脸照片，与现场抓拍的本人照片做比对即可。
人脸1:1又称为静态人脸比对，同时具有配合式的特点，完成比对需要用户携带身份证并主动配合采集人脸。
2、人脸1:n
人脸1:n是将一张人脸照片与人脸库中的多张人脸进行一一比对，人脸库有多少人脸就需要比对多少次。平台采集了“我”的一张照片之后，从海量的人像数据库中找到与当前使用者人脸数据相符合的图像，并进行匹配，找出来“我是谁”。
image.png
人脸1:n又称动态人脸比对，因为比对照片是从动态视频中获取的，同时具有非配合特点，整个比对过程是无感知的，不需要人为配合。由于这两个特性使人脸1:n能迅速落地于公安追捕逃犯，但其难度要远高于人脸1:1， 通常会受到光照变化、人脸姿态的影响，比如侧脸、低头、逆光现象会大大提升人脸漏报率。
人脸1:n中“n”的大小（人脸库照片的数量）会影响人脸识别的准确率和比对速度，所以比对人脸库规模会设置的相对较小。
3、人脸1:N
人脸1:N又称静态大库检索，即以人脸图片、人脸相似度作为检索条件，在人脸库中搜索与其相似（相似度大于设定阈值）的图片，类似于百度以图搜图，检索过程实际就是进行N次人脸比对并留下比分大于阈值的结果。
image.png
4、人脸M:N
人脸M:N实际就是两个人脸库进行比对，例如：人脸库A有M个人脸，人脸库B有N个人脸，如果想查看人脸库A和B包含多少个相同的人，就需要用人脸库A中M个人脸逐一与人脸库B中N个人脸进行比对，相当于是M个人脸1:N相加的结果。
image.png
人脸M:N常用于惯犯排查、身份查重。例如办案人员在处理类似三抢一盗的案件中，由于80%的案件是惯犯所为，于是将线索地点路人库与惯犯库进行人脸M:N比对碰撞，可快速排查嫌疑，找出侦查方向。
1、人脸数据
人工智能算法的演进必须有数据作为支撑，使用大量标注好的数据训练模型，可将识别的准确率从70%提升到99%水平。客观、精准的数据是人工智能应用必须具备的条件。
获取人脸数据的五种方式：
1）监控相机、手机相机等各种类型相机，拍摄的视频、照片是人脸原始数据的主要来源，项目中常通过RTSP、FTP等协议对接这类相机获取实时视频流或图片流。
2）NVR/DVR等录像储存设备，储存了大量视频资源，可通过ONVIF协议对接这类设备获取数据。
3）第三方企业、事业单位的人员信息库，例如公安的八大信息资源库，企业在职员工信息库等，获取这类数据难度较大，会涉及到第三方平台对接，还需考虑到保密、网络安全等问题。
4）互联网中的开放数据集，例如常用的WebFace、FDDB、LFW、YouTube Face等人脸数据集，提供了优质的标注数据，可用于算法测试及模训练。
5）网络爬取，通过编写或者利用免费网络爬虫程序可自动抓取万维网中的图片，它们被广泛用于互联网的数据采集中。
2、人脸比对库
人脸比对库为人脸识别提供比对模板，人脸1:n、人脸1:N、人脸M:N必须要有人脸比对库才能进行比对。本文第2小节已详细介绍。
3、比对阈值
比对阈值即人脸比对的相似度，人脸比对结果以相似度值呈现。在人脸比对之前需要设定一个相似度的门槛值，大于这个门槛则判定两张照片可能为同一个人。
比对阈值对人脸识别的准确率、漏报率影响颇大，比对阈值设置的越高准确率就越高，漏报率也会随之升高。比对阈值没有一个固定的标准，应根据应用场景来灵活调整，例如刷脸支付更关注比对准确率，需要调高阈值，而公安嫌犯人脸布控要求降低漏报，就需要适当调低阈值。
4、芯片
人工智能的三要素是算法、算力和数据，芯片决定了算力。深度学习工程的两大关键环节training（训练）和inference（推测）需要大量的算力支撑，普通的CPU无法满足计算要求。相继推出的高性能GPU、TPU、FPGA、ASIC等加速芯片，大大提升了计算速度，同时也促进了算法的发展。
image.png
GPU在人脸1:n、1:N、M:N比对中是不可或缺的，而部分人脸1:1计算量不大，可以不使用加速芯片。亿级人脸检索在GPU的加速下可以达到秒级返回结果。
5、人脸算法
人脸算法效果决定了人脸识别的上限，也是人脸比对最关键的要素，随着深度学习技术的普及，各大公司的人脸算法效果差距也越来越小。
目前主流的人脸识别算法可以分为以下四类：
1）基于人脸特征点的识别算法
2）基于整幅人脸图像的识别算法
3）基于模板的识别算法
4）利用神经网络进行识别的算法
2018年11月20日公布的有工业界黄金标准之称的全球人脸识别算法测试(FRVT)结果，如下图，排名前五的算法被中国包揽。依图科技(yitu)继续保持全球人脸识别竞赛冠军，在千万分之一误报下的识别准确率超过99%，排名第二的算法也来自依图科技。商汤科技(sensetime)摘得第三名和第四名，中国科学院深圳先进技术研究院(siat)排名第五，旷视科技(megvii)排名第八。
人脸算法虽然在各种数据集的测试中准确率颇高，但还远没达到在商业应用中的满意程度。目前仍然有很多缺陷需要解决，例如：
1）姿态问题
人脸识别主要依据人的面部表象特征来进行，如何识别由姿态引起的面部变化就成了该技术的难点之一。
姿态问题涉及头部在三维垂直坐标系中绕三个轴的旋转造成的面部变化，其中垂直于图像平面的两个方向的深度旋转会造成面部信息的部分缺失。使得姿态问题成为人脸识别的一个技术难题。
image.png
针对姿态的研究相对比较的少，目前多数的人脸识别算法主要针列正面、准正面人脸图像，当发生俯仰或者左右侧而比较厉害的情况下，人脸识别算法的识别率也将会急剧下降。
2）图像质量问题
人脸图像的来源可能多种多样，由于采集设备的不同，得到的人脸图像质量也不一样，特别是对于那些低分辨率、噪声大、质量差的人脸图像(如手机摄像头拍摄的人脸图片、远程监控拍摄的图片等)，如何进行有效地人脸识别是个需要关注的问题。
对于高分辨图像对人脸识别算法的影响也需要进一步的研究。现在，我们在人脸识别时，一般采用的都是相同尺寸，清晰度很接近的人脸图片，所以图像质量问题基本可以解决，但是面对现实中更加复杂的问题，还需要继续优化处理。
3）遮挡问题
对于非配合情况下的人脸图像采集，遮挡问题是一个非常严重的问题。特别是在监控环境下，往往被监控对象都会带着眼镜、帽子等饰物，使得被采集出来的人脸图像有可能不完整，从而影响了后面的特征提取与识别，甚至会导致人脸检测算法的失效。
image.png
人脸算法在人脸五官被挡的情况下表现的不是很好，目前对遮挡识别效果较好的DeepID2算法，可稳定识别遮挡在20%以内，块大小在30*30以下的人脸。
4）样本缺乏问题
基于统计学习的人脸识别算法是目前人脸识别领域中的主流算法，但是统计学习方法需要大量的训练。由于人脸图像在高维空间中的分布是一个不规则的流形分布，能得到的样本只是对人脸图像空间中的一个极小部分的采样，如何解决小样本下的统计学习问题有待进一步的研究。
人脸研判
image.png
一、什么是人脸研判
系统在人脸识别中会留下了大量优质的人脸数据，可分为人脸抓拍数据和人脸比对数据两种类型。目前单纯的人脸比对功能已经不能满足项目的需求了，于是对人脸数据深层次的分析就孕育而生出人脸研判。
人脸研判就是对人脸数据的深层次分析运用。
那么这些数据可做哪些运用呢？比如：人脸轨迹分析、出行规律分析、同行人报警、落脚点分析、人脸碰撞、超时报警、区域管控等，下面将详细介绍这些应用。
二、人脸研判类型及应用
1、人脸轨迹分析
人脸轨迹分析，是从海量路人库数据中，通过人脸识别技术，寻找到目标人的数据，利用数据中的时间、地点等信息在地图上绘制出目标人的运动轨迹，了解目标人员在一段时间内，从什么地方出发，经过了那些地方，最终在什么地方停下来，实现目标人员历史动向的还原展示。
为什么要使用人脸识别做轨迹分析？随着公安加大对平安城市的建设力度，各种类型的监控摄像头布满了大街小巷，于是利用监控视频寻找目标人便成为了一种有效的手段。从视频中识别目标人可以使用人体识别、人脸识别还有步态识别三种方法，其中人脸识别的准确率最高，人脸算法发展的最为成熟，人脸数据也是最容易获取的。
1）应用场景——获取目标人运动轨迹可用于寻找目标人及目标人运动特点分析，于是就产生了以下四种应用场景：
A）人员通行管理：基于历史通行记录，值班人员或者监控人员按照时间地点查看通行人员情况，发现可疑人员信息。
B）嫌疑人员行动追踪：根据人员通信历史轨迹，了解重点嫌疑目标人员都去了哪、经过了什么地方、最后出现的地方等，为刑侦及治安管理人员提供线索依据。
C）走失老人小孩查找：治安管理人员根据家人提供的走失人员照片，检索比对历史通行记录，寻找人员走失轨迹，为找到走失人员提供线索。
D）商场超市顾客行为分析：根据顾客运动轨迹分析顾客对什么类型的商品感兴趣，以及什么类型的商品最受青睐，以此制定销售策略。
2）实现方式
实现条件：目标人员人脸照片、人脸抓拍库、相机位置信息（经纬度）
image.png
3）实现要点
需要设置输入条件：目标人脸图片，时间段，发生区域。
目标人脸会与设定范围内的抓拍照片进行比对，筛选出大于比对阈值的人脸照片，再将照片按照抓拍时间顺序排列，在地图上按此顺序依次连接抓拍地点，即可生成运动轨迹。
抓拍库中会存在一个人在短时间内被重复抓拍的现象，即短时间内包含同一个人的多张照片，所以需要制定人脸去重规则，在间隔时间X内选取比分最高的那张图片，如果比分相同，则选择图片质量分数较高的。
间隔时间X需要考虑摄像头间距和行人速度。
image.png
2、同行人分析
同行人分析是指通过人脸识别的方法，寻找到目标人的同行或尾随人员，并在地图中绘制尾随或同行人员的行走轨迹，实现一人锁定全体，掌握所有关联人员的目的。
同行人分析常用于公安侦查团伙作案或尾随作案，是基于人脸轨迹的更深层次数据应用。
1）应用场景
刑侦人员或办案人员，查询一段时间内，其他人员与目标人员行走距离有一定间隔、通过地点多次重合、历史轨迹相似的人员行为分析。从而找到与案事件或目标人员有关联的同伙、蓄意尾随的人员等，协助警方采集证据侦破案件。
2）实现方式
实现条件：目标人员人脸照片、人脸抓拍库、相机位置信息（经纬度）、时间间隔和尾随次数。
实现流程：
image.png
A）绘制目标人员在设定时间段内的人脸轨迹；
B）从时间上第一个摄像头开始，统计目标人员经过该摄像头时间节点前后“时间间隔”内经过的所有人员人脸一直到最后一个摄像头；
C）对这些人脸进行聚类分析，同一个人的人脸照片归在一类里；
D）挑选出现在不同摄像头下次数≥2的类型，并绘制这类人脸轨迹。
3）实现要点
制定判定是否为同行人员的规则：这里引用了两个参数X、M，设定同行人与目标人出现在同一个相机画面中的时间间隔为X秒，及同行人和目标人出现在同一个相机下的频次为M，M≥2。
X的设置需根据应用场景来，如果是做尾随分析，在人流量较大的环境下，建议X设置在60秒内，如果是做同行人分析，人流量不大，可适当延长X。
3、落脚点分析
谋人在经过某些区域时，停留的时间较长，则认定该区域即为此人的落脚点。在地图上绘制某人的落脚点，可分析出某人经常活动的区域、住所、工作地点等。
1）应用场景
针对涉案的人员，通过落脚点分析，可以了解涉案人员经常去哪，在哪停留较长，从而为人员抓捕、蹲点堵控提供信息支撑。
2）实现方式
实现条件：目标人员人脸照片、落脚时间、人脸抓拍库、相机位置信息（经纬度）
实现流程：
image.png
A）绘制在设置的某段时间某片区域内的人脸轨迹；
B）计算轨迹内两两摄像头之间人脸出现时间差（停留时间）：后一个摄像头抓拍时间减去前一个摄像头抓拍时间，该时间差可认为是目标人在这两个摄像头间的停留时间；
C）绘制的轨迹中会有重复的线段，重复次数即为目标人在该区域的出现频次；
D）筛选出停留时间大于X且出现频次大于M的线段，并过滤距离较长的线段（线段两端相机为非邻近摄像头）；
E） 以筛选出的线段中心为圆心，线段长度为直径在地图上画圆，该圆形区域即为落脚点 。
3）实现要点
统计目标人员在“时间段”内的人脸轨迹，目标人员按照时间顺序经过的摄像头及时间点为A、B、C……Z，如果目标人员5次经过A、B时间，3次时间大于“间隔时间”（1小时），AB摄像头计“区域1” 3次；如果目标人员10次经过B、C时间，6次时间大于“间隔时间”（1小时），BC摄像头计“区域2” 6次；一直到最后摄像头XZ计“区域Y” N次。
摄像头无法抓拍每个经过的行人人脸，为防止AB摄像头过远，需要在查询之前计算出所有摄像头邻近的摄像头，首先获知所有摄像头的经纬度，计算A和B、C等所有摄像头的距离，找出它最近的几个摄像头（暂定8个）；计算B和A、C、D等所有摄像头的距离，找出它最近的几个摄像头，一直找到最后一个摄像头Z最近的几个摄像头。在查询时将行人轨迹中时间相近的两个摄像头和以前存储的表相比，如果属于摄像头邻近探头，则统计，不属于邻近探头则不统计。
4、人脸碰撞
多个地点不同时间抓拍到人脸进行比对，找到共同出现的人脸。例如地区A在h1段时间内抓拍到M张人脸，地区B在h2段时间内抓拍到N张人脸，地区C在h3段时间内抓拍到P张人脸，将地区A中M张人脸依次与地区B中N张人脸进行比对，找出其中相似的人脸，再将上述人脸与地区C中的P张人脸进行比对，得到A、B、C地区中共同相似的人脸。
1）应用场景
针对案件中犯罪份子多次作案和在一起案件中确认嫌疑人多个出现的地点的情况，可采用碰撞分析锁定嫌疑人员。
也可用于惯犯排查。办案人员在处理类似三抢一盗的案件中，80%的案件是惯犯所为，找到经过线索地点所有人员和惯犯库进行比对碰撞，可以快速排查，找出侦查方向。
2）实现方式
实现条件：时间范围、人脸抓拍库、相机位置信息（经纬度）
实现流程：
image.png
A）选择要碰撞的区域（即摄像头），输入每个区域要碰撞的时间；
B）以区域为单位区域汇总输入条件的人脸照片；
C）进行区域间的人脸比对；
D）输出大于比对阈值的人脸照片。
5、 出行规律分析
分析一段时间内指定人员的活动规律，统计该人员出现在各个地点（摄像头）的次数。
1）应用场景
办案人员找到一个嫌疑人线索后，需要知道嫌疑人经常在那些地方活动，在这些地点经常什么时间出现，为嫌疑人抓捕、掌握嫌疑人更多的作案地点提供信息支持。
2）实现方式
实现条件：目标人员人脸照片、人脸抓拍库、相机位置信息（经纬度）
实现流程：
image.png
A）输入目标人脸照片及要统计的区域和时间；
B）筛选出输入条件下的人脸抓拍照片，与目标人脸进行比对；
C）得到大于阈值的人脸抓拍照片；
D）统计上述照片出现在摄像头下的频次；
E）按照频次高低排序并输出目标人出现的摄像头及出现次数。
