Digital image processing: p002 - What is image and video processing (part 2)

如果说前一期是图像和视频处理(image and video processing)的话，这一期有点偏向计算机视觉，也就是computer vision.  图像处理(Image processing)和计算机视觉(Computer vision)这两个领域其实非常接近。

图像处理是对图像或视频的呈现效果进行修改,而不涉及图像和视频的内容。有点类似在于PS。

计算机视觉关注于图像或视频的内容，对内容进行识别、提取等加工。

这是我个人对这两个领域的理解，我个人比较偏好计算机视觉，因为理解内容很有意思。

---

Consumer image and video(消费者图像和视频)识别行为

例子1：

在播放的一段视频当中，计算机算法用两种颜色的框框标示所实时的识别的两个人的动作，不同颜色表示不同动作。

Different action

当两个人跳同样的舞的时候，开始用绿框标示两个人的action是一样的。

Different action

例子2：

视频中识别有两种action，一个是跑，一个是跳。

绿色的框框表示跑：

Long jump-running

黄色的框框表示跳：

Long jump-jumping

Denoising:

例子3：

用算法解决自动给拍出的相片去噪。

Denoising

个人认为，这就是一个Image processing和Computer vision界限比较模糊的例子。上图的去噪和图像内容没有关系，只是优化图片内容的呈现，所以可以算是Image processing。但是，基于解决问题的算法不同，有些算法可以把图像中的‘噪声’识别并提取出来，这时候“噪声”就是一种“内容”。对内容进行识别和提取也是Computer vision的范畴。

Medical and Biological Images

Deep Brain Simulation(DBS):

Electrode Implant Diagram

有的大脑手术要求神经外科医生把电极植入大脑的某一特定位置。植入的位置必须极其精确。一个比较基本的难题是医生要在手术之前能看到病人大脑内部的确实构造(我猜是因为等把脑壳打开了再现找位置就晚了。。)。

Brain model

通过很多技术的结合可以把大脑的需要植电极的位置建模出来。

3D Brain model of Electrode implant

并且可以精确到具体的植入电极的位置，帮助神经外科医生顺利完成手术。在这个复杂的过程中，需要应用到很多图像处理的知识。

HIV Research:

对于学习HIV病毒来说，识别它也是很重要且困难的一步。比如说下面左图病毒，病毒是靠那一圈像花🌹一样的东西(叫Envelope，不知道中文的学术名词叫啥)来附着到细胞上的。右图是envelope的3d建模。如果能准确识别出HIV的envelope，会对HIV研究有很大帮助。

3D model of Envelope on HIV virus

那为什么这个很难呢？因为实际得到的图片是下图左侧那种。那些长得像核桃的外面有零星的小点点就是envelope。图像很不清晰，但是要通过识别这种图像来建出模右侧envelope的模型。

 3D modelling from image

最后一个例子叫esophagus detection for cardiac ablation。我搜了搜不知道具体是什么手术，就不贴了。