菜鸟实习日记~day3(FRRU+ResNet)
生活：
上午来回跑着修电脑，原以为硬盘又坏了，气吼吼地去找学八地下的维修点算账，结果人一检查发现，硬盘没毛病....是接口接触不良.....哦漏看来以后再遇到这种问题，先拆机重装一下硬盘再说........
然后回到所里已经11点了，实在不想吃食堂的饭...午饭就吃了一个苹果，下午四点多饿的不行了又吃了一个面包~晚上还要加班弄懂ResNet~估计一会得晚饭也不吃了吧~减肥~减肥~减肥~
【今日无图】
科研：
先吐槽一句：贵所打印机真多.....终于把打印机搞定了...............................................................
刚弄懂的几个名词：
1.鲁棒性（Robustness）
原本是应用在生物学领域，在机器学习领域说为“健壮性”好像更好
计算机科学中，健壮性（英语：Robustness）是指一个计算机系统在执行过程中处理错误，以及算法在遭遇输入、运算等异常时继续正常运行的能力。 诸如模糊测试之类的形式化方法中，必须通过制造错误的或不可预期的输入来验证程序的健壮性。很多商业产品都可用来测试软件系统的健壮性。健壮性也是失效评定分析中的一个方面。（WIKI）
2.自编码网络（AutoEncoder）
简单讲就是在正常的对原始图片进行压缩（encoder)之后，再利用很多池化层balabala，使特征图的尺寸变回原来的大小(decoder)，得到一张处理后的图片。最后，如果处理后的图片与原图片相比，各方面差距不那么大，那么之前的压缩网络是很好的，可以使用的。
你的输出和原始输入一样,就是autoencoder。
所以，后面部分的扩展decoder，相当于对前面压缩网络encoder的一个可用有效性的证明。
最近几年，用的很广泛，相关论文还没有看。
论文：
1.《Full-Resolution Residual Networks for Semantic Segmentation in Street Scenes》(FRRU)
提出背景：已有的许多网络能够对识别（recogntiton)有很高的accurcy，但是往往忽略的对location accuracy的注意，比如boundary之类的....
@1 文章的主要思路是采用 two streams.一个是residual stream(残差)，用于允许low level features 在网络中毫不费力的传播；另一个是pooling stream(普通的前馈网络），用于对high-level feature的识别。
The result of the second(red) conv unit is used in two ways:
Firstly,it forms the pooling stream input of the next FRRU in the network and second it is the basis for the computed residual.(计算结果可以重复利用）
@2 为什么这样做呢？作者发现，如果pooling layer太多，会造成边缘定位困难（difficulties tracking low-level features,such as edges and boundaries,in deeper layers);但是，如果pooling layers太少，又会造成相反的效果，可以定位边界之类，但是perform poorly at recognizing the actual objects.
＠３本网络没有局限于ｐｒｅ－ｔｒａｉｎｅｄ。
ｐｒｅ－ｔｒａｉｎｅｄ（ｗｈｅｒｅ ａ ｌａｒｇｅ ｎｕｍｂｅｒ ｏｆ ｗｅｉｇｈｔｓ ｆｏｒ ｔｈｅ ｔａｒｇｅｔ ｔａｓｋ ｃａｎ ｂｅ ｐｒｅ－ｓｅｔ ｂｙ ａｎ ａｕｘｉｌｉａｒｙ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｔａｓｋ预先设置权重）的坏处：训练后，新的网络元素或新的激活功能通常不能添加，限制了设计空间。
但是 ｉｔ ｉｓ ｂｅｔｔｅｒ ｔｈａｎ ｓｃｒａｔｃｈ ｕｓｉｎｇ ｔｈｅ ｄａｔａ ｏｆ ｔｈｅ ｔａｒｇｅｔ ａｐｐｐｌｉｃａｔｉｏｎ．（比使用目标应用程序数据从头开始开始训练网络相比更好）
@４ 为了利用反向传播算法，the entire forward pass has to be stored in the memory。所以为了解决训练时的这个问题（测试时不会出现这个问题）：partition the computation graph into several subsequent blocks by manually placing cut points in the graph.(在图中手动放置定位点）
@５ 为防止过拟合：translation augmentation ＆＆ gamma augmentation.
2.ResNet
天才般的，在向后传播的过程中，将N层都化为深度为3层，大大减少了梯度弥散或爆炸。这个地方等到学长七点才弄明白，实在是受不了了（出虚汗...),明天来了再好好理解这一块，还有FRRU里面涉及的部分。
明天见啦~
