修士阶段回顾
一部分的资料，关于机器人实验室大部分资料丢失：
自缅甸回国以后，一直在准备实习面试。面了几家都还好，之后一家公司突然要面 CTO，莫名的有点方，便回顾了一遍硕士期间的资料。看完就想着可以写一篇对硕士阶段的回顾总结，作为新的实习阶段的开始。
所谓修士，即日本的硕士，我大概会将自己的硕士阶段分为转研究室前，与转研究室后。虽然这两年里值得写的东西太多太多，比如说从很尊敬的川西老师身上学到的东西，结交各国友人听到的东西，参加扶轮社奖学会的活动时看到的东西，和小伙伴一起创办音乐社的许多… 而这里只提一些与研究室相关的东西。
意外留学和转研
最初去日本，只因一个很偶然的契机，考研落榜，正巧自学过日语。于是不顾老爹反对，自己准备好了所有材料，拿着一笔钱便去了日本。结果因为想快速离开语言学校，意外入学了 JAIST（北路先端科学技术大学院大学，因为名字太长和名气小，最初一直以为是所野鸡大学）。
现在回头一看，不由感到命运的不可思议，这样的意外反而让我获得了我人生中最宝贵的一段经历。
刚到日本，因为本科学机械，加上对日本机器人听得比较多，就单纯地想着来日本学机器人。之后真正接触了又发现和自己想的不太一样。
��
入学初，志愿的是某位比较有名的韩国老师的研究室，入学计划书是在读了几篇论文后，瞎写出来的关于群机器人（Swarm Robot）的研究。之后，因听闻了许多关于此老师对学生不闻不问的传言，就转而选择了另一名日本老师的机器人实验室，做的是被动动态行走机器人 （Passive Dynamic Walking Robot）。
然而讽刺的是，进入实验室后才发现，所谓机器人实验室，并没有自己想象中的那种智能机器人。研究更多是在于力学和控制理论方面，每周研讨会，老师最喜欢的便是在黑板上写一大堆看了头晕的公式。而且实验室氛围很差，真的体会到了有什么样的老师，便会有什么样的实验室。
在此研究室待了半年有余，觉得研究没意思，没太多实际意义，研究出的东西更多是一种对自己理论上的自我满足。加上老师思想有点右，虽然人挺好的，但时不时会不懂氛围地开上些很敏感的玩笑，而且坚持让实验室成为金字塔结构。于是，在苦恼许久后，特别中间去了趟马来西亚，对自己真正想要的好好思考了一番（旅途中一个人呆在住处时真是一个思考人生的好时间 ），回来就毅然决然地转了研究室（结果以此为契机，实验室连着走了三个人，还被学院长约谈了）。
这次是学校中一个并没太多名气（因为老师不会日语，非常低调，官网也不更新），又是新创研究室，主要做自然语言处理方向（也因为深度学习的爆火，开始涉及深度学习）。我仗着刷过一遍吴教授的机器学习课，便联系了老师，之后向学校方面提出申请，转研成功。进入新实验室后非常开心，氛围很棒。
这个阶段值得一说的是：
- 很多时候名气这个东西只是在于宣传，会喊的孩子有奶吃，官网好能拉来更多注意。而实际上，更多的还是在于自己去亲自体验，找内部人问问清楚接触接触，比如说我先后接触到的实验室和学校。
- 还有，如果在日本，别太怕自己的教授，感觉先今日本在人权方面做得很好了，对老师与学生关系也处理很好，没有太多弯弯条条。你只需记住自己和老师是有一样权利的，如果他做出太出格的事你可以投诉他。 然而很遗憾的是，感觉很多中国留学生对教授有种本能的畏惧，如在国内一样。
- 最后，关于新环境的问题。如果自己在一个环境中感觉很差，没有进步，而且很难改变。那么建议可以换一个环境，然后在最开始的时候就以最理想的态度面对生活，之后用着这个惯性冲下去。
新的研究室与新的研究
进入新研究室，这是个基本都是越南人的实验室，一个巴西小哥还有我便是实验室仅有的“外国人”。在这个实验室，学到了很多，最深刻的便是体会了同侪压力。实际上，新研究室的越南教授很佛系，对学生也并不太严格管理。但是却因为周围研究室里一群优秀的同学们，刺激得自己进步了很多。
研究室创立的第一批人都很优秀，也很刻苦，生活方式也很健康。总能跟他们学习，比如科研技巧，时间管理，还会和他们在每周研讨会上辨论，学习他们每天都很早去实验室很晚才回寝室，平时也常运动身体… 他们帮组我这些研究方面的东西，而我作为实验室日语最好的人，也会帮他们处理很多日语文件，这期间大家也就成了好朋友。
这段经历让我感触最深的就是我在吴军《大学之路》看到的一句话，“有时候根本就不需要老师，你只需将一群好学上进的年轻人放在一起，提供一个好的环境，他们便自然会擦出火花。” 所以我们实验室也是全校出优秀毕业生最频繁的一个。因此我建议去找能让自己上进的环境和同侪们。
说说自己研究，初入研究室，也是因为听说了机器学习和深度学习很火，其实对相关方面并不太了解。
最初一段时间，自己就在恶补基础知识，在各个平台看相关公开课，读各种博客，啃大部头的书，请教实验室的大家，总之花了几个月算是入门了。最大的感触还是，此类实验科学，看再多还不如动手跑跑代码来的实际。
这里列出转研到毕业前，接触过的一些研究课题，主要是从自己研讨会做的 PPT 里找来的，资料开头有分享。
最初，还不懂的时候被吴教授忽悠着去搞迁移学习（Transfer Learning），也就是如何利用一个富有数据的任务学到的知识来帮组另一个数据稀奇的任务。结果发现读了篇综述论文后，就察觉原来和自己想的完全不一样。不过通过这个，我接触到了和迁移学习相关的多任务学习（Multi-Task Learning）。
��
这时找不到课题的我，跑去求助教授。结果教授一如既往地抛出了一个，很火很新很热门，自己也不太了解的课题给我，视觉问答（Visual Question Answering），给出一张图片还有对这个图片进行的提问，模型对问题进行回答。当时想快速交研究计划书的我，结果随意了解了下就直接写了份研究计划书，之后看去非常不靠谱。
��
后来意识到计划书不靠谱的自己，因为对多任务学习感兴趣，于是开始转向了多任务学习。多任务学习是和迁移学习有些类似的任务，它想做的是利用多个相关任务一起训练，并且让这些任务互相帮组。这一阶段，读了很多论文，也实现了些模型。特别是还用 Universal Dependencies 2.0 数据，做了当时比赛的任务，用多任务学习来同时进行词性标注和依存分析。
ç�¸å
³å�¾ç��
结果没仔细读实验设定，以为自己的模型居然在某些语言性能超过了最好的模型，很兴奋地向研究室的大家宣布了结果，以为能早早完成硕士论文，发上篇 paper。然而突然发现实验某个设置弄错了，结果重新纠正过来后发现性能并没有太好，而要重新探索的话又得做很多实验。这也是第一次突然体验到了，研究出了问题失败的感觉，后面低沉了一段时间。
当然，做过的东西总是会有用的，因为在之前多任务学习中接触到了很多语言学相关的特征，便也接触了利用语言学特征的神经机器翻译。之后就开始转向了神经机器翻译，于是在毕业前半年入了这个巨坑。神经机器翻译，即用神经网络来做机器翻译。
因为没有实验室前辈做这一块，便得自己探索，可谓是吃了些苦头，就如在黑暗中行走，不停踩坑。有时候跑去问教授，因为他也不熟悉的缘故，给不了什么建议。
最初想了一个将 VAE 用在解码器中来利用目标语言双向信息的 idea，去努力实现。结果在临近毕业还有大概两个多月的时候，发现想法实现不出来，虽然代码写出来了，但性能却没有预料的一样得到提高。研读了一些关于该类问题的论文也无果。于是又有一段时间陷入低谷。
不过正如之前说的，做过的肯定是会有用的。在探索地过程中又获得了两个 idea，然后连忙做实验，终于在毕业前完成了自己的毕业论文。题目是关于神经机器翻译解码器如何利用目标语言的双向信息。
之后便顺理成章地毕业了，还侥幸地获得了优秀毕业生。现在还能清晰记得自己心脏狂跳地走上前，从校长老师手中接过证书和水晶奖杯，然后经过校领导们席位前，川西老师满脸笑容的看着我，说：“頑張ったね。（努力了呢）” 我使劲点头，说：“はい！（是的。）”
至此，修士阶段也就结束了。之后，和小伙伴们完成最后的音乐会，带着家人在日本旅游数日，回国一个人到处走走，在家考驾照被坑了一顿，又联系缅甸好友去缅甸转了一圈，回来后找了份实习开始下个阶段。
不可思议的事情是，最初我以迁移学习进入新研究室，现在实习又回到了相关课题。
这阶段，最主要的建议：
-
努力寻找好的环境和优秀的人，然后身处其中。在这个好环境中，和这些优秀的人进行竞争相互学习（同侪压力），不断地提高自己；
-
关于深度学习研究，目前还可以说大部分是实验科学，因此动手就显得无比重要。一定要自己多做实验，多尝试，从数据清理到模型测试调参都要清楚。失败了也不要紧，继续下一次探索。
正如我在某次失败后，很沮丧地跟实验室的 Tien 桑抱怨，他拿过笔写下 Research（研究），然后将这个词分开，变成 Re（重新）+ Search（搜寻），说：“研究就是不停地搜寻，如果失败了，那就继续换个思路重新搜寻。”
