第47周学习总结——吴恩达深度学习

2017-11-27 本文已影响0人 liuchungui

上一周，回了一趟长沙，后面懒了性子，十个小时没有完成。这一周，定了个目标（每天学习两个小时，有惩罚的），算是完成了。

主要学习的事情有：

跑im2txt的代码

上周，在将自己实现的im2txt经过训练之后，发现推断方法有问题，也就是在训练的时候能得到相关的结果，但是在推断的时候得出的结果，不管怎么训练都是一样的。汗，代码是由seq2seq改造过来的，但是推断的时候怎么改成im2txt形式，就不知怎么办了。

然后，没有办法，还是走原来的路线，先生成TFRecord格式的数据（需要110G，做之前我算了下占用空间得100G以上，当时磁盘没这么大空间，所以换成另外一种生成数据集的方式），然后修改下google的im2txt对分词处理，最后就训练了。

在训练的时候，刚开始是拿1万数据量进行训练。训练完之后，看到的效果已经很不错了。然后，信心满满的将所有数据进行训练，但是发现收敛好慢，就算是将原来的512的LSTM Units改成了2048也不行。到现在，模型的损失在1.0左右徘徊，远没达到我理想中0.6的损失。

最近段时间，将这个模型搞一搞，将那个模型搞一搞，发现基础知识还是太差。所以，重新捡起吴恩达的深度学习课程开始学习。前面一次学习的方式是看网易云课堂的视频，然后将相关理论知识看懂了七七八八，但是最近发现还是不太懂。

然后，这一次是在网易云课堂看视频，然后在Coursera上做练习，争取拿到证书为结果。

这一周，学习了前面两周的内容，主要内容有：

完成了第一课的练习，第二课的选择题练习，编程题还未完成。

总结：自己还是比较拖，本来是打算将编程题练习也搞定的，然后落下了。然后，跑im2txt的模型，需要重新调整参数。

计划：