Ecco - 用于可视化 NLP Language Models

这两天发现了Jay AlAmmar（就是写Illustrated transformer系列文章的作者）发起的一个开源工具，叫Ecco，作者正在宣传这个研究项目，目前是alpha版，能帮你进一步理解GPT系列的语言模型，据作者称，他们正在努力加入对BERT（masked language model）的支持，估计未来会发布。

上图是官网的slogan，强调Ecco可以提供各种可交互的可视化展示，官网上的例子也确实炫酷，让人对GPT到底是怎么预测有了新的认识。在作者的视频中，还提到了一个基于Pytorch的库Captum，是专门用于解释模型的。

过去一年NLP领域发展很快，似乎很多人都在用更多的数据，训练更大的模型，然后在各种benchmark上刷成绩，却很少放慢脚步研究一下各种模型内部的原理，它们为什么有效，哪里有效，如何能更直观的理解模型的运作机制。也许2021年就是时候逐渐打开这些黑盒了，期待这个方向的更多进展。