Task04：数据完整存储与内存的数据集类+节点预测与边预测任务

2021-06-26 本文已影响0人从你美丽的流域

Datawhale提供的课程链接：https://github.com/datawhalechina/team-learning-nlp/blob/master/GNN

一、数据完全存于内存的数据集类

对于占用内存有限的数据集，我们可以将整个数据集的数据都存储到内存里。PyG为我们提供了方便的方式来构造数据完全存于内存的数据集类（简称为InMemory数据集类）。在此小节我们就将学习构造InMemory数据集类的方式。

内容安排如下：

首先，我们将学习PyG规定的使用数据的一般过程；

其次，我们将学习InMemoryDataset基类；

接着，我们将学习一个简化的InMemory数据集类；

最后，我们将学习一个InMemory数据集类实例，以及使用该数据集类时会发生的一些过程。

PyG定义了使用数据的一般过程：

1.从网络上下载数据原始文件；

2.对数据原始文件做处理，为每一个图样本生成一个**Data对象**；

3.对每一个Data对象执行数据处理，使其转换成新的Data对象；

4.过滤Data对象；

5.保存Data对象到文件；

6.获取Data对象，在每一次获取Data对象时，都先对Data对象做数据变换（于是获取到的是数据变换后的Data对象）。

实际中并非需要严格执行每一个步骤。

1.InMemoryDataset基类简介

在PyG中，我们通过继承InMemoryDataset类来自定义一个数据可全部存储到内存的数据集类。

图1.InMemoryDataset类

InMemoryDataset类初始化方法的参数说明：

root：字符串类型，存储数据集的文件夹路径。包含两个文件夹，raw_dir和processed_dir。raw_dir用来存储未处理的文件，即从网络上下载的数据集原始文件会保存在里面。processed_dir保存处理后的数据。

transform：函数类型，一个数据转换函数，它接收一个Data对象并返回一个转换后的Data对象。此函数在每一次数据获取过程中都会被执行。获取数据的函数首先使用此函数对Data对象做转换，然后才返回数据。此函数应该用于数据增广（Data Augmentation）。该参数默认值为None，表示不对数据做转换。

pre_transform：函数类型，一个数据转换函数，它接收一个Data对象并返回一个转换后的Data对象。此函数在Data对象被保存到文件前调用。因此它应该用于只执行一次的数据预处理。该参数默认值为None，表示不做数据预处理。

pre_filter:函数类型，一个检查数据是否要保留的函数，它接收一个Data对象，返回此Data对象是否应该被包含在最终的数据集中。此函数也在Data对象被保存到文件前调用。该参数默认值为None，表示不做数据检查，保留所有的数据。

通过继承InMemoryDataset类来构造一个我们自己的数据集类，我们需要实现四个基本方法：

图2.构造的数据集类包含的基本方法

2.一个简化的InMemory数据基类

图3. 一个简化的 InMemory数据基类

其中，class中的@property的使用方法可以参考博客https://blog.csdn.net/weixin_44232308/article/details/104897924，@property是一个装饰器，作用是把类中的方法变成属性来调用。

在raw_file_names属性方法中，写上数据集原始文件有哪些，再此例子中有some_file_1,some_file_2等。

在processed_file_names属性方法里，表示处理过的数据要保存在哪些文件中，这里的例子只有“data.pt”

在download方法里，我们实现下载数据到self.raw_dir文件夹的逻辑。

在process方法里，我们实现数据处理的逻辑：

1.首先，我们从数据集原始文件中读取样本并生成Data对象，所有样本的Data对象保存在列表data_list中。

2.其次，如果要对数据做过滤的话，我们执行数据过滤的过程。

3.接着，如果要对数据做处理的话，我们执行数据处理的过程。

4.最后，我们保存处理好的数据到文件。但由于python保存一个巨大的列表是相当慢的，我们需要先将所有Data对象合并成一个巨大的Data对象再保存。collate()函数接收一个列表的Data对象，返回合并后的Data对象以及用于从合并后的Data对象重构各个原始Data对象的切片字典slices。最后我们将这个巨大的Data对象和切片字典slices保存到文件。

3.InMemoryDataset数据集类实例

我们以公开数据集PubMed为例子，进行InMemoryDataset数据集实例分析。PubMed 数据集存储的是文章引用网络，文章对应图的结点，如果两篇文章存在引用关系（无论引用与被引用），则这两篇文章对应的结点之间存在边。该数据集来源于论文Revisiting Semi-Supervised Learning with Graph Embeddings。PyG中的Planetoid数据集类包含了数据集PubMed的使用，因此我们直接基于Planetoid类进行修改，得到PlanetoidPubMed数据集类。