浏览器端的机器学习 tensorflowjs(5) 数据处理

cover_002.png

为了体现 TensorFlow.js 的性能优势，需要将数据转换成张量，同时来需要进行一些处理如洗牌和归一化，具体做法代码里见。

/**
 * 将输入数据转换可以喂入机器张量(tensors)
 * 对数据进行洗牌和标准化处理
 */
 function convertToTensor(data) {
    // 对数据进行操作包裹在一个 tidy 函数内。
  
    return tf.tidy(() => {
      // Step 1. 对数据进行随机排序，这样便于多轮训练
      tf.util.shuffle(data);
  
      // Step 2. 将数据转换为 Tensor
      const inputs = data.map(d => d.horsepower)
      const labels = data.map(d => d.mpg);
  
      const inputTensor = tf.tensor2d(inputs, [inputs.length, 1]);
      const labelTensor = tf.tensor2d(labels, [labels.length, 1]);
  
      //Step 3. 将数据归一化，也就是将数据取值范围控制到  0 - 1 如果多特征可以消除正常差异性，便于训练
      const inputMax = inputTensor.max();
      const inputMin = inputTensor.min();
      const labelMax = labelTensor.max();
      const labelMin = labelTensor.min();
  
      const normalizedInputs = inputTensor.sub(inputMin).div(inputMax.sub(inputMin));
      const normalizedLabels = labelTensor.sub(labelMin).div(labelMax.sub(labelMin));
  
      return {
        inputs: normalizedInputs,
        labels: normalizedLabels,
        // 返回  最小/最大界限
        inputMax,
        inputMin,
        labelMax,
        labelMin,
      }
    });
  }

数据洗牌

tf.util.shuffle(data);

每次训练数据前我们需要将数据的顺序打乱好处是更利于训练。因为在训练过程中，数据集通常被分成较小的子集，也就是所谓批次，模型在进行训练，让模型每次看到数据都是多样变化的。

转换为张量

const inputs = data.map(d => d.horsepower)
const labels = data.map(d => d.mpg);

const inputTensor = tf.tensor2d(inputs, [inputs.length, 1]);
const labelTensor = tf.tensor2d(labels, [labels.length, 1]);

我们这里数据有两个维度，也就是有两个特征，一个特征作为输入(马力)，另一个是真实值（在机器学习中被称为标签）其实真实值也是数据一个特征。

然后将每个数组转换为一个 2d 张量。该张量的形状为 [num_examples, num_features_per_example]。其中 inputs.length 是样本数量，每个样本有 1 个输入特征（马力）。

数据标准化

const inputMax = inputTensor.max();
const inputMin = inputTensor.min();
const labelMax = labelTensor.max();
const labelMin = labelTensor.min();

const normalizedInputs = inputTensor.sub(inputMin).div(inputMax.sub(inputMin));
const normalizedLabels = labelTensor.sub(labelMin).div(labelMax.sub(labelMin));

对数据进行归一化处理，也可以称为标准化处理。通过对数据进行缩放，让所有数据取值范围都在 0-1 这个范围。归一化其实很重要，好处消除不同取值范围特征之间差异性，同时模型更喜欢0 到 1 或者 -1 到 1 这样的小数。

return {
  inputs: normalizedInputs,
  labels: normalizedLabels,
  // Return the min/max bounds so we can use them later.
  inputMax,
  inputMin,
  labelMax,
  labelMin,
}

之所以返回归一化缩放用到最大、最小值。用途两个，第一个是我们利用这些将数据进行还原，还有就是在预测时，可用这些值对新数据进行归一化处理。