Weighted cross entropy and Focal

  在CV、NLP等领域，我们会常常遇到类别不平衡的问题。比如分类，这里主要记录我实际工作中，用于处理类别不平衡问题的损失函数的原理讲解和代码实现。

Weighted cross entropy

  如果对交叉熵不太了解的请查看，彻底理解交叉熵
  加权交叉熵思想是用一个系数描述样本在loss中的重要性。对于小数目样本，加强它对loss的贡献，对于大数目的样本减少它对loss的贡献。
这和二值交叉熵仅仅有一点变化，就是在正样本的判别上加了一个系数。是需要事先根据数据集计算。
w的计算逻辑：
  假设训练数据集有类，每类的样本数目为个，从1到。那么有一种median blance的办法计算。
  求出这个样本数目的中位数，假设是,所有的除以,得到新的一组系数，这组系数取倒数就得到了对应类别的系数。
例子：
  假设数据集有3类，分别对应数目是2，3，5，则中位数为3，每类数目除以3得到一组新系数为,,,再取倒数得到最终的系数为1.5，1，0.6。
numpy代码如下：

import numpy as np

def Wce(logits,label,weight):
    '''
    :param logits:  net's output, which has reshaped [batch size,num_class]
    :param label:   Ground Truth which is ont hot encoing and has typr format of [batch size, num_class]
    :param weight:  a vector that describes every catagory's coefficent whose shape is (num_class,)
    :return: a scalar 
    '''
    loss = np.dot(np.log2(logits)*label,np.expand_dims(weight,axis=1)) + \
           np.log2(logits) * (1-label)
    return loss.sum()

Focal loss

Focal Loss for Dense Object Detection
  focal loss的设计很巧妙，就是在cross entropy的基础上加上权重，让模型注重学习难以学习的样本，训练数据不均衡中占比较少的样本，相对放大对难分类样本的梯度，相对降低对易分类样本的梯度，并在一定程度上解决类别不均衡问题。
如果将cross loss定义为：
那focal loss加权后的定义是相信很多人都迷惑，是什么。对一个样本来说，就是该样本真实的类别，模型预测样本属于该类别的概率。例如某样本的label是[0,1,0]，模型预测softmax输出的各类别概率值为[0.1,0.6,0.3]。该样本属于第二类别，模型预测该样本属于第二类别的概率是0.6。这就是。
实际上就是个阶段函数。
为什么这么定义，我们先来求下上例的cross entropy是多少loss为-log(pt)，pt可理解为指示函数，指示对于某样例，模型预测该样例属于真实类别的概率值。
二分类是个特例。由于这两个的概率值互斥（总和为1），定义如下，也就是论文中的公式。其实和多分类一样，只是知道其中一类的概率，另一类的概率用表示而已。理解为后，整个公式就很好理解了。就是在cross loss前加上了两个权重项和，下面分别来解释这两个权重项是怎么定义的，有什么作用。

1. 
     项用来处理类别不均衡问题，类似于机器学习中训练样本的class_weight。也是个指示函数。例如训练样本中个类别占比为20%，10%，70%。那么可以定义如下。其实就是某类别占比较高，就将该类别设置一个较小的权重，占比较低就将其设置一个将大的权重，降低占比高的loss。提高占比低的loss。
2. 有两个作用

• 让模型专注于训练难训练的样本，对于模型所属的真实类别，模型的预测值的值接近1，说明该样本容易训练，pt值接近0（模型预测该样本属于真实类别的概率是0就说明错的很离谱），样本难以训练。提高难以训练样本的loss。降低好训练样本的loss。。同样。符合我们的要求。(满足我们需求的函数很多，并不强制要求为此函数）
  
• 一定程度上也能解决类别不均衡问题。我们经常会遇到一个问题，如果在二分类中，负样本占比0.9。此时模型倾向于将样本全部判负。考虑正常中，由于正负样本的权重一样。包含两部分（90%的负样本（模型判别正确），10%的正样本模型判别错误）。也就是错误样本带来的loss在中只占10%。加上项后，会提高正样本判负的loss在总loss中的比重。

import numpy as np

def focal_loss(logits, label, a, r):
    '''
    :param logits: [batch size,num_classes] score value
    :param label: [batch size,num_classes] gt value
    :param a: generally be 0.5
    :param r: generally be 0.9
    :return: scalar loss value of a batch
    '''
    p_1 = - a*np.power(1-logits,r)*np.log2(logits)*label
    p_0 = - (1-a)*np.power(logits,r)*np.log2(1-logits)*(1-label)
    return (p_1 + p_0).sum()