Softmax极值项关于温度的导数

最近研究Softmax时发现一个有意思的结论，这里简单记录下。

Softmax和温度

给定：

$$\mathbf x =[x_1,\ldots, x_d]^{\top} \in \mathbb R^{d}$$

Softmax定义为：

$$\mathrm{Softmax}(\mathbf x)_i =\frac{\exp(x_i)}{\sum_j\exp(x_j)}$$

在实际中还有温度参数$\tau$，主要是控制Softmax的陡峭程度，计算公式为：

$$\mathrm{Softmax}(\mathbf x;\tau )_i =\frac{\exp(x_i/\tau)}{\sum_j\exp(x_j/\tau)}$$

Softmax极值项关于$\tau$有一个单调性的结论：

1. Softmax最大分量关于$\tau$递减；
2. Softmax最小分量关于$\tau$递增；

关于温度的导数

为了证明结论，考虑如下函数的导数：

$$f_i(\tau)\triangleq \mathrm{Softmax}(\mathbf x;\tau )_i =\frac{\exp(x_i/\tau)}{\sum_j\exp(x_j/\tau)},$$

关于$\tau$求导可得：

$$\begin{aligned} f_i'(\tau) &=-\frac{1}{\tau^2}\frac{\exp(x_i/\tau)x_i}{\sum_j\exp(x_j/\tau) } +\frac{1}{\tau^2} \frac{\exp(x_i/\tau) \left(\sum_j\exp(x_j/\tau)x_j \right) } {\left(\sum_j\exp(x_j/\tau) \right)^2 }\\ &=\frac 1 {\tau^2} \frac{\exp(x_i/\tau) \left(\sum_j\exp(x_j/\tau)(x_j -x_i) \right)} {\left(\sum_j\exp(x_j/\tau) \right)^2}. \end{aligned}$$

结论证明

Softmax最大分量满足：

$$x_i\ge x_j, j=1,\ldots ,d.$$

所以：

$$\begin{aligned} f_i'(\tau) &=\frac 1 {\tau^2} \frac{\exp(x_i/\tau) \left(\sum_j\exp(x_j/\tau)(x_j -x_i) \right)} {\left(\sum_j\exp(x_j/\tau) \right)^2}\\ &\le 0 . \end{aligned}$$

Softmax最小分量满足：

$$x_i\le x_j, j=1,\ldots ,d.$$

所以：

$$\begin{aligned} f_i'(\tau) &=\frac 1 {\tau^2} \frac{\exp(x_i/\tau) \left(\sum_j\exp(x_j/\tau)(x_j -x_i) \right)} {\left(\sum_j\exp(x_j/\tau) \right)^2}\\ &\ge 0 . \end{aligned}$$

直观解释

• $\tau$越大，分布越不集中，所以最大值会减小，最大值会增大；