t-SNE

t-SNE是一种降维算法，在可视化中经常使用，这里介绍其基本概念。

参考资料如下：

视频地址：

https://www.youtube.com/watch?v=4GBgqmq0XAY

介绍t-SNE之前，先介绍SNE

SNE

SNE的全称为Stochastic Neighbor Embedding，输入输出分别为：

$$X =[x_1,...,x_n] _{d\times n} \\ Y=[y_1,...,y_n]_{p\times n}$$

一般来说，$p<d$，SNE算法将$X$映射到$Y$，起到了降维的作用，下面介绍具体算法：

$$对每个x_i,x_j，定义\\ p_{j|i} =\begin{cases} \frac{\exp(-\frac{||x_i-x_j||^2}{2\sigma_i^2})}{\sum_{k\neq i}\exp(-\frac{||x_i-x_k||^2}{2\sigma_i^2}) } & i\ne j\\ 0, & i= j \end{cases} \\ 对每个y_i,y_j，定义\\ q_{j|i} =\begin{cases} \frac{\exp(-{||y_i-y_j||^2})}{\sum_{k\neq i}\exp(-{||y_i-y_k||^2}) } & i\ne j\\ 0, & i= j \end{cases} \\ 我们要求Y,使得KL(P||Q) = \sum_{i,j} p_{j|i}\log \frac{ p_{j|i}}{ q_{j|i}}最小$$

有了SNE，就可以介绍t-SNE了

t-SNE

t-SNE的全称为t-Distributed Stochastic Neighbor Embedding， 和SNE有两个不同点：

1.让SNE对称，不定义条件概率，定义联合概率，并且使每个$\sigma_i$都相同：

$$对每个x_i,x_j，定义\\ p_{i,j} =\begin{cases} \frac{\exp(-\frac{||x_i-x_j||^2}{2\sigma^2})}{\sum_{k\neq i}\exp(-\frac{||x_i-x_k||^2}{2\sigma^2}) } & i\ne j\\ 0, & i= j \end{cases} \\$$

2.对$Y$不使用正态分布，而是使用t分布：

$$对每个y_i,y_j，定义\\ q_{j|i} =\begin{cases} \frac{\frac{1}{1+||y_i-y_j||^2}}{\sum_{k\neq i}\frac{1}{1+||y_i-y_k||^2} } & i\ne j\\ 0, & i= j \end{cases} \\$$

其余部分都相同。

延伸阅读：https://lvdmaaten.github.io/tsne/