Doraemonzzz

课程主页：http://www.inference.org.uk/mackay/itprnn/，http://www.inference.org.uk/itprnn_lectures/ 课程视频：https://www.bilibili.com/video/BV14b411G7wn?from=search&seid=1786094286746981315，https://www.youtube.com/watch?v=BCiZc0n6COY&list=PLruBu5BI5n4aFpG32iMbdWoRVAA-Vcso6 课程书籍：https://book.douban.com/subject/1893050/ 这次回顾第二讲，第二讲介绍了熵的概念。 备注：笔记参考了中文书籍。 熵和相关函数的定义结果为$x$的香农信息量定义为 h(x)=\log _{2} \frac{1}{P(x)}总体$X$的熵定义为香农信息量的期望 H(X) \equiv \sum_{x \in \mathscr{G}_{X}} P(x) \log \frac{1}{P(x)}方便起见，也将$ ...

课程主页：http://www.inference.org.uk/mackay/itprnn/，http://www.inference.org.uk/itprnn_lectures/ 课程视频：https://www.bilibili.com/video/BV14b411G7wn?from=search&seid=1786094286746981315，https://www.youtube.com/watch?v=BCiZc0n6COY&list=PLruBu5BI5n4aFpG32iMbdWoRVAA-Vcso6 课程书籍：https://book.douban.com/subject/1893050/ 最近开始补充信息论的知识，选择了David J.C. MacKay老师的课程以及书籍。 这次回顾第一讲，第一讲介绍了信息论导论。 备注：笔记参考了中文书籍。 如何在非理想的噪声信道上实现理想的通信信息专递在信道上发送数据（比特串），有一定概率接受到的消息不同于被发送的消息，考虑二进制对称信道： 解决方法为了解决上述问题，可以设计一个系统，该系统中涉及编码解码： ...

课程主页：https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1194/ 视频地址：https://www.bilibili.com/video/av46216519?from=search&seid=13229282510647565239 这里回顾CS224N Lecture 17的课程内容，这一讲主要介绍了Multitask Learning。 备注：图片均来自课程课件。 The Limits of Single-task Learning 当前的NLP模型都是针对单任务的，即对于特点的任务有特定的网络结构。 借助{数据集，任务，模型，指标}，近年来的性能有了很大的提高。 只要数据集数量够多，就可以产生局部最优的效果。 对于更通用的AI，我们需要在单个模型中进行持续学习。 模型通常从随机模型开始或仅经过部分预训练。 Why a unified multi-task model for NLP?为什么要让NLP使用统一的多任务模型？ 多任务学习是常规NLP系统的障碍 统一的模型可以决定如何转移知识（领域适应， ...

课程主页： https://www.davidsilver.uk/teaching/ 这里回顾David silver强化学习的作业Easy21。 参考资料 https://github.com/hartikainen/easy21 https://github.com/mari-linhares/easy21 1 Implementation of Easy21实现环境 import numpy as np dealer = [[1, 4], [4, 7], [7, 10]] player = [[1, 6], [4, 9], [7, 12], [10, 15], [13, 18], [16, 21]] action = [0, 1] def update(s, i): """ Parameters ---------- s : state array i : index Returns ------- None. """ #生成概率 p = np.random.rand() ...

课程主页：https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1194/ 视频地址：https://www.bilibili.com/video/av46216519?from=search&seid=13229282510647565239 这里回顾CS224N Lecture 16的课程内容，这一讲主要介绍了Coreference Resolution。 备注：图片均来自课程课件。 What is Coreference Resolution?识别所有提及同一现实世界实体的信息。 考虑如下文本，蓝色标注部分表示实体： 红色部分均指Obama： 橙色部分均指Hillary： 应用 全文理解 信息提取，问题解答，总结… “He was born in 1961” (Who?) 机器翻译 语言具有不同的性别，数量，代名词等特征。 对话系统 “Book tickets to see James Bond” “Spectre is playing near you at 2:00 and 3:00 today. ...

课程主页：https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1194/ 视频地址：https://www.bilibili.com/video/av46216519?from=search&seid=13229282510647565239 这里回顾CS224N Lecture 15的课程内容，这一讲主要介绍了自然语言生成（NLG）。 备注：图片均来自课程课件。 Recap: LMs and decoding algorithms自然语言生成（NLG）是指生成新文本的任务。 解码算法 贪心算法：每次选择概率最高的单词 束搜索(k)：每一步考虑$k$个概率最大的序列 Top-n采样：每次从概率最大的$n$个单词中采样 Softmax温度：增加超参数$\tau$，$P_{t}(w)=\frac{\exp \left(s_{w} / \tau\right)}{\sum_{w^{\prime} \in V} \exp \left(s_{w^{\prime}} / \tau\right)}$ NLG tasks and n ...

课程主页：https://www.coursera.org/learn/dsp1 这一讲介绍了Digital Signal Processing: the Basics。 介绍数字信号信号用来描述一些物理现象，本课程主要讨论数字信号，其特点为 离散时间 离散振幅 现实中的信号实际上是连续的，离散信号对于连续信号的逼近利用采样定理可以保证 x(t)=\sum_{n=-\infty}^{\infty} x[n] \frac{\sin \left(\pi\left(t-n T_{s}\right) / T_{s}\right)}{\pi\left(t-n T_{s}\right) / T_{s}}数据传输数据传输的理想情形如下： 实际中信号传播一定有噪声 \hat{x}(t)=x(t) / G+\sigma(t) 如果使用上图的形式解码则结果如下： \hat{x}_{1}(t)=x(t)+G \sigma(t)这样会产生非常大的误差，如果使用多个解码器更是如此 \hat{x}_{N}(t)=x(t)+N G \sigma(t)在数字信号中可以对上述问题进行简单处理，方法是 ...

课程主页：http://www.cs.cmu.edu/afs/cs/academic/class/15213-f15/www/schedule.html 课程资料：https://github.com/EugeneLiu/translationCSAPP 课程视频：https://www.bilibili.com/video/av31289365/ 这一讲介绍了机器级编程2：控制。 控制：条件码条件码（隐式设置） 单比特寄存器 CF：进位标志（无符号） SF：符号标志（有符号） ZF：零标记 OF：溢出标志（有符号） 通过算术运算隐式设置 例如：addq Src, Dest $ \leftrightarrow t = a + b $ 如果最高有效位进位，则CF置为1（无符号溢出） 如果$ t == 0 $，则ZF置为1 如果$ t <0 $，则SF置为1 如果 (a>0 \quad \& \& \quad b>0 \quad \delta \& \quad t y) result = x-y; else result = y-x ...

课程主页：http://www.cs.cmu.edu/afs/cs/academic/class/15213-f15/www/schedule.html 课程资料：https://github.com/EugeneLiu/translationCSAPP 课程视频：https://www.bilibili.com/video/av31289365/ 这一讲介绍了机器级的程序表示。 C，汇编，机器码定义 体系结构：（也称ISA：指令集体系结构）处理器设计中需要理解或编写汇编/机器代码的部分。 例子：指令集规范，寄存器。 微体系结构：体系结构的实现。 例子：缓存大小和核心频率。 代码形式： 机器代码：处理器执行的字节级程序 汇编代码：机器代码的文本表示 ISA例子： 英特尔：x86，IA32，Itanium，x86-64 ARM：几乎用于所有手机 汇编/机器代码视图 程序员可见状态 PC：程序计数器 下一条指令的地址 称为“RIP”（x86-64） 内存 字节数组 代码和用户数据 堆叠起来以支持程序 寄存器 大量使用的程序数据 条件码 存储有关最新算术或逻 ...

课程主页：http://www.cs.columbia.edu/~cs4705/ 课程网盘地址： 链接：https://pan.baidu.com/s/1KijgO7yjL_MVCC9zKZ7Jdg提取码：t1i3 这一次回顾Michael Collins NLP作业4。 Quesion 1(a) \begin{aligned} \frac{\partial L(\mathrm v)}{\partial v_{j}} &= \sum_{i}\left(\mathrm f_j(x_i,y_i) - \sum_{y'\in \mathcal V}f_{j}(x_i, y') P(y'|x_i, \mathrm v) \right)-2Cv_j \end{aligned}令上式为$0$可得 \begin{aligned} v_j^{\star} &=\frac{1}{2C} \sum_{i}\left(\mathrm f_j(x_i,y_i) - \sum_{y'\in \mathcal V}f_{j}(x_i, y') P(y'|x_i, \mathrm v) \right) ...

课程主页：http://www.cs.cmu.edu/afs/cs/academic/class/15213-f15/www/schedule.html 课程资料：https://github.com/EugeneLiu/translationCSAPP 课程视频：https://www.bilibili.com/video/av31289365/ 这一部分回顾CSAPP的Data Lab。 bitXor $x$ $y$ $x\text{^}y$ 1 1 0 1 0 1 0 1 1 0 0 0 不难看出 x\text{^}y = (\bar x \and y)\or (x \and \bar y) =\overline{\overline {(\bar x \and y)} \and \overline {(\bar y \and x)}}代码如下 int bitXor(int x, int y) { return ~((~((~x) & y)) & (~((~y) & x))); } tmin ...

课程主页：http://www.cs.cmu.edu/afs/cs/academic/class/15213-f15/www/schedule.html 课程资料：https://github.com/EugeneLiu/translationCSAPP 课程视频：https://www.bilibili.com/video/av31289365/ 最近开始做CSAPP课程的实验， 配置环境时碰到一些坑，网上相关资料比较零散，所以这里总结一下。 环境配置2020/7/18更新： 之前做实验的时候用的是19.04版本，有挺多问题，建议安装20.04，步骤如下： 安装虚拟机以及ubuntu：https://blog.csdn.net/qq_35623773/article/details/89893853 安装完的Ubuntu无法全屏，Ubuntu全屏设置教程：https://blog.csdn.net/web_snail/article/details/96424105 默认源的下载速度太慢，20.04换源：https://www.cnblogs.com/lynn-z/p/128 ...