Doraemonzzz

最近开始学习一些机器学习理论，目前从斯坦福的Machine Learning Theory (CS229M/STATS214)入手，课程的优点是课件，视频比较全，缺点是作业无法公开获得。这里对第一章做一个总结，这一章介绍了监督学习的范式，引入了population risk，excess risk和empirical risk等概念。 课程主页： https://web.stanford.edu/class/stats214/ 课程视频： https://www.youtube.com/playlist?list=PLoROMvodv4rP8nAmISxFINlGKSK4rbLKh 课件： https://github.com/tengyuma/cs229m_notes/blob/main/master.pdf Chapter 1 Supervised Learning Formulations在本章中，我们将建立有监督学习的标准理论公式，并介绍经验风险最小化 (ERM) 范式。 1.1 有监督学习基本概念在监督学习中，我们有输入和输出，输入属于输入空间$\mathcal ...

最近开始学习Cuda，找了一些资料，比较下来发现ECE408资料最全，后续应该会把资料整理一下，这次先介绍环境配置和实验0。 课程主页： https://wiki.illinois.edu/wiki/display/ECE408 搬运视频： https://www.youtube.com/playlist?list=PL6RdenZrxrw-UKfRL5smPfFFpeqwN3Dsz 参考资料： https://wiki.illinois.edu/wiki/display/ECE408/Labs+and+Project 环境配置环境配置包括Cuda环境以及课程自带的依赖库。 Cuda环境这部分略过，网上的资料很多。 课程依赖库课程依赖库需要下载并编译： git clone https://github.com/abduld/libwb.git cd libwb make all 后续会介绍如何使用该库。 Lab 0下载作业： git clone https://github.com/aschuh703/ECE408.git 接着是依赖库的使用。 依赖库实际上是头文件，在编 ...

最近研究Softmax时发现一个有意思的结论，这里简单记录下。 Softmax和温度给定： \mathbf x =[x_1,\ldots, x_d]^{\top} \in \mathbb R^{d}Softmax定义为： \mathrm{Softmax}(\mathbf x)_i =\frac{\exp(x_i)}{\sum_j\exp(x_j)}在实际中还有温度参数$\tau$，主要是控制Softmax的陡峭程度，计算公式为： \mathrm{Softmax}(\mathbf x;\tau )_i =\frac{\exp(x_i/\tau)}{\sum_j\exp(x_j/\tau)}Softmax极值项关于$\tau$有一个单调性的结论： Softmax最大分量关于$\tau$递减； Softmax最小分量关于$\tau$递增； 关于温度的导数为了证明结论，考虑如下函数的导数： f_i(\tau)\triangleq \mathrm{Softmax}(\mathbf x;\tau )_i =\frac{\exp(x_i/\tau)}{\sum_j\exp(x_j/\t ...

这里回顾HW4，这次的主要内容是利用needle实现cnn和rnn。 课程主页： https://dlsyscourse.org/ https://forum.dlsyscourse.org/ https://mugrade-online.dlsyscourse.org/ 参考资料： https://www.cs.toronto.edu/~kriz/cifar.html https://forum.dlsyscourse.org/t/test-ndarray-backend-with-test-optim-py-hw2/2821 https://hideyukiinada.github.io/cnn_backprop_strides2.html https://deeplearning.cs.cmu.edu/F21/document/recitation/Recitation5/CNN_Backprop_Recitation_5_F21.pdf https://pytorch.org/docs/stable/generated/torch.nn.Conv2d.html Par ...

这里回顾HW3，这次的主要内容是实现一个简单的线性代数库。 课程主页： https://dlsyscourse.org/ https://forum.dlsyscourse.org/ https://mugrade-online.dlsyscourse.org/ 参考资料： https://github.com/YuanchengFang/dlsys_solution/blob/master/hw3/src/ndarray_backend_cpu.cc https://www.runoob.com/cplusplus/cpp-templates.html https://www.jianshu.com/p/2f67a83da503 https://learn.microsoft.com/zh-cn/cpp/cpp/lambda-expressions-in-cpp?view=msvc-170 https://www.jianshu.com/p/db079eeb4b15 https://forum.dlsyscourse.org/t/q6-setitem-in-gpu-versio ...

这里回顾GAMES101 HW8，这次作业的内容是质点弹簧系统。 课程主页： https://sites.cs.ucsb.edu/~lingqi/teaching/games101.html 课程作业： http://games-cn.org/forums/topic/allhw/ 课程视频： https://www.bilibili.com/video/BV1X7411F744?spm_id_from=333.337.search-card.all.click 参考资料： https://blog.csdn.net/triste_who/article/details/103298548 https://games-cn.org/forums/topic/guanyuzuoye8deyixiewentijieda/ https://blog.csdn.net/weixin_44491423/article/details/127522750 一些问题配置环境时不能复制pdf的命令，有全角半角的问题，命令如下： sudo apt install libglu1-mes ...

这里回顾GAMES101 HW7，这次作业的内容是路径追踪。 课程主页： https://sites.cs.ucsb.edu/~lingqi/teaching/games101.html 课程作业： http://games-cn.org/forums/topic/allhw/ 课程视频： https://www.bilibili.com/video/BV1X7411F744?spm_id_from=333.337.search-card.all.click 参考资料： https://games-cn.org/forums/topic/dalaoqingbangbangmangzuoyeqihuanzailijie-shadep-wo-hanshu/ https://games-cn.org/forums/topic/games101-zuoye7-raokengyinlu-windows/ https://zhuanlan.zhihu.com/p/350405670 https://blog.csdn.net/qq_36242312/article/details/1 ...

这里回顾GAMES101 Lecture 22，动画与模拟（求解常微分方程，刚体与流体）。 课程主页： https://sites.cs.ucsb.edu/~lingqi/teaching/games101.html 课程作业： http://games-cn.org/forums/topic/allhw/ 课程视频： https://www.bilibili.com/video/BV1X7411F744?spm_id_from=333.337.search-card.all.click 本讲内容 单粒子模拟； 显式欧拉法； 不稳定和改进； 刚体模拟； 流体模拟； 单粒子模拟 首先研究单个粒子的运动，然后推广到大量粒子； 假设粒子的运动由作为位置和时间函数的速度矢量场确定：$v(x, t)$； 图示： 现在的问题是计算该例子的轨迹。 ODE轨迹可以由常微分方程决定： \frac{d x}{d t}=\dot{x}=v(x, t)我们可以通过使用前向数值积分求解 ODE（假设初始粒子位置为$x_0$），一个经典的方法是欧拉法。 欧拉法欧拉法的特点如下： 简单迭 ...

这里回顾GAMES101 Lecture 21，动画与模拟（基本概念, 质点弹簧系统,运动学）。 课程主页： https://sites.cs.ucsb.edu/~lingqi/teaching/games101.html 课程作业： http://games-cn.org/forums/topic/allhw/ 课程视频： https://www.bilibili.com/video/BV1X7411F744?spm_id_from=333.337.search-card.all.click 本讲内容计算机动画导论： 历史 关键帧动画 物理模拟 运动学 索具（Rigging） 动画定义 “让事物栩栩如生” 交流工具 审美问题往往主导技术问题 建模的扩展 将场景模型表示为时间的函数 输出：图像序列 提供运动感 电影：24fps 视频（一般）：30fps 虚拟现实：90fps 计算机动画历史老师首先介绍了动画的历史，最早出现在壁画： 后来人们用轮盘的形式模拟动画： 关键帧动画动画师创建关键帧，助手（人或计算机）创建中间帧： 关键帧插值将每一帧视为参数 ...

这里回顾GAMES101 Lecture 20，光场、颜色与感知。 课程主页： https://sites.cs.ucsb.edu/~lingqi/teaching/games101.html 课程作业： http://games-cn.org/forums/topic/allhw/ 课程视频： https://www.bilibili.com/video/BV1X7411F744?spm_id_from=333.337.search-card.all.click 本讲内容 光场/Lumigraph； 颜色； 什么是颜色； 色觉； 色彩复现/匹配； 色彩空间； 光场/Lumigraph引子我们看到的世界是什么，考虑坐在椅子上看窗户外面（下左图），那么实际上看到的是（下右图）的场景： 假设有一块幕布放在人的面前，幕布上显示上右图的场景（这就是虚拟现实的原理），那么人无法感受到区别： 小结： 人们看到的是各个方向来的光线； 全光函数（Plenoptic Function ） 问题：我们所能看到的所有事物的集合是什么？ 答案：全光函数(Adelson & ...

这里回顾GAMES101 Lecture 19，相机，透镜和广场。 课程主页： https://sites.cs.ucsb.edu/~lingqi/teaching/games101.html 课程作业： http://games-cn.org/forums/topic/allhw/ 课程视频： https://www.bilibili.com/video/BV1X7411F744?spm_id_from=333.337.search-card.all.click 引子生成图像有两种方式： 合成：呈现自然界中不存在的事物； 捕捉：把现实生活中存在的事物变成照片； 最常见的例子就是相机； 小孔成像和透镜成像 相机部件简介快门快门是控制光能否进入到机身的部件： 传感器传感器捕捉光并记录： 传感器的作用是什么呢？考虑如下例子：如果一个相机没有透镜和针孔，那么是否能拍照呢？这是不可能的，因为如果把传感器（感光元件）放在物体/人面前，那么传感器的每个像素都能收集到来自不同方向的光，而这个像素无法区分来自各个方向的光线——把来自各个方向上的光综合在该像素上，即IRadia ...

这里回顾GAMES101 Lecture 18，高级光线传播与复杂外观建模。 课程主页： https://sites.cs.ucsb.edu/~lingqi/teaching/games101.html 课程作业： http://games-cn.org/forums/topic/allhw/ 课程视频： https://www.bilibili.com/video/BV1X7411F744?spm_id_from=333.337.search-card.all.click 本讲内容 高级光线传播； 很多内容，主要仅供参考； 高级光线传输 无偏光线传输方法 双向路径追踪(BDPT)； Metropolis光线传输(MLT)； 有偏见光线传输方法 光子映射； 顶点连接和合并(VCM)； Instant radiosity(VPL/多种光照方法) 有偏与无偏蒙特卡洛估计 无偏蒙特卡罗法没有任何系统误差 无论使用多少样本，无偏估计的期望值始终是正确的值 否则，就称为有偏 一种特殊情况，期望值收敛到正确值（如果样本无限多）； 此时称为一致； 我们将在介绍光子映 ...