DDIM与加速采样 \[ \newcommand{\x}{\mathbf x} \newcommand{\I}{\mathbf I} \newcommand{\calN}{\mathcal N} \newcommand{\E}{\mathbb E} \] DDPM Recap 前向过程 设有一列 noise schedule:\(\{\beta_t\}_{t=1}^T\),记 \(\alpha_t=1-\beta_t 2022-12-14 技术博客 > 生成模型 > Diffusion Models #generative models
搭建个人深度学习工作站(环境篇) 前言 硬件配置 主板:华硕 TUF GAMING B560M-PLUS WIFI CPU:Intel i7-11700 @ 2.50GHz 8核16线程 内存:英睿达 美光32GB(16Gx2)套装 DDR4 3600MHz GPU:NVIDIA RTX 3080Ti 硬盘: Samsung SSD 980 1TB x 2 WDC WD20EZBX-00A 2TB 电源:长城 猎金部落 额 2022-12-11 技术博客 > 深度学习 #pytorch #linux
搭建个人深度学习工作站(操作系统篇) 说明:由于是个人使用,我安装的是 Windows + Ubuntu Server 双系统。用 Ubuntu Server 训练,用 Windows 摸鱼。 硬件配置 主板:华硕 TUF GAMING B560M-PLUS WIFI CPU:Intel i7-11700 @ 2.50GHz 8核16线程 内存:英睿达 美光32GB(16Gx2)套装 2022-12-11 技术博客 > 深度学习 #pytorch #linux
扩散模型的SDE与ODE描述 \[ \newcommand{\x}{\mathbf x} \newcommand{\z}{\mathbf z} \newcommand{\E}{\mathbb E} \newcommand{\f}{\mathbf f} \newcommand{\w}{\mathbf w} \newcommand{\calN}{\mathcal N} \newcommand{\pdata}{p_\text{dat 2022-12-04 技术博客 > 生成模型 > Diffusion Models #generative models
保研回忆录 话说我本来都想把保研回忆录给咕咕咕了,但是学弟突然邀请我做个保研分享,遂借此机会把坑给填上。 1 个人情况 1.1 基本情况 本科学校:C9 计算机专业 专业排名:3/300+ (Top 1%) 荣誉奖项:一次国家奖学金 竞赛奖项:ICPC 区域赛银,CCPC 区域赛银,数学竞赛省一,数学建模国赛省一 科研经历:夏令营期间有两个课题正在进行之中,无 2022-11-30 随笔
Score-Based Generative Models \[ \newcommand{\E}{\mathbb E} \newcommand{\pdata}{p_\text{data}} \newcommand{\x}{\mathbf x} \newcommand{\v}{\mathbf v} \newcommand{\R}{\mathbb R} \newcommand{\T}{\mathsf T} \] Brief Introduction 在从VAE 2022-10-13 技术博客 > 生成模型 > Diffusion Models #generative models
从VAE到DDPM \[ \newcommand{\E}{\mathbb E} \newcommand{\KL}{\mathrm{KL}} \newcommand{\calN}{\mathcal N} \newcommand{\x}{\mathbf x} \newcommand{\z}{\mathbf z} \newcommand{\coloneqq}{\mathrel{\mathrel{\vcenter{:}}=} 2022-09-29 技术博客 > 生成模型 > Diffusion Models #generative models
VAE梳理 虽然早在看 CS231n 时就学过 VAE 了,但当时学的可谓是不明不白、一塌糊涂,假装懂了的样子就把它放过去了。其实倒也无可厚非,毕竟那时候刚刚入门,如果硬攻的话不知要浪费多少时间。今天就让我们好好学它一遭! 核心思想 VAE 的目标是学习一个生成器,将随机向量 \(z\in\mathbb R^d\)(一般采自正态分布)映射到 \(x\in\mathbb R^D\),要求 \(x\) 的分布尽可 2022-09-17 技术博客 > 生成模型 > VAEs #generative models
计算机视觉常用数据集 本文记录计算机视觉中常用的数据集,包括它们的官网、下载链接、目录结构、文件大小、加载方式等等。其中「本地目录结构」为我个人组织数据的方式,仅供参考。 AFHQ 官网 | Paper with Code | Dropbox 简要介绍:Animal FacesHQ (AFHQ) 是一个高质量动物面部图像的数据集,包含猫、狗和野生动物三个域。所有图像都已经过水平和垂直对齐,以确保将眼睛置于图像中心。低质 2022-09-14 技术博客 > 计算机视觉 #computer vision
soft k-means 在 k-means 聚类中,每一个数据点隶属于一个类,这是一种 hard 的模式。与之相对的,soft clustering 不把一个数据点硬分给一类,而是给出它属于各个类的“置信度”,表示它属于各个类的程度。在有些场景下,我们也许更希望使用 soft 模式。本文试从两种角度推导 soft 版本的 k-means 算法。 角度 1:hard k-means → soft k-means 在之前的文 2022-09-04 技术博客 > 机器学习 #machine learning
EM算法 EM 算法是极大似然法的推广,用于解决存在隐变量(hidden variables / latent factors)的参数估计问题。 1 EM 算法 1.1 问题描述 极大似然法是最常用的参数估计方法之一。设观测变量为 \(x\),模型参数为 \(\theta\),则极大似然法通过最大化似然函数 \(P(x\vert\theta)\) 或对数似然 \(\log P(x\vert\theta)\) 2022-08-23 技术博客 > 机器学习 #machine learning
PyTorch单机多卡从入门到入土(坑点记录) 在 Vision 里用上 Transformer 之后,单卡训练连两位数的 batchsize 都开不了,必须得学学单机多卡的使用了。 PyTorch 中,多卡训练有两种方案: DataParallel:只支持单机多卡,代码很方便,只需要添加一行,但是效率比较低,不推荐使用 DistributedDataParallel:支持多机多卡,效率高,但是要折腾一下代码 基于性能考虑,一般我们会选择第 2022-08-18 技术博客 > 深度学习 #deep learning #pytorch
k-means及其推广 谈到聚类(clustering),k-means 无疑是最先想到的算法之一了。其思想异常的简单有效,以至于我之前没有深究过其中的奥秘与坑点。今天就来更深入地探究一下 k-means。 1 算法描述 本节主要参考资料[1]. 设我们有 \(n\) 个样本 \(X=\{x_1,\ldots,x_n\}\),每个样本有 \(d\) 维,即 \(x_i\in \mathbb R^d\)。k-means 2022-08-12 技术博客 > 机器学习 #machine learning
从二分类到多分类,从单标签到多标签 二分类 \(\to\) 多分类 sigmoid+BCE 众所周知,在二分类任务中,我们会让模型输出一个得分 \(s\in\mathbb R\)(也称 logit,见参考资料[1]),然后经由 sigmoid 函数得到一个实数值: \[ \sigma(s)=\frac{1}{1+e^{-s}}\in(0,1) \] 由于这个数在 \((0,1)\) 之间,所以我们可以将它视为属于正例的概率 \(p\ 2022-08-03 技术博客 > 机器学习 #machine learning
各种函数的hard与soft形式 max 与 logsumexp 一个常见的误解是:\(\text{softmax}\) 是 \(\max\) 的 soft 版本,但其实稍微想一下就知道这是不对的——\(\max\) 函数的输出是一个实数,而 \(\text{softmax}\) 的输出是一个向量,一个向量怎么可能去近似一个实数呢? 事实上,\(\max\) 函数的 soft 版本是 \(\text{logsumexp}\) 函数 2022-07-25 技术博客 > 机器学习 #machine learning
[论文阅读]Inductive Biases for Deep Learning of Higher-Level Cognition 论文 link:https://arxiv.org/abs/2011.15091 相关演讲:Yoshua Bengio: From System 1 to System 2 Deep Learning (NeurIPS 2019) 首先放上一个我做的论文报告的 slide 吧: 现在正文开始! 注:本文是笔记而非原论文的翻译(但几乎也快是了),掺杂了个人叙述,如有不妥欢迎讨论。 1 深度 2022-06-28 技术博客 > 深度学习 #deep learning #machine learning
SF估计与重参数化技巧 问题引入 一般而言,许多机器学习/深度学习的优化目标长这样: \[ \mathbb E_{z\sim \mathcal P}[f_\theta(z)]\tag{1}\label{1} \] 训练时用采样近似上述期望: \[ \mathbb E_{z\sim\mathcal P}[f_\theta(z)]\approx\frac{1}{N}\sum_{n=1}^N f_\theta(z^{(n)}) 2022-06-22 技术博客 > 机器学习 #machine learning
gitignore pattern format 网上虽然能搜到很多讲解 gitignore 模式匹配格式的博客,但它们大都不全或者不太清楚,要彻底搞明白还得直接看官方文档啊! PATTERN FORMAT 翻译自:https://git-scm.com/docs/gitignore PATTERN FORMAT 一节。 空行不匹配任何文件,因此可以用空行增加可读性。 以 # 开头的一行是注释,用 \ 进行转义。 末尾的空格将被忽略,除非在 2022-02-11 技术博客 > 技术栈 #git
Git基础学习 基本都参考自 Git-book。 什么是版本控制 本地版本控制系统:采用某种简单的数据库来记录文件的历次更新差异。 缺点:无法让不同系统上的开发者协同工作。 集中化的版本控制系统:一个单一的集中管理的服务器,保存所有文件的修订版本,而协同工作的人们都通过客户端连到这台服务器,取出最新的文件或者提交更新。 优点:每个人都可以在一定程度上看到项目中的其他人正在做些什么。 而管理员也可以轻松掌控 2022-01-10 技术博客 > 技术栈 #git