计算机科学 on Di Yu 的个人主页

Transformer 笔记：Attention Is All You Need

Tue, 13 Feb 2024 00:00:00 +0000

引言

Transformer 是一种用于序列转换的机器学习模型，具有预测准确率高、计算复杂度低和计算并行度高等特点。它是 GPT-3 等现代大语言模型的基本构件，而这类模型被视为实现通用人工智能（AGI）的有力候选。Transformer 最早由谷歌的一个研究团队在 NIPS 2017 上提出。相关论文“Attention Is All You Need”[1] 截至 2024 年已被引用超过 100,000 次，显示了 Transformer 对自然语言处理研究的巨大影响。本文将介绍 Transformer 的架构，并分享我对其工作原理的理解。

注意力机制笔记

Thu, 01 Feb 2024 00:00:00 +0000

引言

注意力机制是 Transformer、GPT-3 等现代自然语言处理系统的基本组成部分。这些系统采用编码器—解码器架构：编码器将输入句子映射为固定长度的向量，再由解码器将其转换为输出句子。这种架构在处理较长的输入句子时会出现性能下降。注意力机制可以有效缓解这一问题：它识别输入句子中的相关部分，供编码器进行映射，从而避免将整个输入句子压缩为固定长度向量所带来的困难。

ResNet 笔记

Tue, 23 Jan 2024 00:00:00 +0000

引言

深度卷积神经网络是图像分类任务的有力工具。深层网络能够捕获高层次特征，并以更高的精度逼近复杂映射。因此，在图像识别问题中，深度神经网络可能比浅层网络表现更好。然而，训练这类深度学习模型十分困难，因为训练准确率通常会随着网络深度增加而下降（见图 1）。这一训练准确率问题限制了深度神经网络的应用，尽管它们原本有望以更高的准确率解决图像识别问题。

何恺明博士论文阅读笔记

Sat, 20 Jan 2024 00:00:00 +0000

引言

何恺明是计算机视觉领域具有重要影响力的学者。根据 Google Scholar 的数据，截至 2023 年，他的论文已被引用超过 500,000 次。他关于 ResNet 的研究确立了现代深度学习模型中的一种基本构件。何恺明自 2024 年起在麻省理工学院 EECS 系任教。此前，他从 2016 年起在 Facebook 担任研究科学家；更早之前，他从 2011 年起在微软从事研究。他在香港中文大学获得博士学位，导师为汤晓鸥。本文简要介绍何恺明的博士论文“Single Image Haze Removal Using Dark Channel Prior”（基于暗通道先验的单幅图像去雾）[1]，希望从中学习如何开展有影响力的研究并撰写引人入胜的论文。