深入理解大模型 1：Transformer，大模型的基石

Princeton COS 597R “Deep Dive into Large Language Models” 是普林斯顿大学的一门研究生课程，系统探讨了大语言模型原理、准备和训练、架构演进及其在多模态、对齐、工具使用等前沿方向中的应用与一些问题。注意，该课程侧重概念的理解上，而非工程的实现上。 我之前是在分布式系统和数据库内核方向，但这两年转到一家大模型公司做数据。本笔记主要是我对课程论文的梳理和精要。不同的是，我会结合在工作中解决实际问题的一些体感，给出一点转行人不同视角的思考，希望能对同样想从工程入门算法的同学一点帮助。 本文来自我的付费专栏《 系统日知录 》，欢迎订阅查看更多大模型解析文章，文末有优惠券信息。 本篇主要关注大模型的奠基之作——Transformer。 首先要明确问题域，Transformer…