大规模数据系统
在古诗文中，我们以月喻离合、以水比时光、以柳寄别恨。在软件工程中，我们以管道贯通有无、以缓存平峰谷、以协议定不变。前者我们称为 意象 ，《文心雕龙·神思》篇中写道：“独照之匠，窥意象而运斤”；后者我们叫做 隐喻 ，《代码大全》（Code Complete）中将隐喻视为一种启发式方法（heuristic），用以在抽象与具象之间架设桥梁。 我们如此习惯于意象和隐喻，是因为“人类思维本质上是隐喻性的”（出自莱考夫和约翰逊在《我们赖以生存的隐喻》）。其特点是，将一类场景相关的上下文传神地压缩进一个词语中。比之于精确的算法，它模糊但强大，所谓 “运用之妙，存乎一心”。 我想通过一系列小文来收集我在实践中反复看到的一些有趣意象，本篇来聊聊 滑动窗口 。 引子…
从第一个我体感“有点不一样”的 Code Agent —— Claude Opus 4.5 发布（2025年11月24日）以来，竟然才过去半年。但在这半年里，基本所有能被程序化、自动化的工作，都受到了前所未有的冲击。我们这个以代码为生的群体更是被当头棒喝，周围即使最保守的程序员，也在“卧槽”声中做了调整和转向。 现在深处漩涡中，去预测 AI 带来的社会层面变化，是我万万力所不及的。本篇只想稍稍记录下最近将 Agent 嵌入工作流的一些体验，以待将来回忆起有所凭借，零零碎碎，林林总总。主要从工作模式变迁，如何管理 Agent 和上下文，如何创建和管理 Skill 等方向聊一些一个大模型人的一线体感和经验。
引子 刚入门大模型的时候，由于线性代数、概率论和信息论等数学知识的短板，很容易迷失在诸多术语中：logprob（对数概率）、likelihood（似然）、NLL（Negative Log Likelihood，负对数似然）、cross entropy（交叉熵）、perplexity（困惑度）。它们常常出现在论文和文档的各种角落里，但都像点赞之交的朋友，频见其名，不解其意。 后来某天，在慢慢的补过一些最基础的数学知识后，在公司相关的上下文浸淫足够久后，终于在某次和 ChatGPT 的聊天中发现： 上面一组概念本质上是同一件事的不同面向的侧写 。从概率论的门摸进去叫 NLL，从信息论的门踏进去叫交叉熵，从 PyTorch 的门看进去叫 F.cross_entropy ——殊途同归，本质上都是在试图刻画"模型当前输出离预期还有多远"。…
Prologue When first entering the world of large models, due to gaps in foundational math knowledge such as linear algebra, probability theory, and information theory, it’s easy to get lost among numerous terms: logprob (log probability), likelihood, NLL (Negative Log Likelihood), cross entropy, perplexity. They frequently appear in various corners of papers and documentation, yet they all feel…
我是 2024 年初到一家大模型公司工作，之前一直在数据库、存储等 infra 行业工作，因此有些很粗浅的转行认知。很久没有在 b 站做分享了，这次靠直播强制开机，回答了大家一些问题，稍稍弥合一点信息差。本文对直播中提到的一些点的稍微规整一点的总结，并将一些我觉得不错的资料附在最后。 b 站直播： https://www.bilibili.com/video/BV1uckJBkEto
I joined an LLM company in early 2024, having previously worked in the infra industry (databases, storage, etc.), so I have some very basic insights on switching careers. I haven’t shared on Bilibili for a long time; this live stream forced me to get back in gear. I answered some of your questions and bridged a bit of the information gap. This post is a slightly more organized summary of some…
有明显的自我意识以来，从没有像今年这样和世界、和自己发生如此激烈的冲撞，但结果很神奇——反倒更加平和了。很多下意识的反应、很多习以为常的做法，向内挖时，竟然都能摸出如此久远的强化链路。正如史铁生说的——那颗年少时射出的子弹，在长到这个年纪的时候，正中眉心。 于是，不管是被迫地还是自发地，今年都开始难以避免地向内生长——如格物致知一般去观察和追溯自己细微的情绪变化源头，见天地、见众生，终是为了见自己。虽然以前惯性还会持续一段时间，但觉察的开始，便是塑造另外轨迹的种子。
Since becoming distinctly self-aware, never have I clashed so intensely with the world and with myself as I have this year—yet the result is strangely magical: I have become even more peaceful. Many subconscious reactions, many habitual practices, when excavated inward, can be traced back to such ancient reinforcement chains. Just as Shi Tiesheng said—the bullet fired in youth strikes squarely…
Princeton COS 597R “Deep Dive into Large Language Models” 是普林斯顿大学的一门研究生课程，系统探讨了大语言模型原理、准备和训练、架构演进及其在多模态、对齐、工具使用等前沿方向中的应用与一些问题。注意，该课程侧重概念的理解上，而非工程的实现上。 我之前是在分布式系统和数据库内核方向，但这两年转到一家大模型公司做数据。本笔记主要是我对课程论文的梳理和精要。不同的是，我会结合在工作中解决实际问题的一些体感，给出一点转行人不同视角的思考，希望能对同样想从工程入门算法的同学一点帮助。 本文来自我的付费专栏《 系统日知录 》，欢迎订阅查看更多大模型解析文章，文末有优惠券信息。 本篇主要关注大模型的奠基之作——Transformer。 首先要明确问题域，Transformer…
Princeton COS 597R “Deep Dive into Large Language Models” is a graduate course at Princeton University that systematically explores the principles of large language models, their preparation and training, architectural evolution, and applications in cutting-edge directions such as multimodality, alignment, tool use, and related issues. Note that this course focuses on conceptual understanding…
随着云基础设施的不断成熟，新兴的公司为了快速实现业务目标，一般都会让基础设施上云。而在云上进行开发与传统上直接使用物理机开发其实有很大不同。云上更强调 共享 和 弹性 ，此外，规模变大又会带来 隔离性 。这些改变也倒逼我们在进行开发时做出一些改变。在云上进行大规模数据处理，我主要有一些 spark 和 ray 的经验，使用的语言主要是 python；从这些技术栈出发，谈谈一些还算行之有效开发实践。 使用 ray 在云上进行大规模数据处理，一个基本的思路是：构建最小可并行单元，进行功能测试和性能测试，然后再利用 ray.data （比如 map ， map_batches ）进行 scale。使用 spark 时，会稍有不同；相比 ray，spark 虽然灵活性稍差一些，但抽象封装更好，可以从数据集整体的角度来考虑数据处理，spark 会通过你设置的分区数和并行度，自动地扩展和容错。
As cloud infrastructure continues to mature, emerging companies typically move their infrastructure to the cloud in order to achieve business goals quickly. Developing on the cloud is actually quite different from traditional development using physical machines directly. The cloud emphasizes sharing and elasticity more, and as scale grows, isolation becomes important as well. These changes also…
streamlit 是一款可以快速进行简单网页开发的 Python 库，其 slogan 是： A faster way to build and share data apps 即“一种快速构建、分享数据应用的方法”。其在机器学习、数据科学，甚至当今大模型领域非常流行。其优点非常突出： 使用上述领域开发者最喜欢的语言：Python。不用写前端，pip 安装就能用。 简单几行代码就能快速攒出一个数据可视化、打标等小工具的网页。 还支持丰富的第三方组件扩展，比如社区开发的 code_editor 。 当然，如果你还想要低延迟、高并发、深度定制等需求，那对不起，这是 streamlit 被 tradeoff 出去的那一部分。但对于面向内部少数人使用的小工具来说，streamlit 简直是利器。可以说这个小生态位被它卡的太好了，所以能在 2022 年以 8 亿美金卖给 Snowflake。…
streamlit is a Python library for quickly developing simple web apps. Its slogan is: A faster way to build and share data apps In other words, “a faster way to build and share data applications.” It is very popular in machine learning, data science, and even today’s large language model space. Its advantages are quite prominent: Uses the favorite language of developers in the above fields: Python.…
引子 在某些工作负载中，随着时间的推移，内存的使用会逐渐增长，直到 OOM。后面发现是内存碎片问题，而将系统默认的内存分配器（ glibc malloc ）换成 jemalloc ，能有效控制内存的增长上界。 为了解其背后原理，便找来 jemalloc 最初的论文： A Scalable Concurrent malloc(3) Implementation for FreeBSD 来一探究竟。当然，相比 2006 年论文发表时，当前的 jemalloc 可能已经发生了很大改变，因此本文只对当时论文内容负责。更多 jemalloc 机制，大家可以去其 github 仓库 查看文档和源码。 背景 在探讨论文的主要思路之前，我们先简单回顾下 内存分配器 （memory allocator）的 作用 和 边界 。简言之： 对下，向操作系统申请 大块 内存（使用 sbrk 、 mmap…
Introduction In certain workloads, memory usage gradually grows over time until an OOM occurs. Later, it was found to be a memory fragmentation issue. Replacing the system’s default memory allocator ( glibc malloc ) with jemalloc can effectively control the upper bound of memory growth. To understand the principles behind it, I sought out jemalloc’s original paper: A Scalable Concurrent malloc(3)…
Snowflake 由甲骨文的两位员工在 2012 年出来创办，一开始就瞄准云原生数仓，因此架构设计（在当时看来）非常“激进”。超前的视野带来超额的回报，Snowflake 在 2020 年正式上市，市值一度高达 700 亿美金，创造了史上规模最大的软件 IPO 记录。 本文我们综合两篇论文： The Snowflake Elastic Data Warehouse 和 Building An Elastic Query Engine on Disaggregated Storage 来大致聊聊其架构设计。 本文来自我的专栏《 系统日知录 》，如果你觉得文章还不错，欢迎订阅支持我。 这篇文章我早就想写了，但上次在看论文时卡住了——论文信息太多，地毯式的阅读，很快就淹没在细节中，当时也只看了三分之二，就搁置了。上周（20240707）在文章 Spark：如何在云上做缩容 时提到了存算分离的…
Snowflake was founded in 2012 by two former Oracle employees, targeting cloud-native data warehouses from the very beginning. Therefore, its architectural design was (at the time) considered very “radical.” This forward-looking vision brought extraordinary returns — Snowflake went public in 2020 with a market capitalization reaching as high as $70 billion, setting the record for the largest…
缘于某个播客提了一嘴，便找来书在通勤时听了。这版是傅雷翻在 1939 年译的版本，有一股淡淡的老式白话风。小书不长，几天便听完。我喜欢在走路的时候听东西，所听入耳、所观入眼，哲人的凝言练语、街头的风物百态，总能在心里发生奇妙的化学反应，偶在三伏天都一激灵。 最近心绪颇为起伏，在上下班踱步听这本书时，数次给我宽慰平和，书中指出的快乐和不快乐之因，都命中了我的某些缺点和特点，因此听完觉得还是要写点东西。 罗素《幸福之路》 人类从狩猎时代进入农耕时代后，虽获得了生活的相对安稳，却也失掉了向外的探索和冒险。到工业时代，城市化加剧，进一步脱离了自然的“蓝领白领”亦是如此。只有少数的企业家才仍然保持着丛林式的生活方式。…
I first heard about it from a passing mention on a podcast, so I sought out the audiobook for my commute. This is the 1939 translation by Fu Lei, with a faint, old-fashioned vernacular style. It’s a short book; I finished it in a few days. I like listening to things while walking—what enters my ears and what meets my eyes, the philosopher’s concise aphorisms and the myriad scenes of the street,…