模型应用

聊聊Karpathy 最新的 autoresearch：让 AI 替你跑实验，你负责睡觉

by admin

聊聊 Karpathy 最新开源的 autoresearch 项目，AI Agent 自己改代码、跑训练、看结果，人类只管写指令

Karpathy 又搞事了。

2026 年 3 月，他在 GitHub 放了个叫 autoresearch 的项目。代码不多，几百行，但想法很野——让 AI Agent 自己搞深度学习研究。你写好指令，剩下的事它来。

他在 README 里写了段让人振奋的话：

“曾经，前沿 AI 研究是由’肉体计算机’（人类）在吃饭、睡觉、娱乐的间隙完成的，偶尔通过’声波互联’（开会）同步进展。那个时代已经过去了。”

截至发文已经 5.7k Star、715 Fork。

整个项目就三个文件

对，你没看错，核心就三个文件：

  • prepare.py：数据下载、分词器训练、数据加载、评估——这个不动，基础设施
  • train.py：GPT 模型定义、优化器、训练循环——AI Agent 改这个
  • program.md：给 Agent 的指令和上下文——你写这个

逻辑很简单。你告诉 Agent “做什么”（写 program.md），它自己琢磨”怎么做”（改 train.py）。

然后就开始无限循环：

  1. Agent 读 program.md，搞清楚要做什么
  2. 改 train.py——调架构、换超参、试不同优化器，随便它折腾
  3. 训练跑 5 分钟，固定的
  4. 看验证集的 val_bpb（bits per byte，越低越好）
  5. 好了就留着，没好就扔掉
  6. 回到第 2 步

Karpathy 估算 1 小时大概跑 12 个实验。睡一觉起来，100 个实验结果在等你。

Agent 只能动 train.py，训练完之后。改动都集中在一个文件，diff 一眼就能看完；数据 pipeline 和评估逻辑是固定的，不会出现”Agent 偷偷把评估指标改了所以看起来变好了”这种乌龙。

单卡就能跑，有张 GPU 就能玩。

写 Markdown 的人赢了

这是我最困惑、也最好奇的地方。

以前做深度学习，核心技能是写 PyTorch：定义模型、写训练循环、调 bug、盯着 loss 曲线发呆。现在呢？核心技能变成了写 program.md——一个 Markdown 文件。

以前的研究者：写代码、调参、盯训练、一天 3-5 个实验、出错了自己排查。

现在的”研究者”：写研究指令、审结果、一晚上 100 个实验、出错了 Agent 直接丢掉跑下一个。

program.md 其实就是你给 Agent 写的工作说明书：要做什么（最小化 val_bpb）、有什么限制（只改 train.py、跑 5 分钟）、有什么资源（单张 H100）。

你从”做实验的人”变成了”管实验的人”。这算升职还是失业？我说不好。

Agent 到底在折腾什么？

从项目结构能看个大概。

Agent 拿到三样东西：program.md（任务说明）、当前版本的 train.py（要改的文件）、历史实验结果（哪些改动有效）。然后在 train.py 里面乱改：

n_layer = 12      # 层数，随便改
n_head = 12       # 注意力头数
n_embd = 768      # 隐藏维度

optimizer = Muon(model.parameters(), lr=0.001)  # 也可以换 AdamW

batch_size = 64
learning_rate = 3e-4
dropout = 0.1

评估用 bits per byte (bpb)，越低越好。这个指标跟模型大小没关系，所以不同架构之间可以直接比——对自动化探索来说刚好合适。

目前只支持单张 NVIDIA GPU，Karpathy 自己在 H100 上测的。

5 分钟的限制也意味着这玩意只能做小规模的快速探索。

更让我纠结的问题是：Agent 的改动到底有没有道理？还是纯粹在瞎试？如果它把 dropout 从 0.1 改成 0.05，val_bpb 降了 0.002，这算发现还是算噪声？我真的不知道。

还有人担心资源浪费。一个 Agent 跑一晚上 100 个实验，可能 90 个都是垃圾。乘以全世界有多少人在跑这个，GPU 碳排放是个现实问题。

Karpathy 自己也说了，这是个 concept demo，不确定会维护多久。别当真。

如果这玩意真的成了

但抛开这些，我还是挺兴奋的。

短期内，类似的框架肯定会越来越多。做 CV 的、做 RL 的、做多模态的，都可以搞一套。Agent 能力也在快速进步，以后可能不止改一个文件，而是能协调好几个模块一起改。

再往后想，如果 Agent 真的能自己完成”提出假设→设计实验→执行→看结果”这整套流程，那科研的门槛会大幅降低。一个人加一台机器，可能就能做到以前一个实验室十几个人做的事。

但这也有个让我不太舒服的问题：如果 Agent 能做研究，研究者做什么？写 program.md 吗？

我没有答案。但我觉得值得认真想想。

最后

autoresearch 代码很少，核心逻辑加起来不到 1000 行。但想法不小——让 AI 不只是辅助研究，而是自己做研究。

项目能走多远不好说。但它已经把一个麻烦事摆出来了：当 AI 真的能自己跑实验的时候，我们对”做研究”这件事的理解，是不是也该变了？

GitHub：https://github.com/karpathy/autoresearch

编辑于 2026-03-08 22:36・上海

Related Posts