姜饼日报

2026年10月14日 · 星期三

I

访谈精读

David Senra 播客封面
DAVID SENRA · 2026.10.11 · 72 MIN

Alexandr Wang:Muse 是怎么做出来的

Creating Muse, Building Meta’s AI Lab & How to Win the AI Race · 文字稿 · 节目
这是谁

Meta 首席 AI 官,Meta 超级智能实验室(MSL)的创建者,Scale AI 联合创始人(据其 X 简介)。

他在 Scale 做了九年,后来 Meta 入股 Scale 49%,他随之加入 Meta。现在领导 Muse 个人 Agent 和相关模型,直接下属超过 200 人。

为何值得听:他是最近最受关注的消费级 Agent 产品的直接负责人,讲的是第一手的产品化方法。

个人 Agent 的胜负不在原型,而在把“偶尔惊艳”打磨成“稳定可靠”的七个月。

  1. 原型 1–2 周做出,随后打磨 7 个月;对 100 多项能力逐项设上线阈值,全部达标才发布。We had many checkpoints that were green on 80 of the rows but red on 20 of the rows. We knew that wasn't good enough.
  2. 团队刻意控制在 200 人以内,坚持单一产品视角,避免“缝合怪”。Muse had to be the exact opposite: there's one clear point of view.
  3. 不跟 Anthropic 硬拼编程 Agent,押注 Meta 擅长的个人 / 消费级 AI。
  4. 留存靠“信任阶梯”:先给小任务,做成了再逐步加码。it's kind of this trust fall that you have with an AI agent
  5. 现代消费产品要“截图能传播”,吉祥物出现在截图里就是最好的营销。
为何重要这是产品化 Agent 的一手方法论:用能力评测表管住上线质量。也适合做小红书选题:“为什么大多数 Agent 用两周就弃了”。
No Priors 播客封面
NO PRIORS · 2026.10.09 · 69 MIN

Misha Laskin:开源模型会吃掉大部分 token 需求

Beam: The Great American Open Model · 主持 Sarah Guo、Elad Gil · 节目页 / 摘要
这是谁

Reflection AI 联合创始人兼 CEO(据其 X 简介)。

公司从以 RL 为核心的创业团队,发展成约 300 人的前沿实验室,一年前约 30 人。刚发布 5000 亿参数的开源推理模型 Beam。

为何值得听:美国少数从头预训练前沿开源模型的团队负责人,对开源和闭源格局有一线数据。

企业会从“租用智能”转向“拥有智能”,开源权重模型是这场迁移的载体。

  1. Beam 总参数 5000 亿、激活 23B。预训练用了约 6000 张 GB300,RL 阶段超过 1 万张 GB300、训练四周。
  2. OpenRouter、Vercel 等网关上,闭源 / 开源的 token 占比约半年内从 70:30 翻转为 30:70。I think that we'll see most token demand going to open.
  3. 地缘视角:Open models are Trojan horses for the infrastructure that they bring with them.
  4. 前沿项目需要约 100 多名研究员,而不是几千人;对齐工作“很枯燥”,主要靠后训练数据修补。
为何重要开源模型自部署的需求越大,推理服务和 KV cache 系统的研究空间就越大,和你的方向直接相关。

注:依据节目页摘要、章节和其中摘录的金句整理,未通读完整转录。

VC10X 单集封面
VC10X · 2026.10.13 · 53 MIN

Yash Patel:Lean AI 时代的风投算术

Lean AI Playbook · 主持 Prashant Choubey · 完整转录 · 节目
这是谁

Capra Ventures 管理合伙人,基金主打“Lean AI”:用更少的人做更多的事的 AI 原生公司,主要投种子轮和 A 轮。

首个被投公司是 Higgsfield AI;此前主导过 OpenGov、Super.com 等垂直软件投资。

为何值得听:他代表的是“小团队、超高增长”这一派投资人的框架。

小团队就能做到上亿 ARR,基金要更集中下注,B 到 D 轮的“中段”正在被掏空。

  1. Higgsfield AI 9 个月 ARR 从 0 做到 2 亿美元,18 个月年化收入达到 10 亿美元。
  2. 他最看重的指标是净收入留存(NDR)300% 以上,以及人均收入 100–200 万美元。
  3. 护城河:distribution edges, data feedback loops, and product velocity are how you differentiate yourselves in the new world.
  4. 改善毛利最有效的办法是自建垂直领域的“内部 OpenRouter”,按场景路由模型。
  5. The part of the VC market that I think will disappear and is shrinking is the B, C, and maybe D kind of stages
为何重要“内部模型路由”本身就是推理调度问题,可以和你的 Agent 调度研究互相印证。
机器之心 / 腾讯新闻 报道配图
THE FRONTIER · 中文整理:机器之心 / 腾讯新闻 · 2026.10.11

Liam Fedus:数学之后,AI 该去实验室了

主持 Brendan Foody(Mercor 创始人)· 约 50 分钟 · 中文整理稿 · 原视频帖
这是谁

Periodic Labs 联合创始人。他是 ChatGPT 的共同创造者,曾任 OpenAI 副总裁、后训练负责人;在 Google Brain 与 Zoph、Shazeer 合作提出 Switch Transformer,在 Mila 读的博士。

Periodic Labs 2025 年以 3 亿美元种子轮亮相,投资方包括 a16z、英伟达等。今年 9 月发布约 1 万亿参数的 Periodic Neon。

为何值得听:他从 ChatGPT 内部亲历者转型到“AI 做科学”的前线。

数学有 Lean 当裁判,物质世界没有;要造 AI 科学家,就必须自己建实验室、生产带负面结果的数据。

  1. ChatGPT 用的是已开放数月的 GPT-3.5,真正的变量是从“补全”变成“对话”。这是件小事,但它非常自然。
  2. 内部预测用户数,最大胆的人猜 100 万;上线后“所有仪表盘都是红的”。2023 年夏天用量下滑,后来才发现只是学生放暑假了。
  3. RLHF 奖励模型对正确性不敏感:它们编码的其实是风格、意图和形式。编程之所以突破,靠的是测试时计算加可验证奖励。
  4. 网上的材料数据几乎没有负面结果:你在网上看到的一切都成功了,这显然是一个高度有偏的数据分布。
  5. 要创造一个 AI 科学家,你就必须真正去做科学。
为何重要“可验证性决定 AI 先突破哪里”,这个框架同样适用于 NL2SQL:SQL 的执行结果天然就是裁判。

注:引文为机器之心的中文转述,并非英文原话;原视频未转录。

II

AI 要闻

III

科研论文

arXiv 近 3 周 · Agent 推理服务 / KV cache / NL2SQL

RR-Evict: Fine-Grained Prefix Cache Eviction beyond LRU for Agentic LLM Serving

Zaifeng Pan, Chris Wu, …, Yufei Ding · 2026-09-26 · arXiv:2609.32278
问题
LRU 存在“近期性同步”:一个 Agent 的整段历史会被一起驱逐,它回来时几乎要全量重算,造成 TTFT 长尾。
方法
对空闲 Agent 轮转,每个只驱逐尾部一块,保留更多 Agent 的可复用前缀;不需要预测工具延迟。已在 SGLang 中实现。
结果
回来的 Agent 只需重算较短的缺失后缀(具体数字见论文正文)。
与你的关系
和 KV cache 租约 / 保活策略直接对标,可作为 baseline。

When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse

Yiyu Liu, Minlan Yu, Juncheng Yang · 2026-09-24 · arXiv:2609.28870
问题
在 Agent 负载下,复杂的驱逐策略真的比 LRU 好吗?
方法
用两家公司的生产 trace,评测 14 种驱逐算法,并提出 compute-savings ratio 指标和两个离线 oracle。
结果
复杂策略相对 LRU 几乎没有收益,因为活跃会话的节奏让近期性很有预测力。建议在 LRU 基础上加入一次性前缀快速降级和按计算代价的部分驱逐。trace 将开源。
与你的关系
做 KV 租约设计前必读的反例;trace 可以直接用于评测。

Lachesis: Lifetime-Aware KV Cache Placement for Agent Serving across HBM and High-Bandwidth Flash

Jaehoon Yang, …, Nam Sung Kim, Jae W. Lee · 2026-10-06 · arXiv:2610.08378
问题
Agent 上下文不断累积,把 KV 放到 HBF 能扩容,但 HBF 的写入寿命有限。
方法
由 harness 告知 KV 段的生命周期(时间、结构、跨 worker 三个维度),短命的段放 HBM、长命的放 HBF,生命周期结束即释放。
结果
trace 模拟中,HBF 寿命比 HBM-first 策略延长 1.19–3.13 倍。
与你的关系
“由 harness 提供生命周期提示”和 KV leasing 的思路高度一致。

KV-Repurpose: A Testbed for Evaluating Non-Prefix KV-Cache Reuse

Taiga Ikeda, Daisuke Miyashita, Jun Deguchi · 2026-10-09 · arXiv:2610.13060
问题
前缀缓存只能复用完全相同的前缀,RAG 文档出现在不同位置时就无法复用。
方法
基于 vLLM 的分段 KV 复用测试平台,开源(Apache-2.0)。
结果
在 30GB 缓存下,token 级命中率 63.9%,前缀缓存只有 3.3%;跨文档推理的质量会下降。
与你的关系
Data Agent 反复注入同一份 schema 或文档,这是可以复用 KV 的场景。

HarnessSQL: Harness-Native Training for SQL Agents in Realistic Database Environments

Haolin Yang, …, Yike Guo · 2026-10-08 · arXiv:2610.12274
问题
Text-to-SQL 模型训练时只学静态查询,部署时却要在 harness 里与数据库进行多轮交互,训练和部署不一致。
方法
在可执行的隔离数据库环境中采集教师模型轨迹,保留验证通过的轨迹做 SFT,再用执行奖励做 RL。
结果
Spider 2.0-SQLite 上,Qwen3-8B 从 15.5% 提到 45.2%,Qwen3-14B 从 22.2% 提到 54.8%。
与你的关系
给出了真实的多轮 SQL Agent 交互模式,可用于构造你的端到端延迟负载。

EdgeAgent: Orchestrating On-Device LLM inference for End-User Multi-Agent Systems on CPU-GPU Unified Memory Architectures

Yuhai Long, …, Jiangsu Du · 2026-10-02 · arXiv:2610.03394
问题
多 Agent 在端侧统一内存架构上运行时,存在总线争用,工具调用停顿也会让硬件空转。
方法
UMA 感知的零拷贝张量并行,动态分配投机解码预算,并在工具调用期间异步挂起、让出资源。
结果
在 Apple M4 上,全系统相对批量投机解码提速 1.77 倍。
与你的关系
“工具调用期间挂起 Agent”的思路,可以迁移到 GPU 推理与 PostgreSQL 查询的协同调度。

本期没有找到近两周 VLDB/SIGMOD 正式发表的“GPU 推理与 PostgreSQL 协同调度”论文,下期继续追踪。相关的早期工作有 Cortex 和 HexGen-Text2SQL。