Agent Eval 模板开始被更多项目内置
Agent 产品正在从演示能力,转向证明能力。
- 为什么值得关注
- 没有评测,Agent 很难进入真实工作流;Eval 变成默认模块,说明市场开始重视可靠性。
- 它透露了什么信号
- AI Agent 的竞争会从「看起来聪明」转向「能被持续验证」。
- 对 Builder 的启发
- 做 Agent 产品时,先设计验收样例和失败日志,再设计更花哨的自动化。
Pillar
把 AI 织进研究、写作、决策与交付,长成一个人能运转的操作系统。从「用 AI」到「跑在 AI 上」:collect、judge、build、compound。
B300 RoCE 项目真正采购的不是一批 800G 交换机,而是一套由 GPU/NIC 拓扑、Leaf-Spine、光链路、拥塞控制、遥测和 NCCL 验收组成的端到端 GPU Compute Fabric。
阅读全文AI Loop 的工作单位不是一次任务,而是一个持续改善的业务目标。本文从 Scoreboard、独立 Evaluator、Action Space、Guardrails、Budget、Memory 与 Human Gate 出发,给出一份可直接上线的 Loop Specification。
阅读全文未来 Neocloud 的核心竞争力,不只是拥有多少 GPU,而是谁能把客户合同、电力和设备,转化为成本更低、期限更长的资本。
阅读全文六家公司都在卖 GPU,但有人经营合同,有人经营项目、电力、定制交付或利用率。看懂谁出钱、谁承担闲置与折旧,才能看懂它们的现金流和估值。
阅读全文长任务 Agent 的关键不是让模型一直思考,而是让每个新上下文都能接班。本文用四类交接工件、三份合同、外置状态、独立验证与 Checkpoint,拆解可持续完成任务的可靠性工程。
阅读全文Q-Loop 3×8×5 把自进化量化拆成研究、执行、治理三个平面,八个子循环与五级策略晋级:让 Agent 快速提出和淘汰策略,让确定性系统与独立风险层守住资金。
阅读全文AI Infra 正在从租 GPU 变成经营 AI 产能。真正有价值的不是单张 GPU,而是电力、数据中心、高端 GPU、网络、存储、调度、推理优化、监控、计费和 SLA 组成的可交付 AI Compute Capacity。
阅读全文RoCE Fabric 的核心不是把以太网调成无损网络,而是把拓扑、QoS、负载均衡、NCCL、遥测和训练任务组织成闭环。真正合格的 AI Ethernet,不是网络可用,而是训练任务可预测。
阅读全文GPU 集群真正的瓶颈,正在从有没有高速网络,转向网络能不能像一个计算系统一样,稳定支撑十万卡级同步训练。Spectrum-X 的价值不是给出一组 RoCE 参数,而是把 RoCE 推向 Multi-Plane、硬件负载均衡、高频遥测和 workload-aware 验收的 AI Fabric 架构。
阅读全文AI 基础设施的竞争,正在从谁有更多 GPU,转向谁能让 GPU 稳定、高效、可规模化地协同工作。AI Fabric 工程团队不是传统网络运维组,而是把 RoCE、InfiniBand、NCCL、RDMA、监控、压测和交付组织成可复制工程能力的小队。
阅读全文当 AI 机柜进入 100kW+ 时代,散热从服务器问题变成数据中心系统工程。液冷不是为了取代风冷,而是为了让高密度 AI 算力继续稳定释放。
阅读全文DPU 不训练模型,也不增加 GPU FLOPS。它真正处理的是网络、存储、安全和基础设施管理,让昂贵的 GPU 更少等待、更稳定运行。
阅读全文从买云到锁电、锁地、锁数据中心:Frontier AI 的竞争单位,正在从模型参数扩展为模型、算力、能源和区域合规的系统能力。
阅读全文韩国不是单纯在买 GPU,而是被 NVIDIA 按存储、算力、能源、制造和 Physical AI 重新组织成一套 AI 工业体系。
阅读全文从固定 Fabric 到可重构 Fabric,OCS 正在把 AI 集群网络从“静态布线系统”升级为“可调度的物理连接资源”。
阅读全文从 GPU 算力到上下文状态:KV Cache 正在重塑 AI 推理基础设施。大模型推理的瓶颈,正在从单次算力转向持续状态管理。
阅读全文HBM 不是更快的内存条,也不是传统意义上的存储。它是 AI 加速器的近身数据层,决定 GPU 的算力能不能被持续喂饱。
阅读全文GPU 决定单点计算能力,网络决定 GPU 能否组成一台真正的 AI 工厂。AI Compute Fabric 的核心,不是端口速率,而是把理论 FLOPS 转化成真实可交付的有效算力。
阅读全文GPU 负责算,SuperNIC 负责连,Fabric 负责组织大规模通信,DPU 负责控制基础设施,DOCA 负责把这些能力软件化。BlueField 的真正意义,不是让一台服务器网络更快一点,而是让 NVIDIA 进入 AI 数据中心的控制层。
阅读全文GPU 负责计算,网络负责连接,NCCL 负责组织 GPU 之间的数据怎么流动。判断 AI 集群不能只看 GPU 数量和端口带宽,还要看集合通信、拓扑感知、GPUDirect、NCCL tests 和真实有效带宽。
阅读全文当大模型进入模型并行、MoE、长上下文和大规模推理阶段,GPU 的瓶颈不再只是单卡算力,而是 GPU 之间能否形成一个低延迟、高带宽、可扩展的计算域。
阅读全文RoCE 的核心不是“让普通以太网变快”,而是在开放以太网生态里,构建一张高带宽、低延迟、低丢包、可观测、可调优的 AI Compute Fabric。
阅读全文GPU 本身很强,不代表 GPU 集群就强。大规模训练和分布式推理真正需要的,是能把 GPU、网卡、交换机、RDMA、GPUDirect、NCCL 和拥塞控制组织起来的 AI Compute Fabric。
阅读全文2026 年 6 月,AI Native Builder 生态的主线不是模型又变强,而是 Agent 产品从聊天、Prompt 和 Demo,迁移到任务运行时、验证系统、能力资产和组织智能。
阅读全文Codex 的 skill-creator 解决如何把重复工作流快速做成 Skill,writing-great-skills 解决如何判断一个 Skill 写得好不好。真正有价值的方向,是把两者合成 Create、Review、Rewrite、Eval、Package 的 Skill 工程闭环。
阅读全文Codex、Claude Code、Cursor 让构建变便宜,但也让原型、代码和想法快速泛滥。AI 时代真正稀缺的不是会不会做出来,而是能不能判断什么值得做、什么应该删、什么应该合并,以及如何把大量可能性收敛成稳定产品。
阅读全文yao-meta-skill 不是一个普通 Skill Creator,而是把 Skill 当成工程资产来管理的一套 Skill OS:覆盖创建、评审、Eval、打包、治理、跨平台迁移和证据链。
阅读全文writing-great-skills 不是一个强执行型 Skill,而是一套关于如何把 Agent 行为压成稳定流程的设计方法论。它最值得学习的是 Predictability、信息分层、完成标准和调用负载管理。
阅读全文Agent 协作设计不应该按“几个 Agent 怎么聊天”来理解,而应该按执行层、控制层、验收层来设计:执行层决定任务怎么跑,控制层决定谁来调度,验收层决定结果怎么算完成。
阅读全文OCTO 真正值得研究的地方,不是它又做了一个团队聊天工具,而是它试图把 IM 从“人和人沟通的工具”升级为“人、Agent、任务、工具和组织上下文共同工作的控制面”。
阅读全文AI Agent 正在从 Chat Interface 演进为 Task Runtime。创业公司的真正机会,不是再包装一个会聊天的助手,而是围绕垂直场景构建可长期执行、可治理、可审计、可交付结果的任务运行系统。
阅读全文多 Agent 产品设计的关键,不是创建多少个 Agent,而是在任务复杂度、上下文隔离、工具边界、并行收益、状态管理、质量控制和风险治理之间做架构选择。
阅读全文OpenClaw 的价值不在于做一个多 Agent 群聊,而在于把 Agent、Session、Task、Task Flow、Workboard、Delegate 和 Governance 组合成可追踪、可恢复、可审查、可交付的 Multi-Agent Task OS。
阅读全文Loop Engineering 的核心不是写一个更聪明的提示词,而是设计一个能持续启动、执行、观察、验证、反思和记录状态的生产系统。Prompt 是一次请求,Loop 是一条生产线。
阅读全文AI 的下一阶段,不是一个超级大模型统治一切,而是公共智能、组织智能、私人智能三层结构共同演化。模型会成为公共基础设施,真正的护城河会出现在组织智能和私人智能里。
阅读全文Google Workspace CLI 不只是 Google API 的 CLI 封装,而是把 Workspace 的 API 元数据、Runtime、JSON 输出、Skills、Helpers、Recipes 和 Personas 编译成 Agent 可操作能力层的早期样板。
阅读全文论文 Are We Ready For An Agent-Native Memory System? 的核心信号不是 Memory Benchmark,而是 Agent Memory 正在从检索插件变成用户、项目、任务和决策的长期状态管理层。
阅读全文Goose Ads 最值得学习的不是 Claude 里可以生成广告,而是它把 SaaS 能力重新封装成 Agent 可调用、可治理、可回到产品系统的入口。
阅读全文OpenFugu 不是下一代 Agent 平台的答案,而是一个过渡性信号:它揭示了能力编排的重要性,但通用外部编排层会被原生 Agent 和垂直平台双向挤压。
阅读全文OpenRouter 类 AI API 聚合服务真正的长期壁垒,不只是模型路由,而是把模型调用治理成安全、可控、可审计、可运营的 Trust & Safety Gateway。
阅读全文Fugu 不是新模型革命,而是 Model Operating Layer 产品化的一个信号:AI 基础设施正在从模型 API,走向可路由、可治理、可验证、可恢复的模型操作层。
阅读全文OpenRouter 的核心价值不只是一个 API 调用很多模型,而是把模型、Provider、价格、延迟、吞吐、可用性、参数兼容、数据政策、Fallback 和可观测性封装成了一套可配置的路由系统。
阅读全文Prompt 让 AI 听懂一句话,Context 让 AI 理解一个任务,Harness 让 AI 变成可控、可复现、可交付的工作系统。
阅读全文提示词决定 AI 从哪里开始,上下文决定 AI 能走多远。
阅读全文AI 沟通的核心不是提示词技巧,而是把目标、背景、要求和输出标准说清楚。
阅读全文Personal AI OS 不是装更多工具,而是把每天反复发生的输入、判断和输出变成稳定回路。
阅读全文AI 不是多一个应用,而是重新组织研究、写作、决策与交付的底层。
阅读全文Codex 正把 MCP、CLI、Plugin 与专业 Skill 聚合成统一任务入口;Agent 产品的新机会,不是继续争夺前台,而是成为可调用、可计量、可验收的专业后端。
这不是再次解释 Agent 为什么要离开聊天框,而是把近 72 小时的产品信号压缩成 7 个可以立即改变路线图的决策。
ChatGPT Work 真正重要的不是多了一个长任务入口,而是 Agent 产品开始围绕目标、状态、过程、审批和交付物组织,Work 正在取代 Chat 成为新的产品单位。
Bloome 值得关注的不是把多个 Agent 放进群聊,而是提示 Agent 产品正在从单人聊天框进化为承载复杂工作的协作界面。
Agent 的竞争焦点正在从会聊天转向能长期执行任务并稳定交付结果;真正值得做的不是包装一个助手,而是构建任务运行系统。
AI 基建的瓶颈正在从 GPU 单点短缺,扩散到 GPU、HBM、CPU、DRAM 组成的系统资源瓶颈;长期运行的智能体系统,会重新定价系统内存。
大模型会越来越像公共基础设施,真正的护城河会转移到组织智能和私人智能:谁能把经验、判断、流程和反馈沉淀成持续学习的 Loop,谁就拥有智能主权。
这篇论文真正值得关注的不是 Memory Benchmark,而是它把 Agent Memory 从 RAG 插件重新定义为长期 Agent 的用户、项目、任务和决策状态管理层。
Codex 的真正信号不是更会写代码,而是 Agent 的基本工作单位正在从一次对话,迁移到可委托、可追踪、可交付的 WorkOrder。
Goose Ads 的真正信号不是 Claude 里能生成广告,而是 SaaS 正在被重新封装成 Agent 可以调用、受后端约束、可返回产品资产的能力层。
Aether AI 押注 Causal World Models,释放的信号是:Agent 的长期竞争力不只是工具更多,而是更懂动作后果、失败变量和可迁移机制。
Perplexity 创始人 Aravind Srinivas 的关键信号:模型不再是产品全部,真正的竞争正在转向把模型、工具、上下文、权限和成本组织起来的 Agent 编排层。
Claude Code / Cowork 的真正信号,不只是代码量提升,而是工程组织的瓶颈正在迁移到目标定义、质量验证、上下文管理和组织协同。
Bloomberg 对 Dario Amodei 的访谈释放的信号是:AI 公司竞争正在从 Model Race,进入 Operating Trust Race。
Codex Record & Replay 的核心不是录屏自动化,而是把人的一次重复任务示范转成可检查、可编辑、可复用的 Skill。
Sakana AI Fugu 的真正信号不是多模型协作突然出现,而是模型路由、AI Gateway 和 Agent 编排正在产品化为 Model Operating Layer。
Apodex-1.0 的真正信号,不只是一个新研究 Agent,而是深度研究正在从单 Agent 长上下文,转向多 Agent 并行探索、外部验证器和 AgentOS 运行时。
Boris Cherny 关于 Claude Code 的访谈释放了一个反直觉信号:不要围绕今天的模型短板,搭建太厚的产品和规则脚手架;真正长期有效的是薄接口、真实现场、最小上下文和可验证结果。
Vercel 发布 eve 和 Agent Stack 的真正信号,不是又多了一个 agent 框架,而是主流平台开始把 durable execution、sandbox、approval、observability 和 evals 做成 Agent 的生产级运行时。
Agent Commerce 的真正信号不是 AI 接入支付,而是 Agent 开始同时拥有上下文、权限和预算,正在从建议者变成可控的执行者。
Codex 的新能力说明 Agent UX 的核心不再是让用户选择工具,而是让系统根据目标、环境、权限和风险自动选择最稳、最快、最安全的行动模式。
Codex 的变化说明 AI 编程正在从写 prompt 生成代码,转向用目标、上下文、验收标准和自动验证交付工程结果。
Agent 的竞争正在从单次回答质量,转向长期任务管理能力:谁能设计可保存上下文、可交接、可审计、可复盘的 Agent Ops,谁就更接近下一代 Builder。
官方 Skill 的基础形态仍然是 SKILL.md + YAML frontmatter,但 Fat Skills 的未来不是更多 Markdown,而是可发现、可安装、可审计、可评估、可版本管理的 Skill Contract。
Fable 5 不是更适合超长 Prompt,而是更适合清晰 Goal:任务入口正在从一句请求,升级成可执行、可验证的目标契约。
Fable 5 的真正信号,不是模型会写更多代码,而是软件生产的瓶颈正在从执行层迁移到目标定义、上下文组织、验证和智能编排。
Agent 的下一阶段,不是更会写 Prompt,而是更会设计可执行、可验证、可恢复、可控成本的工作循环。
Agent 产品正在从「会做事」走向「会保管工作状态」:真正要管理的是文件、上下文、技能、权限、产物、版本和验证闭环。
Agent 的下一阶段,不是更会聊天,而是更会承接目标、拥有工作流、维护共享上下文。
Agent 产品正在从演示能力,转向证明能力。
Agent 产品正在从「造功能」走向「造工作方式」。