操盘手年鉴The Operators’ Almanac
AI · FW · 332

Agent界面设计新学科

AI Computer Interface New Discipline · ai-computer-interface-new-discipline--amjad-masad
AI 与新工作方式 框架 过渡期 2024-11 Amjad Masad ✓ 已核验出处

解决什么问题

给 AI agent 配一套"能操作的环境"(编辑器、终端、数据库)时,很容易默认照搬给人类设计的界面(如截图、点击、可视化 GUI)。这个框架指出,这是一个错误的默认假设——LLM 需要的界面和人类需要的界面本质不同,这催生了一个新学科。

核心内容

核心主张:存在一门与 HCI(人机交互,Human-Computer Interaction)平行的新学科,可以称为 ACI(AI-Computer Interface / AI 计算机接口)。 依据是:LLM 虽然是从海量互联网语料训练出来的,但它们本质上是"异形生物"(alien creatures)——不像人类那样通过视觉、点击来理解和操作计算机,给它们套用人类习惯的交互方式(比如 Anthropic 的 computer use,靠截图和视觉识别)虽然可行,但成本很高(需要处理大量图像/视频 token)。

Replit 的实际做法体现了 ACI 的设计取舍:

  • 终端/Shell:不给 agent 看视觉化的终端窗口,而是按一定时间间隔提供终端输出的文本表示
  • 代码编辑:给 agent 一个专门的"编辑工具",在它写代码时,直接反馈是否报错——本质上模拟了人类看到的报错信息,但用的是对模型更友好的纯文本形式,而非视觉截图。
  • 文件可见范围的实验:目前还没有定论"该同时给 agent 看多少个文件"——文件太多容易让模型开始产生幻觉,这类参数目前更多靠实验摸索,而非有成熟理论指导。
  • 配套的服务化封装:把数据库、对象存储、鉴权这类能力都封装成 agent 可以直接调用的"服务"(tools),本质上是给 agent 准备一台"专门为它定制的计算机",而不是复用人类的计算机使用习惯。

作者的判断:这套"怎么给 AI 设计计算机接口"的方法论目前"更像一门艺术而非科学",但正在快速往"科学"的方向演化——即这是一个值得持续投入实验、尚未定型的产品设计领域。

适用边界

  • 这套判断建立在"当前一代大模型仍然更擅长处理文本而非密集视觉信息"这一前提上;如果未来模型的多模态原生能力大幅提升,文本优先的 ACI 设计取舍可能需要重新评估。
  • 作者承认这仍是实验阶段的领域,没有定论式的最佳实践,只有"这样做效果不错"的阶段性经验。

关键引述 · 原话

"There's almost like a new discipline called AI Computer interfaces... turns out LLMs need interfaces that are actually quite different than humans." — Amjad Masad

"Large language models are trained on large stacks of corpus from the internet, but they're still kind of alien creatures... right now, it's more of an art than science, but it's becoming more and more like a science." — Amjad Masad

关联卡片

- 与 `society-of-models-architecture--amjad-masad.md` 共同构成 Replit agent 底层的技术设计体系:一个讲"给模型什么样的操作环境",一个讲"用几个模型协同完成任务"

被这些卡引用

出处Amjad Masad (co-founder and CEO of Replit) · 03-podcasts/amjad-masad.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2