提示词与上下文工程

Prompt & context engineering

第 02 讲约 10 分钟阅读官方讲义 ↗

选择材料、表达约束、构造验证器,让反馈推动任务继续。

阅读目标与前置知识3 项目标
  • 按来源和用途组织上下文
  • 把主观要求变成可检查约束
  • 区分局部改进与长程任务的状态管理

建议先读 第 1 讲

上下文Context验证器Prompt
本章关联演示让失败成为下一步的输入。

一、把提示词看成任务运行的上下文

Agent 的行为由当前可以读取的信息共同影响。用户发出的需求很重要,项目规则、代码范例、会话历史和工具输出也会占据上下文。编写提示词的工程目标是让它在作决定时拿到足够而相关的信息,并能从结果中得知自己何处做错。

上下文来源 适合表达的信息 典型问题
系统与运行环境 工具、角色和通用约束 用户只看到对话,容易遗漏运行环境的影响
仓库和目录规则 本项目的惯例、命令、边界 规则过长或作用域模糊,任务难以找到相关部分
当前任务 目标、范围、输出和验收条件 用一个名称代替了具体场景
相关代码与文档 现有模式、接口、已确认的结论 临时代码被当成应该复用的范例
历史和工具反馈 已尝试方案、错误现象、测试输出 已过时的假设长期留在上下文里

课堂以项目 AGENTS.md 和按需读取的 Skill 说明作用域。项目规律适合放在仓库里,某个目录独有的约定可以靠近对应目录。专门流程在任务需要时加载,可以把日常上下文留给当下的问题。

二、把指令遵循和控制机制分开理解

分析一条命令为何需要确认时,可以沿三层推断。模型基于材料提出动作,harness 依据配置与规则决定是否允许执行,操作环境再施加实际的访问限制。模型自述能帮助定位现象,配置、源码和受控实验才能说明哪些条件决定结果。项目中也可以用同一思路设计约束。例如把「遵守模块边界」先写进 Agent 指令,再用依赖检查在合入处核实,能同时覆盖决策提示和实际反馈。

材料的权限也属于上下文工程。用户的目标、仓库规则和网页中的文字可以同时进入上下文,三者承担不同作用。阅读网页时,从网页提取事实和引用,工作目标仍由当前任务决定。需求未写尽的部分可进一步分为可由 Agent 选择的局部决定、应由用户确认的体验偏好,以及可以用小实验判断的设计假设。

用课堂写作题设计验收

藏头诗、同偏旁故事和同音文把约束看得很清楚。可以分别检查句数、句首、指定字、字数和读音,再评价故事是否自然。要编写程序验收,还得先决定「同音」是否要求相同声调,「同偏旁」究竟检查视觉构形还是字典归类。定义变化会直接改变哪些答案算通过。诗的故事性和节奏仍需要语义判断。

这组例子可以直接转到软件。表单约束能由程序检查,用户是否顺利办完事还要通过一个完整场景观察。对 Agent 给出的完成状态,可以要求列出已经证实的事项、未验证的关键条件和下一次验证方法。这样即使任务遇到缺失资料,用户也能从结果继续。

三、用 Agent 学习时如何验证理解

课上借 Codex 何时需要执行确认说明如何学习。先让 Agent 解释可见现象,沿实现找决定因素,再改变输入或规则观察行为变化。这样的过程可以留下三类证据。

  • 从代码或一手材料定位规则的来源。
  • 构造例子来触发规则,再看输出是否符合预测。
  • 用自己的话复述条件和边界,让 Agent 针对复述提出反例。

读论文时也可以这样做。先确认问题此前解决到什么程度,论文声称解决哪部分。若优化的部分只占总耗时很小的一段,就分别检查局部效果和端到端收益。

四、先定义意图与验收,再交给模型实现

模糊名称无法充分描述体验

「做一个 CS:GO」或「做一个极品飞车」可能得到一个相似的游戏,但模型会自行决定地图、素材、物理和交互方式。课上指出,真实想要的也许是某个校区的地图、指定的车辆和素材,以及可复现的操作体验。这些信息需要明确交给模型。视觉要求可以用参照、实际场景和可观察的标准表达。

验收条件决定反馈的质量

  • 可机械判断的要求可以写成测试、脚本或确切的样例,例如输入变化时输出必须改变,或无效请求应返回指定结果。失败输出应能定位输入、期望和实际差异。
  • 有必要人工判断的要求适合给出素材、例子和评审维度。课堂制作教学片段时,内容节奏、适当的铺垫和讲述口吻难以合成一个客观分数。可以分别审查事实、措辞与节奏。
  • 一时不明确的要求可以先以调研或方案比较为交付,等确认关键取舍后再实现。在探索阶段把某个假设写成必须成立的结论,会改变 Agent 收集的证据。

可以复用的任务说明

下表将课堂原则落到任务记录。

字段 要写进去的内容
目标 谁在什么场景遇到了什么问题,本次要实现哪一段行为
现状 相关代码位置、当前表现、可复现样例、既有设计决定
约束 兼容性、接口、允许触碰的范围、实际使用环境
验收 成功路径、边界例、可运行的验证和需要人工看的内容
交付 需要提交的代码、验证结果和仍待决定的问题

先写一次失败时能重现的验收,再开始改代码。让 Agent 交付证据,例如测试命令和运行结果,就能继续区分行为没实现、测试不充分或规格写错。

五、从目标到验证器的完整推演

用课堂游戏案例衍生一个明确的小任务。原始想法是「能在仙林校区开车」。可以先选一条代表性道路与一个车辆模型,约定输入、碰撞和地图尺度;再选择是否增加整个校园、更多素材和复杂交互。这样就有一条能判断是否成功的第一版路径。

把隐含要求拆成可验收条件

原始说法 需要确定的决策 可以观察的证据
地图要像真实校区 指定地理范围、数据来源、路线与比例 对照道路端点、交叉口和一条已知路线
开车手感好 确定最小控制方式、速度变化和碰撞反馈 跑完一次转弯、倒车与障碍停车,再试驾评审
用现成素材 指定可以使用的素材类别和来源 查看导入内容和来源记录
做成能玩的版本 明确启动方式、必要操作和完成场景 从干净环境打开并完成一轮测试

视觉相似、控制正确和地理数据准确,需要不同验证手段。可以把必须过的规则写成明确判断,把难量化的体验整理成可重复的人评场景。验收记录里先写事实,例如车辆在越界时穿过障碍,再决定是规格遗漏还是实现错误。

让验证信号覆盖真实成功

一个检查如果只要求页面出现几个文本,Agent 可能让文字存在,而相关能力仍不可用。可以加入针对反例的检查。以上述地图为例,只检查路线名称时,可以用一条画出来的线过关。再检查转弯位置、路线可达性和边界碰撞,证据才覆盖真实行为。

验证器本身也要审查。确认验收使用的数据是否代表目标用户的情况,测试有没有依赖实现细节,失败结果能否说明实际和期望的差别。自动检查是反馈手段,最终用什么作为成功标准取决于原始意图。

六、注意力、推理和上下文漂移

讲师用一张可以继续往后写的草稿纸比喻多步推理。模型可以先尝试、发现问题、再纠正,但生成不同阶段时关注的信息会变。写实现时可能优先关注代码与目标,总结时才重新照顾输出要求。指令、代码、日志和前一次结论越多,当前任务越容易取到不相关的线索。

课程展示了常见的两种漂移。

  1. 跟随强叙事。把一篇完整论文放在最前面,模型容易沿作者的故事解释结果。比较工作价值时,先了解领域已有方案、基线和整体瓶颈,再读论文,可以形成一套独立的检验问题。
  2. 把早期产物变成后续先例。从零生成的实现即便能跑,也可能埋下耦合。后续每轮都参照现有代码,就会把耦合复制下去。成熟仓库里的代表性范例和设计边界,则能给出有用的先验。

控制上下文时,保留当前目标、有效证据和关键决定,把旧的讨论留在可查的记录中。短任务可以直接给出清楚的指令。阶段跨度增加以后,检查是否仍在解决同一目标。

七、在长会话中更新任务材料

上下文工程涉及何时放入资料,也涉及何时把阶段结论从讨论中提取出来。一轮探索完成,可以整理以下交接信息:

  • 已经确定的目标与约束。说明由谁或什么证据确认。
  • 已经排除的方案。记录失败的输入与关键原因,使下一轮能判断是否值得重试。
  • 仍然开放的问题。把未验证的判断和观察结果分开。
  • 下一轮的动作。给出相关材料、要运行的验证和应报告的结果。

例如,前一轮讨论了三套地图来源,其中一套范围不全,一套坐标格式不兼容,第三套尚需验证。下一轮只需要与第三套相关的输入和转换检查,并能按记录知道前两套为什么被搁置。把整个尝试过程都放到开头容易让未采用的方案重新进入实现。

不同工作阶段怎样选择上下文

阶段 优先提供 期望输出
理解需求 原始场景、已确认事实与歧义 问题清单、选项和一条待验证路径
落实设计 既有接口、代表性代码和边界示例 与项目模式一致的最小实现
排查故障 复现输入、实际错误、最近改动 可验证的原因和最小修正
独立审查 规格、差异、复现方法和验收证据 具体影响、反例和待确认内容

同一条请求里可以有多种信息,按阶段组织更容易发现缺口。实现阶段需要邻近代码示例。独立审查更需要原规格、差异与测试,先把实现者自己的解释作为一项待核对的信息。

八、长程任务怎样防止局部目标替代真实目标

符号执行引擎的案例中,任务逐渐被理解成「证明方法 A 有用」。模型在小型基准上反复比较,得到的结果未必能说明真实工具的瓶颈。课堂改用现有工具和代表性的程序来观察,连长时间运行失败的搜索路径也可以提供证据,因为它揭示了哪些程序结构难以处理。

可以据此分阶段判断长任务的进展。

  1. 建立基线。找代表性的工具、数据和既有方案,明确真实瓶颈。
  2. 提出可否决的假设。写清什么结果支持方案,什么结果会让团队放弃它。
  3. 小范围验证。执行有辨识度的实验,保留输入、输出与失败路径。
  4. 回到整体目标。评估局部改善是否影响最终指标,再决定继续、换思路或重新定义任务。

有明确验证器的阶段可以交给 Agent 循环执行。遇到结果有几种解释、验收标准也未确定的阶段,应先比较证据,再继续扩大实现。

九、课堂上的论文评价和研究失败怎么复用

量化局部优化能带来多少总收益

课堂举例,设总耗时由 A1 与 A2 组成,A2 只占 1%。如果把 A2 的耗时减半,整个系统从原来的 100% 变为 99.5%,端到端时间只下降 0.5%。即使完全消除 A2,最多也只消去原始时间的 1%。这个推演成立的条件是工作负载相同,其他部分耗时和交互没有变化。

读论文时,可以先写出系统视角的式子和已有基线,再看文章优化的是哪一项。若研究目标明确只针对某类场景,还要确认那个场景中 A2 的占比是否显著不同。这样可把「技术本身有效」「效果有实用价值」「文章证据能证明什么」拆成可以回答的问题。

把证明有用改写为可否决的实验任务

符号执行案例中,提示目标「证明方法 A 有用」容易让 Agent 寻找适合 A 的小样例。可以把任务写成探索要求:

  1. 复现已有工具在代表性程序上的行为,记录终止、超时和路径选择。
  2. 写出怀疑的瓶颈及证据,说明有哪些替代解释。
  3. 用同一组程序比较参考方法与 A,记录哪些输入改善、恶化或没有变化。
  4. 给出是否继续使用 A 的条件,并保留负面结果。

在这个框架里,超时可能暴露分支爆炸或搜索策略的弱点。是否属于真实发现,需要回到路径和输入结构。研究任务的完成证据是能够评价假设的材料,输出可以是支持、反例或暂时无法区分。

十、诊断常见的提示词失败

现象 先查的原因 可做的修正
生成结果形式正确,功能偏离场景 目标写成了产品名或效果形容词 补用户操作、输入输出、兼容条件
每轮都说已经完成,同一问题重复出现 验证器不能发现实际失败 补失败复现和反例,再运行同一条检查
摘要和评价一直沿用材料观点 先接触了完整叙事,缺少参照系 先重建基线和反证问题,再看原文
每次加功能工作量都大幅上升 早期结构被反复复制 找一个未来变化验证结构,给 Agent 新的设计范例
长任务跑得很久却没有可追踪判断 阶段边界和完成条件模糊 把任务拆成可验收的小切片,写回证据与下一步

复习与应用

把「让网页更好用」改成一份可执行的任务说明。给出一项能自动验收的交互,一项需要真人评审的体验,并写出在什么情况下应该暂停实现、先回来确认意图。

第 2 讲官方讲义

停一下,解释给自己听。

为什么不断加长提示词不一定带来更可靠的结果?

展开答案要点

材料越多不等于相关信息越清楚。需要筛选任务相关依据、明确优先级与停止条件,并用可重复的检查识别改进是否真的有效。

为这次阅读留下一个标记。

已读由你决定,不代表自动评估掌握程度。

学习记录,留在这里。

阅读位置、已读章节和实验清单保存在当前浏览器。更换浏览器或清理站点数据后,这些记录不会同步。

0 / 12 讲已标记为已读

Search the course
输入关键词,或从下方开始。
试试 暂存区、CQRS、不变量Esc 关闭 · Tab 选择结果