提示词与上下文工程
Prompt & context engineering
选择材料、表达约束、构造验证器,让反馈推动任务继续。
阅读目标与前置知识3 项目标
- 按来源和用途组织上下文
- 把主观要求变成可检查约束
- 区分局部改进与长程任务的状态管理
建议先读 第 1 讲
一、把提示词看成任务运行的上下文
Agent 的行为由当前可以读取的信息共同影响。用户发出的需求很重要,项目规则、代码范例、会话历史和工具输出也会占据上下文。编写提示词的工程目标是让它在作决定时拿到足够而相关的信息,并能从结果中得知自己何处做错。
| 上下文来源 | 适合表达的信息 | 典型问题 |
|---|---|---|
| 系统与运行环境 | 工具、角色和通用约束 | 用户只看到对话,容易遗漏运行环境的影响 |
| 仓库和目录规则 | 本项目的惯例、命令、边界 | 规则过长或作用域模糊,任务难以找到相关部分 |
| 当前任务 | 目标、范围、输出和验收条件 | 用一个名称代替了具体场景 |
| 相关代码与文档 | 现有模式、接口、已确认的结论 | 临时代码被当成应该复用的范例 |
| 历史和工具反馈 | 已尝试方案、错误现象、测试输出 | 已过时的假设长期留在上下文里 |
课堂以项目 AGENTS.md 和按需读取的 Skill 说明作用域。项目规律适合放在仓库里,某个目录独有的约定可以靠近对应目录。专门流程在任务需要时加载,可以把日常上下文留给当下的问题。
二、把指令遵循和控制机制分开理解
分析一条命令为何需要确认时,可以沿三层推断。模型基于材料提出动作,harness 依据配置与规则决定是否允许执行,操作环境再施加实际的访问限制。模型自述能帮助定位现象,配置、源码和受控实验才能说明哪些条件决定结果。项目中也可以用同一思路设计约束。例如把「遵守模块边界」先写进 Agent 指令,再用依赖检查在合入处核实,能同时覆盖决策提示和实际反馈。
材料的权限也属于上下文工程。用户的目标、仓库规则和网页中的文字可以同时进入上下文,三者承担不同作用。阅读网页时,从网页提取事实和引用,工作目标仍由当前任务决定。需求未写尽的部分可进一步分为可由 Agent 选择的局部决定、应由用户确认的体验偏好,以及可以用小实验判断的设计假设。
用课堂写作题设计验收
藏头诗、同偏旁故事和同音文把约束看得很清楚。可以分别检查句数、句首、指定字、字数和读音,再评价故事是否自然。要编写程序验收,还得先决定「同音」是否要求相同声调,「同偏旁」究竟检查视觉构形还是字典归类。定义变化会直接改变哪些答案算通过。诗的故事性和节奏仍需要语义判断。
这组例子可以直接转到软件。表单约束能由程序检查,用户是否顺利办完事还要通过一个完整场景观察。对 Agent 给出的完成状态,可以要求列出已经证实的事项、未验证的关键条件和下一次验证方法。这样即使任务遇到缺失资料,用户也能从结果继续。
三、用 Agent 学习时如何验证理解
课上借 Codex 何时需要执行确认说明如何学习。先让 Agent 解释可见现象,沿实现找决定因素,再改变输入或规则观察行为变化。这样的过程可以留下三类证据。
- 从代码或一手材料定位规则的来源。
- 构造例子来触发规则,再看输出是否符合预测。
- 用自己的话复述条件和边界,让 Agent 针对复述提出反例。
读论文时也可以这样做。先确认问题此前解决到什么程度,论文声称解决哪部分。若优化的部分只占总耗时很小的一段,就分别检查局部效果和端到端收益。
四、先定义意图与验收,再交给模型实现
模糊名称无法充分描述体验
「做一个 CS:GO」或「做一个极品飞车」可能得到一个相似的游戏,但模型会自行决定地图、素材、物理和交互方式。课上指出,真实想要的也许是某个校区的地图、指定的车辆和素材,以及可复现的操作体验。这些信息需要明确交给模型。视觉要求可以用参照、实际场景和可观察的标准表达。
验收条件决定反馈的质量
- 可机械判断的要求可以写成测试、脚本或确切的样例,例如输入变化时输出必须改变,或无效请求应返回指定结果。失败输出应能定位输入、期望和实际差异。
- 有必要人工判断的要求适合给出素材、例子和评审维度。课堂制作教学片段时,内容节奏、适当的铺垫和讲述口吻难以合成一个客观分数。可以分别审查事实、措辞与节奏。
- 一时不明确的要求可以先以调研或方案比较为交付,等确认关键取舍后再实现。在探索阶段把某个假设写成必须成立的结论,会改变 Agent 收集的证据。
可以复用的任务说明
下表将课堂原则落到任务记录。
| 字段 | 要写进去的内容 |
|---|---|
| 目标 | 谁在什么场景遇到了什么问题,本次要实现哪一段行为 |
| 现状 | 相关代码位置、当前表现、可复现样例、既有设计决定 |
| 约束 | 兼容性、接口、允许触碰的范围、实际使用环境 |
| 验收 | 成功路径、边界例、可运行的验证和需要人工看的内容 |
| 交付 | 需要提交的代码、验证结果和仍待决定的问题 |
先写一次失败时能重现的验收,再开始改代码。让 Agent 交付证据,例如测试命令和运行结果,就能继续区分行为没实现、测试不充分或规格写错。
五、从目标到验证器的完整推演
用课堂游戏案例衍生一个明确的小任务。原始想法是「能在仙林校区开车」。可以先选一条代表性道路与一个车辆模型,约定输入、碰撞和地图尺度;再选择是否增加整个校园、更多素材和复杂交互。这样就有一条能判断是否成功的第一版路径。
把隐含要求拆成可验收条件
| 原始说法 | 需要确定的决策 | 可以观察的证据 |
|---|---|---|
| 地图要像真实校区 | 指定地理范围、数据来源、路线与比例 | 对照道路端点、交叉口和一条已知路线 |
| 开车手感好 | 确定最小控制方式、速度变化和碰撞反馈 | 跑完一次转弯、倒车与障碍停车,再试驾评审 |
| 用现成素材 | 指定可以使用的素材类别和来源 | 查看导入内容和来源记录 |
| 做成能玩的版本 | 明确启动方式、必要操作和完成场景 | 从干净环境打开并完成一轮测试 |
视觉相似、控制正确和地理数据准确,需要不同验证手段。可以把必须过的规则写成明确判断,把难量化的体验整理成可重复的人评场景。验收记录里先写事实,例如车辆在越界时穿过障碍,再决定是规格遗漏还是实现错误。
让验证信号覆盖真实成功
一个检查如果只要求页面出现几个文本,Agent 可能让文字存在,而相关能力仍不可用。可以加入针对反例的检查。以上述地图为例,只检查路线名称时,可以用一条画出来的线过关。再检查转弯位置、路线可达性和边界碰撞,证据才覆盖真实行为。
验证器本身也要审查。确认验收使用的数据是否代表目标用户的情况,测试有没有依赖实现细节,失败结果能否说明实际和期望的差别。自动检查是反馈手段,最终用什么作为成功标准取决于原始意图。
六、注意力、推理和上下文漂移
讲师用一张可以继续往后写的草稿纸比喻多步推理。模型可以先尝试、发现问题、再纠正,但生成不同阶段时关注的信息会变。写实现时可能优先关注代码与目标,总结时才重新照顾输出要求。指令、代码、日志和前一次结论越多,当前任务越容易取到不相关的线索。
课程展示了常见的两种漂移。
- 跟随强叙事。把一篇完整论文放在最前面,模型容易沿作者的故事解释结果。比较工作价值时,先了解领域已有方案、基线和整体瓶颈,再读论文,可以形成一套独立的检验问题。
- 把早期产物变成后续先例。从零生成的实现即便能跑,也可能埋下耦合。后续每轮都参照现有代码,就会把耦合复制下去。成熟仓库里的代表性范例和设计边界,则能给出有用的先验。
控制上下文时,保留当前目标、有效证据和关键决定,把旧的讨论留在可查的记录中。短任务可以直接给出清楚的指令。阶段跨度增加以后,检查是否仍在解决同一目标。
七、在长会话中更新任务材料
上下文工程涉及何时放入资料,也涉及何时把阶段结论从讨论中提取出来。一轮探索完成,可以整理以下交接信息:
- 已经确定的目标与约束。说明由谁或什么证据确认。
- 已经排除的方案。记录失败的输入与关键原因,使下一轮能判断是否值得重试。
- 仍然开放的问题。把未验证的判断和观察结果分开。
- 下一轮的动作。给出相关材料、要运行的验证和应报告的结果。
例如,前一轮讨论了三套地图来源,其中一套范围不全,一套坐标格式不兼容,第三套尚需验证。下一轮只需要与第三套相关的输入和转换检查,并能按记录知道前两套为什么被搁置。把整个尝试过程都放到开头容易让未采用的方案重新进入实现。
不同工作阶段怎样选择上下文
| 阶段 | 优先提供 | 期望输出 |
|---|---|---|
| 理解需求 | 原始场景、已确认事实与歧义 | 问题清单、选项和一条待验证路径 |
| 落实设计 | 既有接口、代表性代码和边界示例 | 与项目模式一致的最小实现 |
| 排查故障 | 复现输入、实际错误、最近改动 | 可验证的原因和最小修正 |
| 独立审查 | 规格、差异、复现方法和验收证据 | 具体影响、反例和待确认内容 |
同一条请求里可以有多种信息,按阶段组织更容易发现缺口。实现阶段需要邻近代码示例。独立审查更需要原规格、差异与测试,先把实现者自己的解释作为一项待核对的信息。
八、长程任务怎样防止局部目标替代真实目标
符号执行引擎的案例中,任务逐渐被理解成「证明方法 A 有用」。模型在小型基准上反复比较,得到的结果未必能说明真实工具的瓶颈。课堂改用现有工具和代表性的程序来观察,连长时间运行失败的搜索路径也可以提供证据,因为它揭示了哪些程序结构难以处理。
可以据此分阶段判断长任务的进展。
- 建立基线。找代表性的工具、数据和既有方案,明确真实瓶颈。
- 提出可否决的假设。写清什么结果支持方案,什么结果会让团队放弃它。
- 小范围验证。执行有辨识度的实验,保留输入、输出与失败路径。
- 回到整体目标。评估局部改善是否影响最终指标,再决定继续、换思路或重新定义任务。
有明确验证器的阶段可以交给 Agent 循环执行。遇到结果有几种解释、验收标准也未确定的阶段,应先比较证据,再继续扩大实现。
九、课堂上的论文评价和研究失败怎么复用
量化局部优化能带来多少总收益
课堂举例,设总耗时由 A1 与 A2 组成,A2 只占 1%。如果把 A2 的耗时减半,整个系统从原来的 100% 变为 99.5%,端到端时间只下降 0.5%。即使完全消除 A2,最多也只消去原始时间的 1%。这个推演成立的条件是工作负载相同,其他部分耗时和交互没有变化。
读论文时,可以先写出系统视角的式子和已有基线,再看文章优化的是哪一项。若研究目标明确只针对某类场景,还要确认那个场景中 A2 的占比是否显著不同。这样可把「技术本身有效」「效果有实用价值」「文章证据能证明什么」拆成可以回答的问题。
把证明有用改写为可否决的实验任务
符号执行案例中,提示目标「证明方法 A 有用」容易让 Agent 寻找适合 A 的小样例。可以把任务写成探索要求:
- 复现已有工具在代表性程序上的行为,记录终止、超时和路径选择。
- 写出怀疑的瓶颈及证据,说明有哪些替代解释。
- 用同一组程序比较参考方法与 A,记录哪些输入改善、恶化或没有变化。
- 给出是否继续使用 A 的条件,并保留负面结果。
在这个框架里,超时可能暴露分支爆炸或搜索策略的弱点。是否属于真实发现,需要回到路径和输入结构。研究任务的完成证据是能够评价假设的材料,输出可以是支持、反例或暂时无法区分。
十、诊断常见的提示词失败
| 现象 | 先查的原因 | 可做的修正 |
|---|---|---|
| 生成结果形式正确,功能偏离场景 | 目标写成了产品名或效果形容词 | 补用户操作、输入输出、兼容条件 |
| 每轮都说已经完成,同一问题重复出现 | 验证器不能发现实际失败 | 补失败复现和反例,再运行同一条检查 |
| 摘要和评价一直沿用材料观点 | 先接触了完整叙事,缺少参照系 | 先重建基线和反证问题,再看原文 |
| 每次加功能工作量都大幅上升 | 早期结构被反复复制 | 找一个未来变化验证结构,给 Agent 新的设计范例 |
| 长任务跑得很久却没有可追踪判断 | 阶段边界和完成条件模糊 | 把任务拆成可验收的小切片,写回证据与下一步 |
复习与应用
把「让网页更好用」改成一份可执行的任务说明。给出一项能自动验收的交互,一项需要真人评审的体验,并写出在什么情况下应该暂停实现、先回来确认意图。
停一下,解释给自己听。
为什么不断加长提示词不一定带来更可靠的结果?
展开答案要点
材料越多不等于相关信息越清楚。需要筛选任务相关依据、明确优先级与停止条件,并用可重复的检查识别改进是否真的有效。
已读由你决定,不代表自动评估掌握程度。