接了大模型的功能怎么防注入
收录 2026-11-05
用户输入和工具返回都不可信,模型输出同样不可信。
我的功能会把用户输入和外部内容交给大模型:[数据流向]。请帮我做注入与越权评估:1)列出所有进入提示词的不受信来源;2)指出哪些地方把「数据」和「指令」混在同一条通道里;3)给出分层防御:输入清洗、指令与数据分离、工具调用白名单、输出校验;4)说明模型被诱导后最坏能做什么,现有权限能不能兜住;5)给三个可以实际跑一遍的注入测试用例;6)指出哪些防御只是心理安慰。不要只说「加系统提示词」。
本站原创
中文原文
复制前替换这些占位符 1
把方括号里的内容换成你的具体信息,替换后再粘贴给 AI。
[数据流向]
使用建议
防注入的关键不是让模型不听话,而是让它即使听话也做不了危险的事。
可以这样改
- 要求它先复述需求与约束,确认无误再写代码。
- 让它给出最小改动 + 回滚方式,而不是整文件重写。
交付物(这次应拿到什么)
- 可运行的最小改动(含直接可用的代码块)
- 影响面清单:改了哪些文件、哪些调用点要跟着改
常见错法
- 一次让它改十个文件,最后分不清哪处改动导致了新问题。
- 只贴报错不贴代码和版本,拿到无法落地的修法。
输出验收(怎么判断能用)
- 改动可运行、可回滚,且没顺手改无关代码。
- 边界条件(空值、超长、并发)有说明或测试。
适用场景与注意
- 适合:让它先复述需求和约束,再给最小可运行改动。
- 注意:贴报错时同时给版本号与最小复现,否则它容易给出看似合理但不适配的写法。