字节推出了一款名为PromptPilot的产品,是面向大模型应用的全链路优化平台。平台介绍中提到,该产品不仅可以提供精准、专业、可持续迭代的提示词,还可以覆盖大模型开发从构想、开发部署到迭代优化的全过程。
该产品免费试用至2025年9月11日

主界面UI看上去很简洁,功能主要有三个:Prompt生成、Prompt优化和视觉理解Solution。
提示词工程
“提示词工程”是什么?
AI给出的回答是:“一门设计和优化提示词的科学,旨在更有效地与大型语言模型进行沟通,从而引导它们生成更准确、更相关、更高质量的输出结果。”
如前文所述,提示词的重要性源于”Garbage In, Garbage Out”原则,AI模型的输出质量直接取决于输入提示词的质量。
优质的提示词,最重要的功能在于有效减少AI出现“幻觉”的概率,使其回答更加贴近现实和用户意图。
同时,提示词有助于发掘AI的“潜力”。相比简单的指令,提示词工程可以让AI实现更多功能,比如编写代码、市场分析、创意生成等更加复杂、更加抽象的任务。
此外,用户还可以对AI的回答添加格式、语气、长度等约束条件,灵活地调整答案的展现形式,同时节约调试时间。
例如:
# 示例
* *用户说*: “谷歌的收入和市值是多少?”
* *你的思考*: 用户直接要“营业收入”和“市值”。这是基础指标。
* *最终输出*: 营业收入,市值
S – Steps(步骤):完成任务需要分几步?
对于较为复杂的任务,就轮到之前提过的“思维链路”出场了。一次把任务灌输给AI通常得不到理想的结果,但如果能引导AI按照步骤思考和执行,就可以大幅提升输出结果的逻辑性和准确性。
例如:
# 步骤
首先判断用户指定的财务指标是否能够从给定的财报中直接获取;若不能获取,再根据计算公式获取相关指标;最后分析该指标的含义。
对于上面这套法则,还有一些需要注意的细节:
第一,提示词的编写并没有严格的规定,上面的五个部分可以按需修改;
第二,给出的例子中可能包含{}、**、等符号,这些符号也是提示词工程中的小技巧,每种符号都具有特定的功能,可以把一个纯自然语言的段落转变成一个类似于“程序”的指令集。

对于没有提示词编写经验的用户,可以直接在平台上生成结构化的提示词:

任务描述并不需要太复杂,只要表达清楚就好,也不必担心描述不够精细,后面还可以进行调整。
这是平台生成的初版提示词,虽然尚不完备,可能与用户的详细需求仍然存在差异,但其效果已经远比使用短句给AI下达命令要好。
接下来,需要验证这份提示词的效果究竟如何。点击“验证Prompt”进入调优环节:

PromptPilot提供了两种调优模式,评分模式类似于“简答题”,需要用户填写分数、评价意见(可选)和理想回答(可选),GSB比较模式则类似于“选择题”,需要用户对答案进行比较,并给出Good、Same和Bad的判断。
提示词的重要性我们已经提过很多次,因此更推荐选择评分模式。

选择评分模式进入调优界面后,需要进行几项设置:
首先,如果用户觉得提示词无法满足需求,可以使用“一键改写Prompt”。
然后,在提示词中可以看到熟悉的标识{{AI_NEWS}},表示这里需要填入相关领域的AI新闻。点击“填写变量”,将新闻内容粘贴进去即可。
PromptPilot还提供了一项很贴心的服务:AI生成变量内容。
也就是说,如果我们并没有足够的新闻,就可以让AI现编一条。这个功能在不需要信息真实性的情况下能帮上大忙,快速构造数据集就靠它了。
不过,我们需要真实新闻才能发布文章,而有些聪明的模型可以识别出虚假的新闻,因此这里还是不要使用AI生成变量内容。
最后,在模型回答窗口中可以自由选择大模型版本,其中DeepSeek和豆包的部分版本免费。