Skip to main content

在提示中包含多模式内容

一些应用程序基于多模式内容,例如可以回答有关 PDF 或图像问题的聊天机器人。 在这些情况下,您需要在提示中包含多模式内容,并测试模型回答有关内容的问题的能力。

LangSmith Playground 支持两种在提示中合并多模态内容的方法:

  1. 内联内容:直接在提示中嵌入静态文件(图像、PDF、音频)。当您希望在提示的所有使用中始终包含相同的多模式内容时,这是理想的选择。例如,您可以包括一个参考图像,以帮助模型的响应奠定基础。
  2. 模板变量:为附件创建动态占位符,每次都可以填充不同的内容。此方法提供了更大的灵活性,使您能够:
    • 测试模型如何处理不同的输入
    • 创建适用于不同内容的可重用提示
注意

并非所有模型都支持多模态内容。在 Playground 中使用多模态功能之前,请确保您选择的模型支持您要使用的文件类型。

内联内容

单击消息中要添加多模式内容的文件图标。 在Upload content选项卡中,您可以上传文件并将其内联包含在提示符中。

模板变量

单击消息中要添加多模式内容的文件图标。 在Template variables选项卡中,您可以为特定附件类型创建模板变量。 目前,仅支持图像、PDF 和音频文件(.wav、.mp3)。

填充 template 变量

添加模板变量后,您可以使用屏幕右侧的面板为其提供内容。只需单击按钮即可上传或选择将用于填充模板变量的内容。+

运行评估

手动测试提示后,您可以运行评估以查看提示在黄金示例数据集上的执行情况。


这个页面有帮助吗?


您可以在 GitHub 上留下详细的反馈。