在提示词中包含多模态内容

一些应用程序围绕多模态内容构建，例如能够回答有关 PDF 或图像问题的聊天机器人。 在这些情况下，您希望将多模态内容包含在您的提示中，并测试模型回答有关该内容的问题的能力。

LangSmith Playground 支持两种在提示中整合多模态内容的方法：

1. 内联内容：将静态文件（图像、PDF、音频）直接嵌入您的提示中。当您希望在所有提示使用场景中一致地包含相同的 multimodal 内容时，这非常理想。例如，您可以包含一张参考图像，以帮助模型更准确地理解其响应。
2. 模板变量：为附件创建动态占位符，每次可填充不同内容。这种方法提供了更高的灵活性，允许您：
   • 测试模型如何处理不同的输入
   • 创建可重用的提示词，以适配变化的内容

注意

并非所有模型都支持多模态内容。在使用工作区中的多模态功能之前，请确保您选择的模型支持您想要使用的文件类型。

内联内容​

点击您希望添加多模态内容的消息中的文件图标。 在 Upload content 选项卡下，您可以上传文件并将其作为内联内容包含在提示中。

模板变量​

点击您希望添加多模态内容的消息中的文件图标。 在 Template variables 标签页下，您可以为特定附件类型创建模板变量。 目前仅支持图片、PDF 和音频文件（.wav, .mp3）。

填充模板变量​

一旦您添加了模板变量，就可以使用屏幕右侧的面板为其提供内容。只需点击 + 按钮，即可上传或选择用于填充模板变量的内容。

运行评估​

在手动测试您的提示词后，您可以运行评估，以查看该提示词在包含示例的黄金数据集上的表现。