Skip to main content
Open on GitHub

Clarifai

Clarifai 是首批深度学习平台之一,成立于 2013 年。Clarifai 提供了一个涵盖完整 AI 生命周期的 AI 平台,支持对图像、视频、文本和音频数据进行数据探索、数据标注、模型训练、评估和推理。在 LangChain 生态系统中,据我们所知,Clarifai 是唯一一个在一个生产级平台上同时支持大语言模型(LLM)、嵌入(embeddings)和向量存储的提供商,使其成为将您的 LangChain 实现投入生产的绝佳选择。

Clarifai 为许多不同的应用场景提供数千个 AI 模型。您可以在此处探索它们,以找到最适合您应用场景的模型。这些模型包括由其他提供商(如 OpenAI、Anthropic、Cohere、AI21 等)创建的模型,以及来自开源领域的尖端模型(如 Falcon、InstructorXL 等),从而让您将最优质的 AI 集成到您的产品中。这些模型按创建者的 user_id 进行组织,并归入我们称为“应用程序”的项目中,由 app_id 标识。除了 model_id 之外,您可能还需要 version_id(可选),因此一旦找到最适合您应用场景的模型,请务必记录所有这些 ID!

此外,请注意,由于存在许多用于图像、视频、文本和音频理解的模型,您可以构建一些感兴趣的 AI 代理,利用各种 AI 模型作为专家来理解这些数据类型。

安装与设置

  • 安装 Python SDK:
pip install clarifai

注册一个Clarifai账户,然后获取个人访问令牌以从你的 安全设置 访问Clarifai API,并将其设置为环境变量(CLARIFAI_PAT)。

大型语言模型

要在 Clarifai 平台中找到大语言模型(LLM)的选项,您可以选择文本到文本模型类型 此处

from langchain_community.llms import Clarifai
llm = Clarifai(pat=CLARIFAI_PAT, user_id=USER_ID, app_id=APP_ID, model_id=MODEL_ID)
API 参考:Clarifai

有关更多详细信息,Clarifai LLM 包装器的文档提供了详细的逐步指南

嵌入模型

要在 Clarifai 平台中查找嵌入模型的选择,您可以选择文本到嵌入模型类型 这里

LangChain 中有一个 Clarifai 嵌入模型,您可以通过以下方式访问它:

from langchain_community.embeddings import ClarifaiEmbeddings
embeddings = ClarifaiEmbeddings(pat=CLARIFAI_PAT, user_id=USER_ID, app_id=APP_ID, model_id=MODEL_ID)

查看 使用示例

向量存储

Clarifai的向量数据库于2016年推出,并经过优化以支持实时搜索查询。通过Clarifai平台的工作流,您的数据会自动由嵌入模型(embedding model)进行索引,也可选择其他模型来对该信息进行索引以便在数据库中进行搜索。您不仅可以基于向量查询该数据库,还可以按元数据匹配、其他AI预测的概念进行过滤,甚至执行地理坐标搜索。只需创建一个应用程序,为您的数据类型选择合适的基线工作流,然后上传它(可通过API按照此处文档所述方式,或通过clarifai.com上的用户界面)。

您还可以直接从 LangChain 添加数据,自动索引将为您完成。您会注意到这与其它向量存储库略有不同:在其他方案中,您需要在构造函数中提供嵌入模型,并由 LangChain 协调从文本获取嵌入并将这些嵌入写入索引的过程。这不仅更加便捷,而且使用 Clarifai 的分布式云在后台完成所有索引工作也更具可扩展性。

from langchain_community.vectorstores import Clarifai
clarifai_vector_db = Clarifai.from_texts(user_id=USER_ID, app_id=APP_ID, texts=texts, pat=CLARIFAI_PAT, number_of_docs=NUMBER_OF_DOCS, metadatas = metadatas)
API 参考:Clarifai

有关更多详细信息,Clarifai 向量存储的文档提供了详细的分步指南