Skip to main content
在 GitHub 上打开

Clarifai

Clarifai 是最早成立的深度学习平台之一,成立于 2013 年。Clarifai 提供了一个具有完整 AI 生命周期的 AI 平台,用于围绕图像、视频、文本和音频数据进行数据探索、数据标注、模型训练、评估和推理。据我们所知,在 LangChain 生态系统中,Clarifai 是唯一一家在一个生产规模平台中支持 LLM、嵌入和向量存储的提供商,这使其成为实施 LangChain 实施的绝佳选择。

Clarifai为许多不同的使用案例提供 1000 多个 AI 模型。您可以在此处探索它们,以找到最适合您的使用案例的方案。这些模型包括由 OpenAI、Anthropic、Cohere、AI21 等其他提供商创建的模型,以及 Falcon、InstructorXL 等开源的最新技术,以便您在产品中构建最好的 AI。您会发现这些项目按创建者的user_id组织起来,并融入我们称为应用程序(由其app_id表示的项目)。除了 model_id 和可选的 version_id 之外,还需要这些 ID,因此,一旦您找到最适合您的使用案例的模型,请记下所有这些 ID!

另请注意,鉴于有许多用于图像、视频、文本和音频理解的模型,您可以构建一些感兴趣的 AI 代理,这些代理利用各种 AI 模型作为专家来理解这些数据类型。

安装和设置

  • 安装 Python SDK:
pip install clarifai

注册 Clarifai 帐户,然后获取个人访问令牌以从您的安全设置中访问 Clarifai API,并将其设置为环境变量 (CLARIFAI_PAT).

LLM

要在 Clarifai 平台中查找 LLM 的选择,您可以在此处选择文本到文本模型类型。

from langchain_community.llms import Clarifai
llm = Clarifai(pat=CLARIFAI_PAT, user_id=USER_ID, app_id=APP_ID, model_id=MODEL_ID)
API 参考:Clarifai

有关更多详细信息,有关 Clarifai LLM 包装器的文档提供了详细的演练

嵌入模型

要在 Clarifai 平台中找到嵌入模型的选择,您可以在此处选择要嵌入的文本模型类型。

LangChain 中有一个 Clarifai Embedding 模型,您可以使用以下方法访问该模型:

from langchain_community.embeddings import ClarifaiEmbeddings
embeddings = ClarifaiEmbeddings(pat=CLARIFAI_PAT, user_id=USER_ID, app_id=APP_ID, model_id=MODEL_ID)
API 参考:ClarifaiEmbeddings

请参阅使用示例

矢量存储

Clarifai 的矢量数据库于 2016 年推出,并已经过优化以支持实时搜索查询。借助 Clarifai 平台中的工作流,嵌入模型和可选的其他模型会自动对数据进行索引,并在数据库中为该信息编制索引以进行搜索。您不仅可以通过向量查询数据库,还可以按元数据匹配、其他 AI 预测概念进行筛选,甚至可以进行地理坐标搜索。只需创建一个应用程序,为您的数据类型选择适当的基本工作流程,然后上传它(通过此处记录的 API 或 clarifai.com 的 UI)。

您也可以直接从 LangChain 添加数据,系统将为您进行自动索引。你会注意到这与其他 vectorstore 略有不同,在其他 vectorstore 中,你需要在它们的构造函数中提供嵌入模型,并让 LangChain 坐标从文本中获取嵌入并将其写入索引。使用 Clarifai 的分布式云在后台执行所有索引不仅更方便,而且可扩展性也更强。

from langchain_community.vectorstores import Clarifai
clarifai_vector_db = Clarifai.from_texts(user_id=USER_ID, app_id=APP_ID, texts=texts, pat=CLARIFAI_PAT, number_of_docs=NUMBER_OF_DOCS, metadatas = metadatas)
API 参考:Clarifai

有关更多详细信息,Clarifai 矢量存储上的文档提供了详细的演练