Skip to main content
Open In Colab在 GitHub 上打开

Oracle Cloud Infrastructure 生成式 AI

Oracle Cloud Infrastructure （OCI） 生成式 AI 是一项完全托管的服务，提供一组先进、可定制的大型语言模型 （LLM），涵盖广泛的用例，并且可通过单个 API 使用。 使用 OCI 生成式 AI 服务，您可以访问现成的预训练模型，或者根据您自己的数据在专用 AI 集群上创建和托管自己的微调自定义模型。有关服务和 API 的详细文档，请点击此处和点击此处。

此笔记本介绍了如何将 OCI 的生成式 AI 模型与 LangChain 结合使用。

先决条件

我们需要安装 oci 开发工具包

!pip install -U oci

OCI 生成式 AI API 端点

https://inference.generativeai.us-chicago-1.oci.oraclecloud.com

认证

此 langchain 集成支持的身份验证方法包括：

  1. API 密钥
  2. 会话令牌
  3. 实例委托人
  4. 资源委托人

这些方法遵循此处详述的标准 SDK 身份验证方法。

用法

from langchain_community.embeddings import OCIGenAIEmbeddings

# use default authN method API-key
embeddings = OCIGenAIEmbeddings(
    model_id="MY_EMBEDDING_MODEL",
    service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com",
    compartment_id="MY_OCID",
)


query = "This is a query in English."
response = embeddings.embed_query(query)
print(response)

documents = ["This is a sample document", "and here is another one"]
response = embeddings.embed_documents(documents)
print(response)
API 参考：OCIGenAIEmbeddings
# Use Session Token to authN
embeddings = OCIGenAIEmbeddings(
    model_id="MY_EMBEDDING_MODEL",
    service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com",
    compartment_id="MY_OCID",
    auth_type="SECURITY_TOKEN",
    auth_profile="MY_PROFILE",  # replace with your profile name
    auth_file_location="MY_CONFIG_FILE_LOCATION",  # replace with file location where profile name configs present
)


query = "This is a sample query"
response = embeddings.embed_query(query)
print(response)

documents = ["This is a sample document", "and here is another one"]
response = embeddings.embed_documents(documents)
print(response)