约翰·斯诺实验室

约翰·斯诺实验室NLP和LLM生态系统包括用于大规模最先进的人工智能、负责任的人工智能、无代码人工智能的软件库，以及访问超过20,000个医疗保健、法律、金融等模型的访问。

使用 nlp.load 加载模型，并启动 spark 会话>在后台使用 nlp.start（）启动。有关所有 24.000+ 模型，请参阅 John Snow Labs 模型中心

建立

%pip install --upgrade --quiet  johnsnowlabs

# If you have a enterprise license, you can run this to install enterprise features
# from johnsnowlabs import nlp
# nlp.install()

例

from langchain_community.embeddings.johnsnowlabs import JohnSnowLabsEmbeddings

API 参考：JohnSnowLabsEmbeddings

初始化 Johnsnowlabs 嵌入向量和 Spark 会话

embedder = JohnSnowLabsEmbeddings("en.embed_sentence.biobert.clinical_base_cased")

定义一些示例文本。这些可以是您要分析的任何文档 - 例如，新闻文章、社交媒体帖子或产品评论。

texts = ["Cancer is caused by smoking", "Antibiotics aren't painkiller"]

生成并打印文本的嵌入。JohnSnowLabsEmbeddings 类为每个文档生成一个嵌入，该嵌入是文档内容的数字表示形式。这些嵌入可用于各种自然语言处理任务，例如文档相似性比较或文本分类。

embeddings = embedder.embed_documents(texts)
for i, embedding in enumerate(embeddings):
    print(f"Embedding for document {i+1}: {embedding}")

生成并打印单段文本的嵌入。您还可以为单段文本（如搜索查询）生成嵌入。这对于信息检索等任务非常有用，在这些任务中，您希望查找与给定查询类似的文档。

query = "Cancer is caused by smoking"
query_embedding = embedder.embed_query(query)
print(f"Embedding for query: {query_embedding}")

嵌入模型概念指南
嵌入模型操作指南

建立

例

相关