Johnsnowlabs

访问 johnsnowlabs 的企业级 NLP 库生态系统 使用开源 johnsnowlabs 库，拥有超过 21,000 个企业级 NLP 模型，支持 200 多种语言。 查看所有 24,000+ 个模型，请访问 John Snow Labs 模型中心

安装与设置

pip install johnsnowlabs

To [安装企业功能](https://nlp.johnsnowlabs.com/docs/en/jsl/install_licensed_quick, 运行:

# for more details see https://nlp.johnsnowlabs.com/docs/en/jsl/install_licensed_quick
nlp.install()

您可以使用基于 gpu、cpu、apple_silicon、aarch 优化的二进制文件来嵌入您的查询和文档。 默认情况下使用 CPU 二进制文件。 一旦会话启动，若要切换 GPU 或 CPU，必须重新启动笔记本，否则更改将不会生效。

使用 CPU 嵌入查询:

document = "foo bar"
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert')
output = embedding.embed_query(document)

使用 GPU 嵌入查询:

document = "foo bar"
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','gpu')
output = embedding.embed_query(document)

使用 Apple Silicon (M1, M2 等) 嵌入查询：

documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','apple_silicon')
output = embedding.embed_query(document)

嵌入查询与 AARCH:

documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','aarch')
output = embedding.embed_query(document)

使用 CPU 嵌入文档:

documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','gpu')
output = embedding.embed_documents(documents)

嵌入文档与 GPU:

documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','gpu')
output = embedding.embed_documents(documents)

使用 Apple Silicon (M1、M2 等) 嵌入文档:

```python
documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','apple_silicon')
output = embedding.embed_documents(documents)

使用 AARCH 嵌入文档:

```python
documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','aarch')
output = embedding.embed_documents(documents)

模型通过 nlp.load 加载，而 Spark 会话则在底层通过 nlp.start() 启动。