Skip to main content
在 GitHub 上打开

Johnsnowlabs

访问企业 NLP 库的 johnsnowlabs 生态系统 拥有 21.000 多种语言的 200 多个企业 NLP 模型,以及开源johnsnowlabs库。 有关所有 24.000+ 模型,请参阅 John Snow Labs 模型中心

安装和设置

pip install johnsnowlabs

要 [安装企业功能](https://nlp.johnsnowlabs.com/docs/en/jsl/install_licensed_quick,请运行:

# for more details see https://nlp.johnsnowlabs.com/docs/en/jsl/install_licensed_quick
nlp.install()

您可以将查询和文档嵌入到gpu,cpu,apple_silicon,aarch基于优化的二进制文件。 默认情况下,使用 cpu 二进制文件。 会话启动后,您必须重新启动笔记本才能在 GPU 或 CPU 之间切换,否则更改不会生效。

使用 CPU 嵌入查询:

document = "foo bar"
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert')
output = embedding.embed_query(document)

使用 GPU 嵌入查询:

document = "foo bar"
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','gpu')
output = embedding.embed_query(document)

使用 Apple Silicon (M1、M2 等) 嵌入查询:

documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','apple_silicon')
output = embedding.embed_query(document)

使用 AARCH 嵌入查询:

documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','aarch')
output = embedding.embed_query(document)

使用 CPU 嵌入文档:

documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','gpu')
output = embedding.embed_documents(documents)

使用 GPU 嵌入文档:

documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','gpu')
output = embedding.embed_documents(documents)

使用 Apple Silicon(M1、M2 等)嵌入文档:


```python
documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','apple_silicon')
output = embedding.embed_documents(documents)

使用 AARCH 嵌入文档:


```python
documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','aarch')
output = embedding.embed_documents(documents)

模型使用 nlp.load 加载,Spark 会话在后台使用 nlp.start() 启动。