泰坦起飞
TitanML通过我们的训练、压缩和推理优化平台，帮助企业构建和部署更好、更小、更便宜、更快的 NLP 模型。
我们的推理服务器 Titan Takeoff 支持通过单个命令在您的硬件上本地部署 LLM。大多数嵌入模型都是开箱即用的，如果您在使用特定模型时遇到问题，请在 hello@titanml.co 告诉我们。
用法示例
以下是一些开始使用 Titan Takeoff Server 的有用示例。在运行这些命令之前，您需要确保 Takeoff Server 已在后台启动。有关更多信息，请参阅启动 Takeoff 的文档页面。
import time
from langchain_community.embeddings import TitanTakeoffEmbed
API 参考：TitanTakeoffEmbed
示例 1
假设 Takeoff 使用其默认端口（即 localhost：3000）在你的机器上运行，则基本使用。
embed = TitanTakeoffEmbed()
output = embed.embed_query(
"What is the weather in London in August?", consumer_group="embed"
)
print(output)
示例 2
使用 TitanTakeoffEmbed Python Wrapper 启动读取器。如果您尚未在首次启动 Takeoff 时创建任何读取器，或者想要添加另一个读取器，则可以在初始化 TitanTakeoffEmbed 对象时执行此作。只需传递一个要启动的模型列表作为models参数。
您可以使用embed.query_documents一次嵌入多个文档。预期的输入是一个字符串列表，而不仅仅是embed_query方法。
# Model config for the embedding model, where you can specify the following parameters:
# model_name (str): The name of the model to use
# device: (str): The device to use for inference, cuda or cpu
# consumer_group (str): The consumer group to place the reader into
embedding_model = {
"model_name": "BAAI/bge-large-en-v1.5",
"device": "cpu",
"consumer_group": "embed",
}
embed = TitanTakeoffEmbed(models=[embedding_model])
# The model needs time to spin up, length of time need will depend on the size of model and your network connection speed
time.sleep(60)
prompt = "What is the capital of France?"
# We specified "embed" consumer group so need to send request to the same consumer group so it hits our embedding model and not others
output = embed.embed_query(prompt, consumer_group="embed")
print(output)