Elasticsearch Service 调用第三方推理服务

ES 可以通过 Inference 能力集成第三方推理服务,便于灵活高效的调用各类所需能力,可以以参阅此文档了解更多详情。

相关产品
Elasticsearch Service 产品页,含版本规格、价格与购买入口。

一、第一步:开通节点出站访问

ES 访问公网第三方服务,你需要先开通“节点出站访问”:

二、第二步:创建 Inference 推理端点

如下是自定义 Inference 的参考模板:

PUT _inference/text_embedding/test-text-embedding{ "service": "custom", "service_settings": { "secret_parameters": { "api_key": "<some api key>" }, "url": "…endpoints.huggingface.cloud/v1/embeddings", "headers": { "Authorization": "Bearer ${api_key}", "Content-Type": "application/json" }, "request": "{\\"input\\": ${input}}", "response": { "json_parser": { "text_embeddings":"$.data[*].embedding[*]" } } }}

例如这里是一个使用硅基流动的 embedding 服务的示例,可以参考模板填入 API Key 与模型名称:

PUT _inference/text_embedding/test-text-embedding{ "service": "custom", "service_settings": { "secret_parameters": { "api_key": "sk-你的真实API Key" }, "url": "https://api.siliconflow.cn/v1/embeddings", "headers": { "Authorization": "Bearer sk-你的真实API Key", "Content-Type": "application/json;charset=utf-8" }, "request": "{\\"input\\": ${input}, \\"model\\": \\"BAAI/bge-large-zh-v1.5\\"}", "response": { "json_parser": { "text_embeddings": "$.data[*].embedding[*]" } } }}

执行后返回如下信息即表示创建成功:

三、第三步:验证推理服务

你可通过如下语句进行调用验证,成功的话应返回 embedding 之后的结果:

POST _inference/text_embedding/test-text-embedding{ "input": "hello,this is a inference service" }

赞 (0)
上一篇 4天前
下一篇 4天前