luler 一、简介 利用开源工具,快速本地启动一个openai接口兼容的文本嵌入模型服务,基本支持所有huggingface能找到的嵌入模型,工具地址参考:https://github.com/luler/hello_embedding Cherry Studio是一个非常好用的大模型客户端,支持自定义接入各种模型,支持利用文本嵌入模型快速搭建本地知识库 本地部署嵌入模型有很多优势,可以降低建库成本,使用不同的嵌入模型,没有速率限制,大大提高建库灵活性和效率 二、部署文本嵌入模型 提前准备好docker、docker-compose软件环境 新建docker-compose.yml启动文件,配置内容如下: version: '3' services: app: image: dreamplay/hello_embedding:bge-m3 ports: - 8000:8000 restart: always 一键启动 docker-compose up -d 测试使用,接口与openai的嵌入模型接口兼容,参考:https://platform.openai.com/docs/guides/embeddings 更换嵌入模型 新建Dockerfile如下,修改里面的 EMBEDDING_PATH ,然后重新构建即可 三、在Cherry Studio利用自己的嵌入模型建立知识库 下载安装好Cherry Studio,下载地址:https://cherry-ai.com/ 配置提供商 选择私有嵌入模型,构建知识库 导入自己的知识内容 我这里随便添加一个笔记内容 打勾就是入库成功了 跟自己的知识库对话 四、总结 hello_embedding工具启动文本嵌入模型非常方便,可以docker一键启动,也可以自定义构建自己的嵌入模型服务。openai接口兼容,能够方便各种知识库项目迅速接入,如fastgpt、dify; Cherry Studio在本地搭建知识库方面,功能也是很强大的,支持各种类型的内容迅速入库,配置选择模型灵活简单 Cherry Studio搭配hello_embedding可以在本地高效且低成本搭建各种私人的知识库