热点资讯
软件开发公司 Langchain-Chatchat：一种高效的开源学问库应用处罚决策
发布日期：2024-08-09 07:51 点击次数：81
Langchain-Chatchat 是一个开源花样。该花样属于智能聊天机器东谈主不错进行对话，同期具有文档导入向量数据库功能，允许用户使用文档以建设学问库，然后用户不错进行基于学问库的查询。花样提供webui用户界面供用户使用，也提供api供其他举止调用。
图片
快速上手1环境竖立最初，确保你的机器装配了 Python 3.10
$ python --versionPython 3.10.12
接着，创建一个捏造环境，并在捏造环境内装配花样的依赖
# 拉取仓库$
git clone https://github.com/chatchat-space/Langchain-Chatchat.git
# 过问目次
$ cd Langchain-Chatchat# 装配全部依赖
$ pip install -r requirements.txt
$ pip install -r requirements_api.txt
$ pip install -r requirements_webui.txt
# 默许依赖包括基本运行环境（FAISS向量库）。要是要使用 milvus/pg_vector 等向量库，请将 requirements.txt 中相应依赖取消驻防再装配。2模子下载
如需在土产货或离线环境下运行本花样，需要最初将花样所需的模子下载至土产货，往往开源 LLM 与 Embedding 模子不错从 HuggingFace 下载。以本花样中默许使用的 LLM 模子 THUDM/ChatGLM2-6B 与 Embedding 模子 moka-ai/m3e-base 为例：
下载模子需要先装配 Git LFS，然后运行
$ git lfs install
$ git clone https://huggingface.co/THUDM/chatglm2-6b
$ git clone https://huggingface.co/moka-ai/m3e-base3启动化学问库和竖立文献
按照下列口头启动化我方的学问库和通俗的复制竖立文献
$ python copy_config_example.py
$ python init_database.py --recreate-vs4一键启动
按照以下号召启动花样
$ python startup.py -a珍重事项
花样离线部署需要下载好ChatGLM2，m3e-base 模子。在花样configs中的model_config.py中竖立模子旅途。
从清华云盘下载模子参数文献，放到土产货chatglm2-6b仓库下。
清华大学云盘 (tsinghua.edu.cn)
m3e-base
中语文本镶嵌模子m3e-base_数据集-飞桨AI Studio银河社区 (baidu.com)
软件开发花样对做事器条款很高，因为chatglm2量化INT4要显存大于6G才智平素使用。使用pip install -r requirements.txt 装配依赖会装配cpu版块，会导致对话光显卡顿。因此装配过程中pytorch需要使用gpu版块。
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip install torch==2.0.0+cu118 torchvision==0.15.1+cu118 torchaudio==2.0.1+cu118 -f https://download.pytorch.org/whl/torch_stable.html该花样的特色
一种诓骗 langchain 想想罢了的基于土产货学问库的问接待用，看法渴望建设一套对中语场景与开源模子援救友好、可离线运行的学问库问答处罚决策。
受 GanymedeNil 的花样 document.ai 和 AlexZhangji 创建的 ChatGLM-6B Pull Request 启发，软件开发资讯建设了全经由可使用开源模子罢了的土产货学问库问接待用。本花样的最新版块中通过使用 FastChat 接入 Vicuna, Alpaca, LLaMA, Koala, RWKV 等模子，依托于 langchain 框架援救通过基于 FastAPI 提供的 API 调用做事，使用基于 Streamlit 的 WebUI 进行操作。
依托于本花样援救的开源 LLM 与 Embedding 模子，本花样可罢了全部使用开源模子离线独有部署。与此同期，本花样也援救 OpenAI GPT API 的调用，并将在后续握续推论对种种模子及模子 API 的接入。
该花样的旨趣本花样罢了旨趣：加载文献 -> 读取文本 -> 文天职割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相同的 top k个 -> 匹配出的文本手脚凹凸文和问题全部添加到 prompt中 -> 提交给 LLM生成回答。
图片
花样地址Github： https://gitee.com/simplify-code/Langchain-Chatchat.git
使用评释l不错遴选多种对话模式进行AI对话
当今援救的对话模式有：LLM对话，学问库问答，搜索引擎问答及自界说Agent文档。
不错目田遴选LLM模子: zhipu,chatglm2-6b,OpenAI,Anthropic等模子。
1. 全北现代成立于1994年，共计9次赢得K联赛冠军，5次捧起韩足总杯，2次称雄亚冠。
图片
l不错导入文档创建学问库，进行基于学问库的对话。首次使用此花样需要启动化数据库。
图片
完成文档导入后不错进行如下测试。不错遴选学问库问答模式进行对话。
图片
转头Langchain-Chatchat 花样是一个用 Python 开拓的开源智能聊天机器东谈主花样，在 Gitee 平台上托管。它使用深度学习时刻罢了当然话语处理和生成回报软件开发公司，并提供一个基础框架用于构建智能对话机器东谈主应用。
本站仅提供存储做事，统统执行均由用户发布，如发现存害或侵权执行，请点击举报。