text-generation-webui大模型部署，Text-Generation WebUI大模型部署实践指南

摘要：本项目的目标是部署一个名为"text-generation-webui"的大型自然语言处理模型。该模型具备强大的文本生成能力，并通过Web界面提供用户交互功能。部署过程涉及模型的集成和优化，以确保在Web环境下高效运行。项目将为用户提供便捷的文本生成服务，并推动自然语言处理技术在Web应用中的发展。

1 简介

text-generation-webui是一个功能强大的大模型部署UI，提供了众多便于交互的接口，安装部署后，只需将模型放置到指定位置即可在网页上访问，若是在服务器部署，也可以通过SSH隧道转发至公网服务器进行访问，模型的下载可以参考相关教程，比较有效的方法包括使用镜像网站和下载脚本进行下载，或者直接在浏览器中下载后上传至服务器。

2 安装

1 官方安装

从本地库下载text-generation-webui。

（图片来源网络，侵删）

使用git clone命令克隆官方仓库：

git clone https://github.com/oobabooga/text-generation-webui.git

然后进入相应文件夹，按照官方教程进行安装，主要根据系统类型、是否支持AVX指令集以及是否使用GPU来选择相应的安装配置。

2 自定义安装

2.1 环境

为避免使用官方的一键安装脚本（因为它会下载新的conda并创建一个新环境，且下载过程可能较慢），可以选择自定义安装环境，首先激活现有的conda环境，并根据平台安装pytorch，如果使用GPU，则需要安装cuda版本并安装相关库，这里不再赘述，根据GPU与CPU选择合适的依赖文件，例如对于不支持AVX2指令集但支持NVIDIA GPU的环境，可以选择使用requirements_noavx2.txt文件，并使用清华源进行加速安装。

pip install -r requirements_noavx2.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：使用AVX2指令集时可能会遇到模型部署推理阶段的错误，如Illegal instruction (core dumped) error，在这种情况下，建议重新下载对应的包解决问题。

2.2 模型

按照示例结构放置模型文件，对于量化后的gguf模型，可以直接放置；但使用Q4量化的模型时可能会遇到AttributeError问题，推荐使用Q5及以上的版本，原始的模型需要放在特定的文件夹结构下，每个子文件夹包含一个模型的全部文件，在text-generation-webui的模型读取中，有多种模式可供选择，可根据实际情况进行选择，针对某些平台，可能需要安装特定的库如llama-cpp-python，在特定平台（如linux/arm64）安装时可能会遇到一些错误，可以尝试升级gcc或使用特定版本的安装包解决。

3 部署

1 启动

在相应目录下启动server.py文件，此时应能在localhost:7860访问Web UI。

python server.py

2 autossh转发

若服务器部署在内网，访问不便，可通过SSH隧道进行转发，安装autossh后，在服务器上运行以下命令将本地端口转发到公网服务器的端口上，个人电脑即可通过公网IP和端口访问Web UI，参数解释及注意事项已在文中详细描述。

autossh -M 4010 -NR 80:localhost:7860 username@xxx.xxx.xxx.xxx (-p xxxx)