LLM预备知识、工具篇——LLM+LangChain+web UI的架构解析，LLM预备知识，架构解析——LLM+LangChain+web UI详解

温馨提示：这篇文章已超过471天没有更新，请注意相关的内容是否还可用！

摘要：本文将解析LLM预备知识、工具篇，重点介绍LLM+LangChain+web UI的架构。文章将探讨LLM的基础知识，以及结合LangChain和web UI技术，解析其架构设计和应用。通过本文，读者将了解如何利用这些技术构建高效的机器学习模型，并了解其在实践中的实施方式和潜在优势。

常见名词

tokenLLM中的最小文本处理单元，根据不同的策略，token可以进行多种分割方式，例如基于空格分词、基于词典分词、基于字节对齐分词、基于子词分词和BPE分词等。

LLM的低资源模型微调

p tuning v2

LLM预备知识、工具篇——LLM+LangChain+web UI的架构解析，LLM预备知识，架构解析——LLM+LangChain+web UI详解第1张

Lora方法

向量数据库

1、Milvus(v2.1.4)：云原生自托管向量数据库（Ubuntu下）

* 安装（Docker Compose方式）

* 管理工具（仅支持Milvus 2.0之后的版本）

LLM预备知识、工具篇——LLM+LangChain+web UI的架构解析，LLM预备知识，架构解析——LLM+LangChain+web UI详解第2张

python操作基于pymilvus == 2.1.3

2、Faiss

3、Pinecone：完全托管的云原生向量数据库

4、postgreSQL+pgvector插件

LLM预备知识、工具篇——LLM+LangChain+web UI的架构解析，LLM预备知识，架构解析——LLM+LangChain+web UI详解第3张

LangChain+外挂知识库

1、简介

2、安装

3、主要的几大模块

AI web工具

1、Gradio==3.28.3

LLM预备知识、工具篇——LLM+LangChain+web UI的架构解析，LLM预备知识，架构解析——LLM+LangChain+web UI详解第4张

2、Streamlit == 1.25.0

其他

1、FastChat：一个基于聊天机器人方式对LLM进行快速训练、部署和评估的开放平台，可以通过CLI（命令行交互界面）和Web（web UI交互界面）两种方式加载、调用和启动LLM，并与LLM进行对话，具体使用方式和操作细节见详细文档，在使用过程中可能会遇到的问题和解决方案也进行了说明，安装FastChat的命令为：pip install fschat。

2、FastAPI：高性能Web框架，用于构建API，安装命令为：pip install fastapi和pip install uvicorn，关于FastAPI的更多信息和使用方法，可以参考其官方文档和其他相关资源，从LangChain+LLM的本地知识库问答到LLM与知识图谱、数据库的结合是FastAPI在LLM领域的一个潜在应用方向，关于这方面的更多信息，需要进一步研究和探索。