如何在本地搭建一个类似ChatGPT的AI聊天界面？
2024-11-19 阅读 8
更新于 2026年01月03日
本地搭建推荐用 LM Studio 来配置，非常快速且简单的本地部署方案，而且相较于 ollama，LM Studio 提供用户界面，使用起来更加友好。
部署方法：
官网（https://lmstudio.ai/）下载 LM Studio 并安装点击“发现”，搜索想要部署的模型这里需要注意的是由于它默认在 HuggingFace 上搜索，对于国内用户来说，这里可能会出现网络问题，导致无法在软件内下载模型。
一个解决办法先在 hf 官网（hf 上不去就用 ModelScope 也行或 hf 镜像 HF-Mirror）手动下载，然后保存到目标文件夹中。
以 Qwen2.5-Coder-3B-instruct 为例，在 hf（https://huggingface.co/Qwen/Qwen2.5-Coder-3B-Instruct-GGUF/tree/main）下载开源文件，注意是下载 GGUF 格式；
文件保存到工作目录下，建议路径结构为模型目录\models\Qwen\qwen2.5-coder-3b-instruct-q8，其中模型目录是软件中指定的，可在设置中修改，这个路径结构可以保证 LM Studio 正确识别本地模型信息，比如说模型 id 和发布者，如果本地部署多个，这样方便管理和查看。
下载完成后，就可以在本地使用模型进行对话了：在“聊天”窗口新建一个对话，加载并选择要使用的模型。
这样就成功把开源模型部署在本地了，像用其他 chatbot 一样使用聊天界面对话。
可以用langchain框架搭建一个本地的AI聊天界面。
目前这个框架支持多种模型：
首先我们可以登录它的GitHub网站，然后下载它的源码：
1.安装 Langchain-Chatchat
pip install langchain-chatchat -U2. 模型推理框架并加载模型
3. 初始化项目配置与数据目录
Langchain-Chatchat 使用本地 yaml 文件的方式进行配置，用户可以直接查看并修改其中的内容，服务器会自动更新无需重启
设置 Chatchat 存储配置文件和数据文件的根目录（可选）# on linux or macos
export CHATCHAT_ROOT=/path/to/chatchat_data
# on windows
set CHATCHAT_ROOT=/path/to/chatchat_data若不设置该环境变量，则自动使用当前目录。
执行初始化chatchat init
4.启动项目
chatchat start -a出现以下界面即为启动成功:
类似ChatGPT的AI聊天界面，实际上包括了两部分内容：1、WebChat界面 2、大模型服务
其实这两部分内容，都有很多资料可以参考，但一般情况下，要用到GPU、卡驱动、CUDA、PyTorch、Anaconda、Python等相关知识，中间的部署步骤会出现这样或那样的问题，还是有一定的门槛的。
这里介绍一种简单的方法，使用自动化脚本装载Docker镜像提供Chat界面，算力条件是有一台装Ubuntu或Centos的机器就可以了，不需要GPU，配置稍高些就行，搭建过程只需要两条命令，不需要装Docker，安装脚本会自己装一个Podman，命令如下：
# 安装ai-agent.sh
curl -o install.sh https://aliendao.cn/ai-agent/install.sh && bash install.sh
# 运行Web Chat界面
ai-agent.sh aicode然后访问http://Linux机器IP:8501，就可以使用Chat服务了。运行效果等同于 https://gitclone.com/aiit/chat1/ 。
这个ai-agent.sh来自于 https://gitclone.com/aiit/agenthub/ ，在这个网站上，除了Chat界面服务，还有其他8个常见的AI Agent的应用或例程可用一条命令启动后体验。
这个过程中，并未配置大模型服务，其实这个镜像使用的是一个已搭建好的、免费的、支持多个模型的LLMs服务，如果要自己搭建，可以使用Ollama工具，安装使用也非常简单，不需要GPU就可以用。
GitHub 相关的聊天已经有非常非常多了，各有各的优势：
Lobe Chat:（我目前主力）
一个开源、现代设计的 AI 聊天框架。支持多 AI 提供商（OpenAI / Claude 3 / Gemini / Ollama / Qwen / DeepSeek）、知识库（文件上传 / 知识管理 / RAG）、多模式（Vision/TTS/Plugins/Artifacts）。一键免费部署您的私人 ChatGPT/Claude 应用程序。
Open-webui:(UI设计类似chatgpt）
Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 WebUI，旨在完全离线运行。它支持各种 LLM 运行器，包括 Ollama 和 OpenAI 兼容 API。
可以参考这篇文章：https://towardsdatascience.com/set-up-a-local-chatgpt-like-interface-copilot-in-less-than-10-minutes-60a02acd2628
这篇文章介绍了如何在本地设置类似于ChatGPT的界面以及代码助手功能，整个过程可以在10分钟内完成。作者首先解释了本地部署的重要性，以及开源工具的优势，确保数据安全且免费。文章详细介绍了所需的前置条件和步骤，包括下载Docker Desktop和VSCode等软件。通过使用Ollama平台和Docker容器来运行本地LLM模型，并配置VSCode插件，使用户可以快速享受到类似Copilot的代码辅助功能。整体而言，文章提供了非常实用的指导，对于希望本地部署LLM的用户来说非常有帮助。值得关注的是，文章详细介绍了如何配置模型大小，以适应不同硬件条件，从而最大化模型性能。
文章的核心要点：为何本地部署？ 本地部署可以确保业务秘密和敏感信息的安全，避免被用于训练外部公司的模型。同时，本地部署免费，无需支付外部供应商的订阅费用。 为何使用开源工具？ 使用的每项服务都是开源的，用户可以查看完整的代码库，确保使用过程中的透明性，避免意外情况。 前置条件 本教程适用于Linux和Mac系统，需要下载并安装Docker Desktop，并且如果需要代码集成，则需要下载VSCode。 设置Web界面 下载并安装Ollama平台，通过Docker命令下载包含Web UI的Docker镜像，然后在浏览器中访问localhost:3000，创建账户并选择所需模型。 安装VSCode代码助手 通过Ollama下载starcoder2:3b模型，并在VSCode中安装Continue插件，进行配置以实现代码助手功能。配置文件中的JSON内容用于指定模型和功能，如自动补全和代码优化等。 模型大小的考量 模型大小决定了所需的处理能力，根据硬件条件选择合适的模型大小。对于较慢的计算机，推荐使用较小的模型以确保性能。
