gpt_server

GPT Server

本项目依托fastchat的基础能力来提供openai server的能力.

1. 支持Chat、Embedding、ReRanker、text-moderation（文本审核，分类）、ASR、TTS（支持声音克隆）、SD(Stable Diffusion,文生图、文生视频、图片编辑、) 模型的 openai规范 接口服务。
2. 支持HF、vLLM、LMDeploy和SGLang 多种加速推理后端引擎。
3. 多个模型共用openai server的同一个端口进行调用，自动进行模型调度。

如果 GPT Server 对您有帮助，欢迎留下一个 ⭐ Star！

✨ 功能亮点

	功能	说明
🎨	OpenAI服务接口	支持 OpenAI 服务接口规范，兼容所有支持 OpenAI的项目工程
💎	支持 Responses API 接口	全球首个兼容 OpenAI Responses API 接口
🚀	多后端引擎推理	支持 vLLM、SGLang、LMDeploy、HF多种高性能推理引擎
🎯	Embedding/Reranker	支持所有兼容Sentence_Transformers的语义向量或重排模型，支持了Infinity后端，Embedding推理速度大于onnx/tensorrt，支持动态组批
🎛️	Text-moderation（文本审核，分类）	支持OpenAI 服务接口规范的文本审核，分类
📱	ASR(语音转文本)	支持基于FunASR的ASR模型
🔊	TTS(文本转语音)	支持基于SparkTTS的TTS模型，支持基于vLLM、SGLang后端对齐加速，RTF<<1,支持流式音频流输出
🖌️	SD(Stable Diffusion,文生图)	支持基于diffusers的 文生图 模型
🏔️	SD(Stable Diffusion,图片编辑)	支持基于diffusers的 图片编辑 模型
🔄	支持LM/VL模型	支持多种大语言模型或多模态语言模型
🎭	推理服务性能测试	基于Evalscope实现Throughput、TTFT、TPOT等服务性能指标

其它特性

• 支持了cohere库接口规范的 /v1/rerank 接口,在dify中可用。
• 扩展了OpenAI库,实现Reranker模型（rerank, /v1/rerank）。(代码样例见gpt_server/tests/test_openai_rerank.py)
• 支持了OpenAI库的文本审核模型接口（text-moderation, /v1/moderations）。(代码样例见gpt_server/tests/test_openai_moderation.py)
• 支持了OpenAI库的TTS模型接口（tts, /v1/audio/speech）(代码样例见gpt_server/tests/test_openai_tts_stream.py)
• 支持了OpenAI库的ASR模型接口（asr, /v1/audio/transcriptions）,基于fanasr后端(代码样例见gpt_server/tests/test_openai_transcriptions.py)
• 支持了OpenAI库的SD,文生图模型接口（sd, /v1/images/generations）,基于diffusers后端(代码样例见gpt_server/tests/test_image_gen.py)
• 支持了OpenAI库的SD,文生图模型接口（sd, /v1/images/edits）,基于diffusers后端(代码样例见gpt_server/tests/test_image_edit.py)

⚠️ 注意

⚠️ 注意：本仓库2026年5月9日开始已不再维护（No Longer Maintained）

因vllm/sglang/lmdeploy环境依赖发生重大冲突，导致环境很难兼容，且老版本的cuda vllm/sglang官方也不再构建，因此维护成本较高，因此本项目停止更新和维护，不再提供新功能开发、Bug修复和安全更新。建议用户迁移到其他替代方案。 本项目起步于2023年10月，为本人亲自维护，当初为解决fastchat更新过慢、早期的vllm bug较多，更新较慢以及不支持 工具调用等诸多问题。现如今 vllm/sglang生态已成，各种问题早已解决，因此此项目存在的意义以及不大。 下面将介绍迁移方案。

1. 对于 LLM/VLM/Embedding/Reranker,建议使用官方的vllm/sglang 镜像直接部署。 参考部署的docker compose 见 docker-compose.yml，每个模型会占用不同的端口，但可以通过openai router进行 反向代理。
2. 对于 ASR/TTS/SD 等模型,建议使用vllm-omni 项目直接部署。
3. 对于 通过一个 ip:port 路由到不同模型，下面给出两种迁移方案。 使用 SGLang Model Gateway,支持缓存感知的路由，缺点是 不支持对一个模型设置多个别名。 使用 openai router,支持对一个模型设置多个别名，带UI界面，方便管理。（本人的另一个项目，将长期维护）

📘 配置文档

• GPT Server - DeepWiki文档（可直接AI提问使用方式）

• 配置详细说明

• 配置文件样例

🎉 最新进展

2025-11-30 支持了 z-image 文生图 模型
2025-11-16 支持了 jinaai/jina-reranker-v3 模型
2025-10-25 支持了 qwen_image 文生图模型
2025-9-7   支持了 文本编辑模型 (代码样例见gpt_server/tests/test_image_edit.py)
2025-8-8   初步支持了 embedding 的 vllm 加速
2025-6-17  支持了 jina-reranker-m0 全球首个支持多模态多语言的重排模型
2025-6-12  支持了 文生图模型 flux (代码样例见gpt_server/tests/test_image_gen.py)
2025-6-6   支持了 bge-vl 系列 (代码样例见gpt_server/tests/test_openai_embedding_vl.py)
2025-6-6   支持了 ritrieve_zh_v1
2025-4-29  支持了 Qwen3
2025-4-24  支持了 Spark-TTS后端的 TTS
2025-4-14  支持了 SGLang后端以及部分VL模型
2025-4-2   支持了 OpenAI的ASR接口 /v1/audio/transcriptions
2025-4-1   支持了 internvl2.5模型
2025-2-9   支持了 QVQ

2024-12-22 支持了 tts, /v1/audio/speech TTS模型
2024-12-21 支持了 text-moderation, /v1/moderations 文本审核模型 
2024-12-14 支持了 phi-4
2024-12-7  支持了 /v1/rerank 接口
2024-12-1  支持了 QWQ-32B-Preview
2024-10-15 支持了 Qwen2-VL
2024-9-19  支持了 minicpmv 模型
2024-8-17  支持了 vllm/hf 后端的 lora 部署
2024-8-14  支持了 InternVL2 系列多模态模型
2024-7-28  支持了 embedding/reranker 的动态组批加速（infinity后端, 比onnx/tensorrt更快）
2024-7-19  支持了多模态模型 glm-4v-gb 的LMDeploy PyTorch后端
2024-6-22  支持了 Qwen系列、ChatGLM系列 function call (tools) 能力
2024-6-12  支持了 qwen-2
2024-6-5   支持了 Yinka、zpoint_large_embedding_zh 嵌入模型
2024-6-5   支持了 glm4-9b系列（hf和vllm）
2024-4-27  支持了 LMDeploy 加速推理后端
2024-4-20  支持了 llama-3
2024-4-13  支持了 deepseek
2024-4-4   支持了 embedding模型 acge_text_embedding
2024-3-9   支持了 reranker 模型 （ bge-reranker，bce-reranker-base_v1）
2024-3-3   支持了 internlm-1.0 ,internlm-2.0
2024-3-2   支持了 qwen-1.5 0.5B, 1.8B, 4B, 7B, 14B, and 72B
2024-2-4   支持了 vllm 实现
2024-1-6   支持了 Yi-34B

2023-12-31 支持了 qwen-7b, qwen-14b
2023-12-30 支持了 all-embedding(理论上支持所有的词嵌入模型)
2023-12-24 支持了 chatglm3-6b 

🧭 路线

• 支持HF后端
• 支持vLLM后端
• 支持LMDeploy后端
• 支持SGLang后端
• 支持 文本转语音 TTS 模型
• 支持 语音转文本 ASR 模型
• 支持 文本审核 模型
• 支持 function call 功能 (tools)（Qwen系列、ChatGLM系列已经支持,后面有需求再继续扩展）
• 支持多模态模型
• 支持Embedding模型动态组批(实现方式：infinity后端)
• 支持Reranker模型动态组批(实现方式：infinity后端)
• 可视化启动界面(不稳定,对开发人员来说比较鸡肋，后期将弃用！)
• 支持 文生图 模型
• 支持 图片编辑 模型
• 支持 Responses API

⚙️ 快速开始

1. 配置python环境

1.1 uv 方式 安装 (推荐,迄今最优秀的 库 管理工具, 性能和易用性远高于 pip、conda、poetry等,各大优秀开源项目都在使用。)

# 安装 uv 
pip install uv -U # 或查看教程 https://docs.astral.sh/uv/getting-started/installation/#standalone-installer
# uv venv --seed # （可选）创建 uv 虚拟环境，并设置seed
uv sync
source .venv/bin/activate # 激活 uv 环境

1.2 conda 方式 安装(后期将弃用，可选)

# 1. 创建conda 环境
conda create -n gpt_server python=3.11

# 2. 激活conda 环境
conda activate gpt_server

# 3. 安装仓库（一定要使用 install.sh 安装,否则无法解决依赖冲突）
bash install.sh

2. 修改启动配置文件

2.1 复制样例配置文件:

配置文件的详细说明信息位于：config_example.yaml

# 进入script目录
cd gpt_server/script
# 复制样例配置文件
cp config_example.yaml config.yaml

3. 启动服务

3.1 命令启动

uv run gpt_server/serving/main.py

或者

sh gpt_server/script/start.sh

或者

python gpt_server/serving/main.py

3.2 Docker启动

3.2.0 拉取Docker Hub镜像

docker pull 506610466/gpt_server:latest # 如果拉取失败可尝试下面的方式
# 如果国内无法拉取docker镜像，可以尝试下面的国内镜像拉取的方式（不保证国内镜像源一直可用）
docker pull docker.xuanyuan.me/506610466/gpt_server:latest

3.2.1 直接使用Docker命令直接启动

docker run -d \
  --name gpt_server \
  --restart always \
  --shm-size 32g \
  --network host \
  -v your_model_path/:your_model_path/ \
  -v your_config_path/config.yaml:/gpt_server/gpt_server/script/config.yaml \
  --gpus all \
  docker.1ms.run/506610466/gpt_server:latest  \
  python gpt_server/serving/main.py  

将your_model_path替换为你的模型路径，且要和config.yaml中配置的路径一致 将your_config_path替换为你config.yaml文件的路径

3.2.2 手动构建镜像并使用Docker Compose 启动（可选）

docker-compose  -f "docker-compose.yml" up -d --build gpt_server

3.3 可视化UI方式启动服务（可选,有Bug，不建议使用，欢迎大佬优化代码）

cd gpt_server/serving
streamlit run server_ui.py

3.3.1 Server UI界面:

4. 使用 openai 库 进行调用

见 gpt_server/tests 目录 样例测试代码: https://github.com/shell-nlp/gpt_server/tree/main/tests

5. 使用Chat UI

cd gpt_server/gpt_server/serving
streamlit run chat_ui.py

Chat UI界面:

⚡ 支持的模型以及推理后端

推理速度： LMDeploy TurboMind > SGLang > vllm > LMDeploy PyTorch > HF

推理后端官方支持模型情况

LMDeploy

vLLM

SGLang

注意：

• 现可以通过在 config.yaml中 设置 model_type: auto 支持所有vllm/sglang/lmdeploy 当前版本已经支持的大语言模型和多模态语言模型。

• 下面的项目兼容表未来将移除或者重构，没有在表中的模型也可能兼容，实际情况情参考官方。

LLM

Models / BackEnd	model_type	HF	vllm	LMDeploy TurboMind	LMDeploy PyTorch	SGLang
chatglm4-9b	chatglm	√	√	√	√	√
chatglm3-6b	chatglm	√	√	×	√	√
Qwen-1.0--3.0	qwen	√	√	√	√	√
Yi-34B	yi	√	√	√	√	√
Internlm-1.0--2.0	internlm	√	√	√	√	√
Deepseek	deepseek	√	√	√	√	√
Llama-3	llama	√	√	√	√	√
Baichuan-2	baichuan	√	√	√	√	√
QWQ-32B	qwen	√	√	√	√	√
Phi-4	phi	√	√	×	×	√

VLM (视觉大模型榜单 https://rank.opencompass.org.cn/leaderboard-multimodal)

Models / BackEnd	model_type	HF	vllm	LMDeploy TurboMind	LMDeploy PyTorch	SGLang
glm-4v-9b	chatglm	×	×	×	√	×
InternVL2	internvl	×	×	√	√	×
InternVL2.5--3.5	internvl	×	×	√	√	×
MiniCPM-V-2.6	minicpmv	×	√	√	×	×
MiniCPM-V-4.5	minicpmv	×	√	×	×	×
Qwen-VL 2.0--3.0	qwen	×	√	√	√	√
QVQ	qwen	×	√	√	√	√

Embedding/Rerank/Classify模型

原则上支持所有的Embedding/Rerank/Classify模型

推理速度： infinity > sentence_transformers

以下模型经过测试可放心使用：

Models / BackEnd	sentence_transformers	infinity	vllm
bge-m3	√	√	√
bge-embedding	√	√	√
bce-embedding	√	√	√
puff	√	√	√
piccolo-base-zh-embedding	√	√	√
acge_text_embedding	√	√	√
Yinka	√	√	√
zpoint_large_embedding_zh	√	√	√
xiaobu-embedding	√	√	√
Conan-embedding-v1	√	√	√
qwen3-embedding	√	√	√
ritrieve_zh_v1	√	√	√
jina-embeddings-v3	√	√	√
KoalaAI/Text-Moderation（文本审核/多分类，审核文本是否存在暴力、色情等）	×	√	×
protectai/deberta-v3-base-prompt-injection-v2（提示注入/2分类，审核文本为提示注入）	×	√	×
bge-vl	√	×	×
jina-reranker-m0	√	×	×
bge-reranker	√	√	×
bce-reranker	√	√	×
jina-reranker-v3	√	×	×

目前 ritrieve_zh_v1 C-MTEB榜单排行第一(MTEB: https://huggingface.co/spaces/mteb/leaderboard)

ASR (支持FunASR非实时模型 https://github.com/modelscope/FunASR/blob/main/README_zh.md)

目前只测试了SenseVoiceSmall模型（性能最优的），其它模型的支持情况只是从官方文档中拷贝过来，不一定可以正常使用，欢迎测试/提issue。

Models / BackEnd	model_type
SenseVoiceSmall	funasr
paraformer-zh	funasr
paraformer-en	funasr
conformer-en	funasr
Whisper-large-v3	funasr
Whisper-large-v3-turbo	funasr
Qwen-Audio	funasr
Qwen-Audio-Chat	funasr

TTS 模型

Models / BackEnd	model_type
Spark-TTS	spark_tts

文生图 模型

Flux 模型地址 Z-Image-Turbo 模型地址 Qwen-Image 系列模型地址

Models / BackEnd	model_type
flux	flux
qwen_image	qwen_image
z_image	z_image

图片编辑 模型

Qwen-Image-Edit 模型地址 Qwen-Image-Edit-2511 模型地址

Models / BackEnd	model_type
Qwen-Image-Edit	qwen_image_edit

🏗️ 架构

🤝 致谢

• FastChat
• vLLM
• LMDeploy
• SGLang
• infinity
• FlashTTS

📲 与我联系(会邀请进入交流群)

🌟 Star History