可本地免费部署开源模型能力分类总表
说明:国内模型=国内机构开源;国外模型=海外机构开源;全部开放权重、可本地离线部署;许可证大多支持免费商用,个别需看协议;能力分类:对话LLM / Agent工具调用 / 文本生成 / 图像生成/理解 / 音频(ASR/TTS/语音对话) / 视频理解/生成 / 多模态;链接优先GitHub / HuggingFace / ModelScope。
一、国内开源模型(可本地部署)
二、国外开源模型(可本地部署)
三、本地部署工具栈(配套开源框架,用于跑上面模型)
不属于模型本身,是本地推理/Agent运行框架,免费开源
- Ollama:一键本地跑LLM/VLM,内置API,支持Windows/Mac/Linux;https://github.com/ollama/ollama MIT
- llama.cpp:纯C/C++推理,CPU/GPU,GGUF量化;https://github.com/ggml-org/llama.cpp MIT
- vLLM:高吞吐GPU推理服务;https://github.com/vllm-project/vllm Apache 2.0
- SGLang:支持多模态、Agent工具调用高性能推理;https://github.com/sgl-project/sglang Apache 2.0
- ComfyUI:图像/视频生成可视化工作流;https://github.com/comfyanonymous/ComfyUI GPL3
- OpenClaw:本地LLM驱动Agent智能体框架;https://github.com/OpenClaw/OpenClaw MIT
四、能力快速归类索引(方便筛选)
✅ 纯对话LLM+Agent(文本+工具调用)国内:Qwen系列、DeepSeek系列、GLM4 国外:Llama3.1/4、Mistral Large3、Phi4、Gemma4
✅ 图像理解(VLM)国内:Qwen-VL、MiniCPM-V、GLM-4-V 国外:Llama4、Pixtral、Gemma4、Muse Glimmer
✅ 图像生成国内:无原生开源文生图大模型(可搭配SD/Flux) 国外:Flux1、SDXL
✅ 音频(ASR语音识别 / TTS语音合成)国内:SenseVoice、CosyVoice、MOSS-TTS-Nano、MiniCPM-o 国外:Whisper
✅ 视频生成/视频理解国内:Wan2.2、MiniMax H3 国外:Nemotron3 Nano Omni
✅ 全模态统一多模态(文本+图像+音频+视频,端到端)国内:MiniCPM-o 国外:Nemotron3 Nano Omni、Muse Glimmer
✅ GUI桌面/网页自动化Agent国外:Holo-3.1
五、硬件选型提示
- 轻量模型(1B~4B,MiniCPM、Phi4、Gemma4 2B):8G内存即可,无独立显卡可用CPU量化
- 7B~14B模型(Qwen7B、Llama3 8B、Wan2.2 5B):推荐≥16G显存
- 30B级多模态Agent(Muse Glimmer、Nemotron Nano Omni):≥24G显存
如果你想要,我可以:
- 导出Markdown纯表格版本,直接复制到Notion/语雀
- 精简成一页选型清单(只保留最推荐3-5个国内+国外)
- 增加一列:最低显存、推荐量化版本、Ollama拉取命令。
@1x.png)




没有回复内容