L
LlamaFactory
Apache-2.0PythonUnified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)
★ 74kFork 9k更新于 2026-07-29
软件介绍
LlamaFactory 是一个统一高效的大语言模型（LLM）和视觉语言模型（VLM）微调框架，支持 100 多种模型，包括 LLaMA、Qwen、DeepSeek、Gemma 等。它集成了多种训练方法，如全量微调、LoRA、QLoRA、DPO、PPO 等，并提供零代码的 CLI 和 Web UI（基于 Gradio），让用户轻松进行模型微调、推理和部署。该框架已被 Amazon、NVIDIA、阿里云等企业采用，并发表于 ACL 2024。
核心功能
支持 100+ 模型，包括 LLaMA、Qwen、DeepSeek、Gemma、GLM、Phi 等
集成多种训练方法：预训练、监督微调、奖励建模、PPO、DPO、KTO、ORPO 等
支持多种微调方式：全量微调、冻结微调、LoRA、QLoRA（2/3/4/5/6/8 位量化）
提供零代码 CLI 和 Web UI（Gradio），降低使用门槛
支持高级算法：GaLore、BAdam、APOLLO、Adam-mini、Muon、OFT、DoRA 等
集成实用技巧：FlashAttention-2、Unsloth、Liger Kernel、RoPE scaling、NEFTune 等
支持多模态任务：图像理解、视频识别、音频理解等
提供实验监控：LlamaBoard、TensorBoard、Wandb、MLflow、SwanLab 等
支持 OpenAI 风格 API 和 vLLM/SGLang 加速推理
支持分布式训练（DeepSpeed、FSDP+QLoRA）和多种硬件（CUDA、Ascend NPU、AMD ROCm）
适用场景
对开源大模型进行领域适配微调，如医疗、法律、金融等构建角色扮演或个性化对话模型多模态模型微调，用于图像描述、视觉问答等任务偏好对齐训练，提升模型的安全性和有用性在资源受限环境下使用 QLoRA 微调大模型
Docker 部署
docker run -it --rm --gpus=all --ipc=host hiyouga/llamafactory:latest
FAQ
LlamaFactory 支持哪些模型？
支持 100+ 模型，包括 LLaMA、Qwen、DeepSeek、Gemma、GLM、Phi、Mistral、Mixtral、InternLM 等，具体列表见官方文档的 Supported Models 部分。
如何开始使用 LlamaFactory？
安装后可通过 CLI 命令 `llamafactory-cli train` 进行微调，或运行 `llamafactory-cli webui` 启动 Web 界面。详细步骤请参考官方 README 的 Getting Started 部分。
LlamaFactory 是否支持多 GPU 分布式训练？
是的，支持 DeepSpeed 和 FSDP+QLoRA 等分布式训练方式，可在多 GPU 环境下高效微调大模型。
如何自定义数据集？
将数据集按指定格式（如 JSON 或 JSONL）准备，并在 `data/dataset_info.json` 中注册，然后在配置文件中指定数据集名称即可。