跳转到主要内容
PromptQuorum为人类设计。 为AI结构化。
主页/本地LLM进阶
Productivity & Knowledge Tools

Unsloth 评测:免费微调 LLM、图像与音频

·阅读约13分钟Hans Kuepper 作者 · PromptQuorum创始人 · 开放权重与开源AI发现引擎

Unsloth(unsloth.ai,源代码位于github.com/unslothai/unsloth)是一款免费、开源(核心为 Apache-2.0,可选的 Studio UI 为 AGPL-3.0)的工具,可以在你自己的硬件上微调和运行 LLM、扩散(图像/视频)、文本转语音以及嵌入模型。它提供三种使用方式——原生的 Unsloth Desktop 应用(Windows、macOS、Linux)、可自托管的 Unsloth Studio Web UI,以及初代 Python 库 Unsloth Core(pip install unsloth),其 GitHub 历史的大部分内容都建立在这个库之上。GitHub 元数据显示这三种方式都没有单独的付费层级,本评测也没有在项目自己的 README 中找到任何指向定价页面的链接——如果许可决策依赖于此,请直接在unsloth.ai上核实。根据其 GitHub README,它支持多 GPU 配置,并通过 Vulkan 后端支持 NVIDIA、AMD、Intel 及 CPU 硬件。

关键要点

  • 免费开源;GitHub 仓库在 README 中说明采用双重许可(核心包为 Apache-2.0,Studio UI 等可选组件为 AGPL-3.0),本评测也没有在 README 中找到单独的定价页面链接
  • 当前版本为 v0.1.909-beta,项目最近一次更新于 2026 年 10 月 19 日(GitHub 发布页面)。
  • 三种使用方式:Unsloth Desktop(面向 Windows/macOS/Linux 的原生应用,项目自身推荐使用)、Unsloth Studio(自托管 Web UI,也可通过 Docker 运行)、Unsloth Core(初代 Python 库,pip install unsloth)
  • 既能训练也能运行 LLM、扩散(图像/视频)模型、文本转语音模型和嵌入模型——根据项目自身的功能列表,这超出了纯文本微调的范围
  • 支持 LoRA、QLoRA、全量微调、预训练、强化学习(GRPO、DPO)以及 FP8 训练方法
  • 支持 NVIDIA、AMD 和 Intel GPU 的多 GPU 配置,以及通过 Vulkan 后端实现的纯 CPU 运行,覆盖 Windows、Linux、WSL 和 macOS
  • 可以通过一条unsloth start命令,将训练好或下载的模型连接到编码智能体(Claude Code、Codex 等),并公开一个兼容 OpenAI/Anthropic 的 API
  • 由 Unsloth AI 开发,根据其 GitHub 资料显示为美国注册的组织;仓库创建于 2023 年 11 月,unsloth PyPI 包自 2024 年 8 月首次发布以来已发布 241 个版本

📍 简单一句话

Unsloth 是一款免费开源(核心为 Apache-2.0,可选的 Studio UI 为 AGPL-3.0)的工具,可以在你自己的硬件上训练和运行 LLM、扩散(图像/视频)、文本转语音以及嵌入模型,提供原生桌面应用、自托管 Web UI 或 Python 库三种形态。

💬 简单来说

如果你想用自己的数据——文本、图像或语音——训练一个 AI 模型,而不是使用通用的预训练模型,Unsloth 就是在你自己的电脑或 GPU 上免费完成这项训练的工具。它最初只是面向开发者的 Python 库,现在也有一个可以点击操作的桌面应用。

Unsloth(unsloth.ai,源代码位于github.com/unslothai/unsloth)是一款免费、开源(核心为 Apache-2.0,可选的 Studio UI 为 AGPL-3.0)的工具,用于在你自己的硬件上微调和运行 AI 模型——不仅限于文本 LLM,也支持扩散(图像/视频)、文本转语音以及嵌入模型。它提供三种使用方式:原生的 Unsloth Desktop 应用、可自托管的 Unsloth Studio Web UI,以及可通过 pip 安装的初代 Python 库 Unsloth Core。本评测将说明 Unsloth 究竟能做什么、三种访问模式有何不同、各自如何安装,以及它相对于 Axolotl、MLX-LM 和云端微调 API 的定位。

Unsloth 评测:免费微调 LLM、图像与音频

Unsloth 是什么?

Unsloth 是一款在你自己掌控的硬件上微调和运行 AI 模型的工具,而不是通过云端训练 API。其GitHub README开篇就将其称为"首款支持运行和训练模型的桌面应用",这反映了一个真实的转变:该项目始于 2023 年,最初是一个用于加速 LLM 微调的 Python 库,此后发展为包含原生桌面应用、自托管 Web UI 以及作为两者底层基础的初代库这三部分的产品。

  • 核心功能:使用 LoRA、QLoRA 等技术,用自己的数据(文本、图像、音频或嵌入数据)微调基础模型,然后运行或导出结果
  • 不局限于文本:根据 README 的功能列表,Unsloth 明确支持扩散(图像和视频)模型、文本转语音模型和嵌入模型,与 LLM 并列
  • 一个项目下的三款产品:Unsloth Desktop(原生应用)、Unsloth Studio(Web UI,可自托管或通过 Docker 运行)、Unsloth Core(unsloth Python 包)
  • 开发方:Unsloth AI,在其 GitHub 资料上列为美国注册的组织,简介为"Run and train AI models locally"
  • 规范仓库:github.com/unslothai/unsloth,根据 GitHub 自身的仓库元数据,创建于 2023 年 11 月

Unsloth 的发布历史

Unsloth 并没有像一些桌面应用那样发布单一的、带日期的更新日志,因此以下可核实的历史来自两个官方信息源:GitHub 自身的仓库元数据,以及unsloth包在Python Package Index(PyPI)上的发布历史。

  • 根据 GitHub 的仓库元数据,GitHub 仓库创建于2023年11月29日
  • 根据PyPI 的官方发布历史,unsloth包在 PyPI 上的首次发布上传于2024年8月4日(版本2024.8)
  • 截至本评测撰写时,PyPI 显示unsloth包累计发布了241个版本,最新版本(2026.9.4)上传于2026年9月9日——在该包的整个生命周期中,发布频率大约为每隔几天一次
  • 这段时间里,项目的范围大幅扩展:最初它是一个用于加速文本 LLM 微调的库,而根据其当前的 README,现在还涵盖扩散、文本转语音和嵌入模型,并新增了原生桌面应用和自托管 Web UI——这些在项目早期纯库形态时并不存在

用 Unsloth 能做什么?

Unsloth 的功能集横跨训练(用自己的数据微调模型)和运行(使用已训练或已下载的模型)两方面,覆盖四种模型类型。以下根据 Unsloth 自身的GitHub README,说明各部分实际的作用。

  • 跨四种模型类型的微调 — 使用 LoRA、QLoRA、全量微调或预训练,对 LLM、扩散(图像/视频)模型、文本转语音模型和嵌入模型进行微调
  • 强化学习 — GRPO 和 DPO 都支持用于基于强化学习的微调,与更常见的监督微调方法并存
  • 运行与提供模型服务 — 除了训练之外,Unsloth 还可以直接运行 GGUF、MLX 和扩散模型,并通过兼容 OpenAI 的本地 API 服务器公开它们
  • 智能体集成 — unsloth start命令可以将本地模型一键连接到编码智能体,包括 Claude Code、OpenAI Codex 等(根据 README 自身的列表)
  • 远程与局域网访问 — Unsloth Studio 可以通过家庭网络公开,或者通过 Cloudflare 隧道,从网络外部(包括手机)安全访问
  • 数据集构建 — "Data Recipes"功能可以直接从 PDF、CSV 和 DOCX 文件构建训练数据集,而不需要预先格式化好的数据集
  • 导出与部署 — 训练好的模型可以导出为 GGUF、NVFP4、FP8 等格式,供其他本地 AI 工具使用
  • 免费训练笔记本 — Unsloth 发布了免费的 Google Colab 笔记本,涵盖特定模型和技术(Llama、Qwen、gpt-oss、GRPO、TTS、嵌入以及视觉微调)

使用示例:三种使用 Unsloth 的方式

以下是基于上文中 Unsloth 已记录功能构建的具体工作流——而不是假设性的用例。

在免费的 Colab 笔记本中微调一个小型 LLM

打开 Unsloth 的一个免费笔记本(例如 Llama 3.1 8B Alpaca 笔记本),按照笔记本要求的格式添加自己的数据集,然后在 Google Colab 的免费 GPU 层级上运行。这是尝试微调最省事的方式,无需在本地安装任何东西,也不需要拥有 GPU。

使用 Unsloth Desktop 应用在本地进行微调

为你的操作系统下载 Unsloth Desktop,通过其界面指定基础模型和自己的数据集,然后在自己的 GPU 上运行微调任务。这样可以避免 Unsloth Core 所需的 Python 环境配置,代价是失去脚本所能提供的精细控制。

将本地训练好的模型提供给编码智能体使用

在微调或下载模型之后,运行unsloth start claude --model <your-model>,通过 Unsloth 的本地 API 将其连接到 Claude Code,让你可以用自己微调或选定的模型作为智能体工作流的后端,而不是使用云端模型。

安装 Unsloth:Desktop、Studio 与 Core

根据其自身的GitHub README,Unsloth 有三种使用方式——Desktop 应用是项目自身向大多数人推荐的方式。以下链接是 GitHub 发布版本的直接 URL 和官方安装脚本;由于发布链接可能随版本变化,请始终以 README 本身为准直接核实。

安装方式
命令或链接
Unsloth Desktop — WindowsUnsloth-Desktop-Windows.exe
Unsloth Desktop — macOSUnsloth-Desktop-MacOS.dmg
Unsloth Desktop — Linux(.deb)Unsloth-Desktop-Ubuntu.deb
Unsloth Desktop — Linux(AppImage)Unsloth-Desktop-Linux.AppImage
Unsloth Studio — macOS/Linux/WSL先运行curl -fsSL https://unsloth.ai/install.sh | sh,再运行unsloth studio
Unsloth Studio — Windows先运行irm https://unsloth.ai/install.ps1 | iex,再运行unsloth studio
Unsloth Studio — Dockerdocker run -d --gpus all --ipc=host -p 8000:8000 unsloth/unsloth — 标签请参见Docker Hub
Unsloth Core — Linux/WSL(通过 uv 使用 pip)uv pip install unsloth --torch-backend=auto

AMD 和 Intel GPU 用户在默认安装之外还需要额外的设置步骤——请参见 Unsloth 自己的AMD 指南和Intel 指南。专用的 Docker Hub 标签unsloth/unsloth:core可以在不包含 Studio Web UI 的情况下安装 Unsloth Core(Jupyter 笔记本)——当前的标签列表请参见Docker Hub。

Unsloth 的定价:真的免费吗?

就本评测所能核实的范围而言,是的——Unsloth 没有付费层级。GitHub 仓库说明采用双重许可(核心包为 Apache-2.0,Unsloth Studio UI 等可选组件为 AGPL-3.0),项目的 README 也没有链接到定价页面或描述任何付费功能。PromptQuorum 在本次评测中未能直接打开unsloth.ai(该网站对自动化请求返回了拒绝访问的响应)——如果某个具体的定价决策对你很重要,请自行核实官方网站,不要仅依赖本评测。

  • GitHub 仓库及其 README 中没有记录任何订阅或付费层级
  • 下载 Unsloth Desktop 或安装 Unsloth Core 都不需要账号或注册
  • 提供免费的 Google Colab 笔记本,让你无需拥有 GPU 即可进行训练,但受限于 Colab 自身的免费层级 GPU 限制(由 Google 而非 Unsloth 设定)
  • Apache-2.0 与 AGPL-3.0 许可证适用于源代码本身;它们本身并不能保证与之相关的每一项服务(例如未来可能推出的托管服务)永远免费——请直接在unsloth.ai上核实当前条款

Unsloth vs. Axolotl vs. MLX-LM

Unsloth、Axolotl 和 MLX-LM 是 PromptQuorum 自己的微调框架对比深入介绍的三款本地微调工具——本节为从本评测过来的读者总结其中的关键差异。

方面
Unsloth
Axolotl
许可证核心:Apache-2.0 / Studio UI:AGPL-3.0Apache-2.0MIT
界面桌面应用、Web UI 或 Python 库由 YAML 配置驱动,没有桌面应用Python 库/CLI,没有桌面应用
模型类型LLM、扩散、TTS、嵌入以 LLM 为主以 LLM 为主
硬件NVIDIA、AMD、Intel、CPU、Vulkan以 NVIDIA 为中心的 CUDA 技术栈仅限 Apple Silicon
多节点训练README 中未记录支持——通过 Torchrun 和 Ray通过mx.distributed
最适合单机场景下最全面的选择,也涵盖非文本模型扩展到单机之外在 Mac 上进行精简的原生 Apple 开发

如果你的训练任务需要不止一台机器,或者你特别需要尽可能广泛的 DPO/ORPO/KTO/GRPO/奖励建模方法覆盖,请参阅完整对比文章,了解为什么 Axolotl 在这方面更合适。如果你只使用 Apple Silicon,并希望使用最精简的原生方案,而不是 Unsloth 更宽泛(但更重)的桌面应用,请参阅专门的MLX-LM 评测。

在目录中比较

谁适合使用 Unsloth?

Unsloth 是否适合你,取决于你是想用一款免费工具同时覆盖文本、图像和音频的训练与运行,还是更倾向于用途更单一的专用工具。

适合使用 Unsloth 的情况

  • 你想微调 LLM、扩散(图像/视频)模型、TTS 模型或嵌入模型,而不想学习四种不同的工具
  • 你想要一个可以点击操作的桌面应用选项,但之后可能也想为同一个项目使用 Python 库提供的更精细控制
  • 你拥有一块 GPU(包括 AMD 或 Intel,不仅限于 NVIDIA),并希望避免按 token 计费的云端微调费用
  • 你想把微调好或下载的模型直接连接到 Claude Code 或 Codex 这样的编码智能体
  • 你希望底层工具是开源的(核心为 Apache-2.0,可选的 Studio UI 为 AGPL-3.0),而不是闭源的二进制程序

应等待或另寻他选的情况

  • 你的训练任务需要不止一台机器——Unsloth 的 README 并没有像 Axolotl 那样记录多节点训练
  • 你需要尽可能广泛的对齐方法覆盖(DPO、ORPO、KTO、GRPO、奖励建模同时具备)——Axolotl 记录了更广泛的方法列表
  • 你只使用 Apple Silicon,并希望使用尽可能精简的原生工具,而不是功能更广泛的多后端应用——值得直接比较一下 MLX-LM
  • 某项定价或许可决策特别依赖于 unsloth.ai 的实时网站内容——本评测无法直接打开该网站,只能依赖 GitHub/PyPI 的元数据

Unsloth 与其他微调工具对比

Unsloth 是众多在自有硬件上微调模型的工具之一。以下是它在这一领域中相对于其他选项的定位——完整目录请参见本地 LLM 软件目录,最接近的一对一对比请参见上文的Unsloth vs. Axolotl vs. MLX-LM 对比。

  • Axolotl — 一款 Apache-2.0 许可的微调框架,其文档记录的优势在于多节点训练,以及三者中最广泛的对齐方法覆盖;请参见上文的专门对比部分,以及 PromptQuorum 的完整微调框架对比。
  • MLX-LM — Apple 自己的 MIT 许可、Apple Silicon 原生库,用于运行和微调 LLM;详细介绍请参见MLX-LM 评测。
  • Together.ai 和 Fireworks.ai — 按训练 token 计费的云端微调 API,而不要求你自己拥有 GPU;PromptQuorum 的微调框架对比直接介绍了 Together.ai 的定价。
  • Ollama 和 LM Studio — 用于*运行*模型而非训练模型的本地推理工具;一种常见模式是先用 Unsloth 微调,导出为 GGUF,再在 Ollama 或 LM Studio 中运行结果。请参见Ollama 评测和LM Studio 评测。

在目录中比较

评估 Unsloth 时的常见误区

关于 Unsloth 的大多数误解,都源于把它当作一个纯文本 Python 库的过时印象,或者认为它自己的速度/显存说法已经过独立验证。

误区1:认为 Unsloth 只能微调文本 LLM

Unsloth 最初是一个 LLM 微调库,但其当前的 GitHub README 明确列出,扩散(图像/视频)、文本转语音和嵌入模型的训练与运行都得到支持——曾经只适用于文本的同一套功能,现在适用范围更广。

误区2:认为使用 Unsloth 必须编写 Python 代码

这在最初的 Unsloth Core 库上是成立的。截至本评测撰写时,Unsloth Desktop 是一款面向 Windows、macOS 和 Linux 的原生点击式应用,项目本身也将其推荐为安装 Unsloth 的默认方式——不需要编写代码。

误区3:把"速度提升2倍、显存减少70%"当作已独立验证的数字

这些数字来自 Unsloth 在其 README 和博客中的自有基准测试主张,而不是 PromptQuorum 自己的测试,也不是本评测所能核实的第三方基准测试。实际的加速幅度和显存节省取决于所使用的具体模型、方法和硬件。

误区4:把 Unsloth Studio 误认为是托管型云服务

Unsloth Studio 是一款自托管的 Web UI——你需要自己运行它(在本地、自己的服务器上,或通过 Docker),而不是注册一个由 Unsloth AI 为你运营的服务。其可选的 Cloudflare 隧道功能是让你能够远程访问自己自托管的实例,并不意味着 Unsloth 在托管你的模型。

常见问题

Unsloth 是什么?

Unsloth(unsloth.ai,源代码位于github.com/unslothai/unsloth)是一款免费、开源(核心为 Apache-2.0,可选的 Studio UI 为 AGPL-3.0)的工具,可以在你自己的硬件上微调和运行 LLM、扩散(图像/视频)、文本转语音以及嵌入模型,提供桌面应用、自托管 Web UI 或 Python 库三种形态。

Unsloth 免费吗?

就本评测能从 GitHub 仓库元数据和项目 README 中核实的范围而言,是的——没有发现任何有记录的付费层级。PromptQuorum 在本次评测中未能直接打开 unsloth.ai(该网站拦截了自动化请求),因此如果某项决策依赖于此,请在官方网站上核实当前定价。

Unsloth 能微调图像而不只是文本吗?

可以。Unsloth 自己的 GitHub README 将扩散(图像和视频)模型与 LLM、文本转语音模型和嵌入模型并列,列为训练和推理均支持的模型类型。

Unsloth 使用什么许可证?

双重许可:Unsloth 核心包为 Apache-2.0,Unsloth Studio UI 等可选组件为 AGPL-3.0(依据项目 README 的许可证章节)。在再分发或托管任一部分之前,请先阅读许可证全文。

使用 Unsloth 需要懂 Python 吗?

不一定需要。Unsloth Desktop 是一款面向 Windows、macOS 和 Linux 的原生点击式应用。最初的 Python 库 Unsloth Core 仍然可用,供希望获得脚本级控制的开发者使用。

Unsloth 支持哪些硬件?

根据其 GitHub README:支持多 GPU 配置、NVIDIA、AMD 和 Intel GPU,以及通过 Vulkan 后端实现的纯 CPU 运行,覆盖 Windows、Linux、WSL 和 macOS。

Unsloth Studio 和 Unsloth Desktop 是同一个东西吗?

不是。Unsloth Desktop 是一款原生安装的应用。Unsloth Studio 是一款自托管的 Web UI,你通过安装脚本或 Docker 运行它,并通过浏览器访问——两者都建立在同一个 Unsloth Core 引擎之上。

Unsloth 能连接 Claude Code 或其他编码智能体吗?

可以,通过unsloth start命令,根据项目 README,它可以通过 Unsloth 兼容 OpenAI/Anthropic 的 API,将本地模型连接到 Claude Code、OpenAI Codex 等智能体。

Unsloth 与 Axolotl 相比如何?

Unsloth 覆盖更多模型类型(LLM、扩散、TTS、嵌入)和更多硬件后端(包括 AMD 和 Intel),而 Axolotl 记录了多节点训练和更广泛的对齐方法覆盖。请参见上文的专门对比部分,以及 PromptQuorum 的完整微调框架对比。

谁开发了 Unsloth?

Unsloth AI,在其 GitHub 资料中列为美国注册的组织。GitHub 仓库创建于 2023 年 11 月。

信息来源

← 返回 本地LLM进阶

MCP