007-Wsl-Ubuntu上LLaMA-Factory如何下载、部署、运行【AI超车B计划】

一、目标

• 了解什么是LLaMA-Factory；

• 成功在Wsl-Ubuntu环境下安装并运行LLaMA-Factory；

  二、路径

  1. 学习笔记中关于LLaMA-Factory的简介，了解什么是LLaMA-Factory；

  2. 在Ubuntu中，下载LLaMA-Factory；

  3. 使用Conda 创建一个LLaMA-Factory专属的Python虚拟环境，并激活；

  4. 在Python虚拟环境中，部署LLaMA-Factory并运行；

  三、笔记

  1、什么是LLaMA-Factory？有什么作用？

  LLaMA-Factory是github上的一个开源项目，可以通过web界面，可视化地轻松微调大模型。

  特色：

  • 支持微调上几百大模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。

  • 支持多种大模型训练方法：（增量）预训练、（多模态）指令监督微调、奖励模型训练、PPO 训练、DPO 训练和 ORPO 训练。

  • 多精度支持：32 比特全参数微调、16 比特冻结微调、16 比特 LoRA 微调和基于 AQLM/AWQ/GPTQ/LLM.int8 的 2/4/8 比特 QLoRA 微调。

  • 多算法支持：GaLore、BAdam、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ 和 Agent 微调。

  • 无需代码易操作可视化界面：如图所示，

    2、下载代码到本地

    github 官方代码镜像地址：点我直达

    https://github.com/hiyouga/LLaMA-Factory

    Terminal中输入以下命令，下载LLaMA-Factory代码项目到本地：

    git clone https://github.com/hiyouga/LLaMA-Factory

    

    

    3、通过conda安装llama-factory的专属虚拟环境

    ① cd到 LLaMA-Factory目录下，在Terminal输入以下命令

    conda create -n fine-tuning python=3.10

    ②输入y，回车

    开始下载conda 虚拟环境的依赖包

    fine-tuning虚拟环境依赖下载完成：

    ③激活虚拟环境

    Terminal中输入

    conda activate fine-tuning

    激活成功

    

    4、下载并安装llama-factory的环境依赖

    ①cd进入LLaMA-Factory目录中，在Terminal中输入：

    pip install -e .[metrics] 

    依赖下载中：

    ②优化下载源，需要暂停下载 ctl+c，调整指令：

    pip install -e .[metrics] -i https://pypi.tuna.tsinghua.edu.cn/simple

    下载速度从几十k，升到几M

    下载完成，并自动安装成功：

    5、运行llama-factory

    ①在LLaMA-Factory目录中，Terminal中输入以下命令：

    llamafactory-cli webui

    ②复制网址粘贴进浏览器：

    http://127.0.0.1:7860/

    点击左上角下拉选项卡，支持切换成中文：

    6、通过LLaMA-Facotry微调（示意）

    微调过程：

    微调结果：

    

    ---

    什么是AI超车计划？

    是“产品江湖”社区发起的AI学习计划，由沐逸@产品江湖（微信号：legend_pmdiss）老师主理，旨在帮助大家在AI时代找到自己的位置和价值。

    计划包含:
    A计划【不掉队】-- 快速了解各种AI应用的使用，如Kimi、各种GPT，让自己不掉队!
    B计划【赶得上】-- 快速了解现有开源的AI开发工具，如dify、Coze，以了解如何迅速构建AI应用，让自己赶得上!
    C计划【快超车】--通过低代码平台并借助AI辅助编程，从零到一打造大模型应用，让自己实现快速超车!

    了解AI超车计划