跳到主要内容

存储迁移

更新时间:2025-11-24 18:50:25
信息

该文档适用于同时在Lab4AI和LLaMA Factory Online注册了账户的用户。

为进一步提升用户体验,统一管理账户,我们全面升级了存储功能,您可参考以下内容完成存储迁移操作,以下将为您介绍存储迁移的具体操作。

重要

请您务必在2026年5月31日前 完成历史文件的迁移操作。逾期未迁移的数据将被系统自动回收,恕无法恢复,如您在迁移过程中有任何疑问或需要协助,欢迎随时联系客服,我们将竭诚为您服务!

前提条件

  • 您已经获取大模型实验室账户和密码,如果需要帮助或尚未注册,可参考注册账户完成注册。
  • 当前账号的余额充裕,可满足数据迁移实例运行的需要。

概览

如果您未执行过“一键迁移”或存储迁移的操作,在文件管理页面会弹出相关提示,例如下图高亮所示。

upload

目录名称说明支持迁移方式
codelab用于存储论文和项目复现所用的代码、数据集、模型等文件。命令行迁移
envs当前conda环境中,用户自定义安装依赖包的目录。一键迁移、命令行迁移
huggingface自动创建的本地缓存目录,可于存放下载的预训练模型文件、数据集缓存。命令行迁移
llamafactory包含数据集,data目录、服务启动日志、logs日志、output训练保存目录、config配置目录。命令行迁移
spack用于存储用户自定义的软件环境,隔离软件依赖。命令行迁移
tmptmp临时文件,用于存储临时缓存等。
user-data用户通过任务模式下上传或者产生的数据;通过SFTP上传/下载数据。一键迁移、手动迁移

操作步骤

当页面出现上述提示时,用户可根据实际需求选择合适的迁移方式。下文将以“一键迁移”和“命令行迁移”为例,详细介绍具体操作步骤。

一键迁移

  1. 登录账号后,单击“文件管理”页面的“一键迁移”按钮,弹出操作确认窗口,例如下图所示。

    upload

  2. 确认迁移后,单击“确定”按钮进入迁移环境准备页面,系统进入LLaMA-Factory和Online+Lab4AI合计占用存储容量核算及一级目录重复文件/文件夹检测,根据系统核算结果,执行对应的操作。

  3. 经过核算后的存储总占用量未超过1T时,进入一键迁移文件选择页面,例如下图所示。

    upload

当Lab4AI的user-dataenvs目录下存在与LLaMA-Factory Online同名的一级文件或文件夹时,页面将列出这些冲突项,并提示:“目标文件夹中已存在同名文件/文件夹”,请根据实际需求选择相应的处理方式。

  • 跳过并继续:跳过Lab4AI中对应的同名项,保留LLaMA-Factory Online中已存在的同名文件/文件夹,不进行覆盖。

  • 覆盖并继续:使用Lab4AI中的同名文件/文件夹覆盖LLaMA-Factory Online中已存在的同名文件/文件夹。

  1. 处理方式选择完成后,单击“确定”按钮,即可开始一键迁移,迁移完成后页面会提示“迁移完成”,例如下图所示。

    upload

  • 点击“返回新存储”链接(如上图高亮①所示),系统会导航至迁移目标路径,该路径指向可写的迁移目标目录workspace

  • 点击“历史存储空间”链接(如上图高亮②所示),系统将进入待迁移目录,该路径指向只读的workspace-old目录。

信息
  • 执行一键迁移时,除同名文件或文件夹需用户手动选择处理方式外,其余文件(不包括envs/lf_pkgs文件夹)将自动复制到DataCanvas apps账户下。

  • 大模型实验室中启动私有项目时,若其尚未完成该类项目的迁移,系统将提示启动失败;待迁移完成后,即可正常启动。

命令行迁移

  1. 登录账号后点击界面右侧悬浮菜单栏的“新建实例”图标,选择“JupyterLab”图标,进入实例启动参数配置页面,切换至CPU资源。例如下图所示,单击“启动”按钮。

    upload

  2. 待实例启动后,点击[Launcher/Terminal]进入终端页面,在终端运行如下所示的命令执行迁移操作。

    upload 您可选择cp命令行或者rclone命令来实现数据迁移,其中若仅需一次性本地迁移且对历史记录无要求,可使用cp;若需保持环境一致性、支持回滚或涉及远程协作,则推荐使用rclone

  cp [选项] 源文件或目录 目标文件或目录

以下是 cp 命令常用“选项”说明。

选项说明
-r-R递归复制目录(必须用于复制文件夹)
-i覆盖前提示确认(interactive)
-f强制覆盖(force),不提示(默认行为,但某些系统需显式指定)
-v显示详细过程(verbose)
-a归档模式,等价于 -dR --preserve=all,保留权限、时间、链接等(常用于备份)
-p保留文件属性(修改时间、访问时间、权限、所有者等)
-u仅当源文件比目标文件新,或目标不存在时才复制(update)
-n不覆盖已存在的文件(no clobber)

命令行示例如下所示,以下命令将/workspace-old/codelab/姚测试7拷贝至/workspace/codelab/文件夹下,例如下图所示。

cp -r /workspace-old/codelab/姚测试7 /workspace/codelab/    

upload