网站首页 全球最实用的IT互联网站!

人工智能P2P分享Wind搜索发布信息网站地图标签大全

当前位置:诺佳网 > AI人工智能 > 大模型 >

Huggingface 一键迁移 Modelscope 工具

时间:2025-07-10 11:36

人气:

作者:admin

标签:

导读:用法 使用 hf-ms-transfer 迁移 Huggingface 模型、数据集到 modelscope 平台: 安装 pip install hf-ms-transfer # install 迁移 hf-ms-transfer quot;hf-user/hf-packagequot; --...

用法

使用 hf-ms-transfer 迁移 Huggingface 模型、数据集到 modelscope 平台:

安装

pip install hf-ms-transfer # install 

迁移

hf-ms-transfer "hf-user/hf-package" --ms-token "modelscope_token" --ms-name "modelscope_user_name" # transfer 

# example: hf-ms-transfer "stanfordnlp/imdb" --ms-token "02342424-0g23-254c-9f9a-f23fasdfafaf" --ms-name "Qwen"

可以从 ModelScope个人中心 获取 用户名(左上角)和 个人token(SDK/API 令牌)

主要功能

hf-ms-transfer 支持:

  • 同时支持模型和数据集
  • 支持在单个命令中迁移多个模型和数据集
  • 解决数据集迁移后 load_dataset 失败问题
  • 可自定义在 ModelScope 上的仓库名称

Bonus

默认情况把数据集下从 huggingface 迁移到 modelscope 之后,load_dataset 函数会遇到以下错误

TypeError: Value.__init__() missing 1 required positional argument: 'dtype'

是多余的 dataset_infos.json 文件导致,把数据集中该文件删除即可。

使用 hf-ms-transfer 迁移会默认解决该问题,如果需要保留该文件也可以通过传入参数来实现。

温馨提示:以上内容整理于网络,仅供参考,如果对您有帮助,留下您的阅读感言吧!
相关阅读
本类排行
相关标签
本类推荐

CPU | 内存 | 硬盘 | 显卡 | 显示器 | 主板 | 电源 | 键鼠 | 网站地图

Copyright © 2025-2035 诺佳网 版权所有 备案号:赣ICP备2025066733号
本站资料均来源互联网收集整理,作品版权归作者所有,如果侵犯了您的版权,请跟我们联系。

关注微信