AI 二月 16, 2025

可本地部署使用的大模型显存资源估算工具

文章字数 3.5k 阅读约需 3 mins.

🤗 Model Memory Calculator🤗 Accelerate 库提供的一个模型显存计算工具,可估算模型训练或推理时所需的显存大小。

但目前该在线工具无法正常使用,即使使用默认的模型...

查看全文

AI 十月 14, 2023

一种从 🤗HuggingFace 下载模型的方法

文章字数 8.2k 阅读约需 7 mins.

无法直接从 HuggingFace 下载模型时,可借助此仓库,使用 GitHub Actions 构建一个 Docker 镜像,在镜像中用 huggingface_hub 下载好所需模型,再将镜像推送至 Docker Hub,最后以下载镜像方式曲线下载模型。

当前可用模型可见仓库 tags,仓库 tag 对应镜像 tag,如:

下载 codet5-small tag 对应的镜像命令为:

docker pull alphahinex/hf-models:codet5-small

镜像中包含的模型...

查看全文
0%