AI 二月 16, 2025

可本地部署使用的大模型显存资源估算工具

文章字数 3.5k 阅读约需 3 mins.

🤗 Model Memory Calculator🤗 Accelerate 库提供的一个模型显存计算工具,可估算模型训练或推理时所需的显存大小。

但目前该在线工具无法正常使用,即使使用默认的模型...

查看全文

AI 六月 02, 2024

Vanna 离线环境部署

文章字数 7k 阅读约需 6 mins.

Vanna 是一个 MIT 许可的开源 Python RAG(Retrieval-Augmented Generation)框架,可以用来以对话形式与 SQL 数据库交互。

Vanna 提供两种使用方式:

  1. 代码调用,如 vn.ask("What are the top 10 customers by sales?")
  2. 基于 Flash 的 Web 应用

工作原理

Vanna 的工作原理与通常的 RAG 原理类似,即:

  1. 先将数据库表的元数据信息、DDL 语句、SQL 查...
查看全文

AI 四月 14, 2024

无外网环境部署 AgentFabric 及使用 AgentFabric 构建的 Agent

文章字数 8.8k 阅读约需 8 mins.

  • 目标:在纯内网环境完成基于 ModelScope-Agent 的可定制化的 Agent 的构建和发布
  • 前提:需在有外网环境提前下载好所需内容

在可以访问外网的环境中,准备一个工作目录(如:/data/work),在这个目录下进行后续操作。

1. 拉取镜像

拉取 ModelScope-Agent 镜像,镜像中已经安装好所需依赖。

docker pull registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope-agent:v0.3....
查看全文
0%