LLM Evaluator 是一个跨平台的命令行工具，旨在帮助用户评估基于兼容 OpenAI API 对话补全接口的大语言模型（或智能体、RAG 流程）对于有标准答案的问题的回答能力。

基本工作流程为：

1. llm-evaluator 通过配置文件读取待评估的问题及标准答案，评估标准可选，默认为本质含义一致，可设置为 = 表示必须与标准答案完全一致；
2. 调用候选模型对话补全接口，获得候选模型对待评估问题的回答；
3. 使用评估提示词组装问题、标准答案和候选模型回答的内容，交由评估模型对回答进行评估；
4. 评...

有哪些可以短期免费调用 DeepSeek-V3-0324 等模型 API 的方法？

https://huggingface.co/deepseek-ai/DeepSeek-V3-0324?inference_api=true&inference_provider=sambanova&language=sh

https://huggingface.co/settings/tokens

curl https://router.huggingface.co/sambanova/v1/chat...

🤗 Model Memory Calculator 是 🤗 Accelerate 库提供的一个模型显存计算工具，可估算模型训练或推理时所需的显存大小。

但目前该在线工具无法正常使用，即使使用默认的模型名称，也会报在 Hub 中无法找到该模型：

在该 space 的 discussions 中也有不少人遇到了此问题。

本文提供一种本地化部署运行此工具的方法，还可通过指定 HF_ENDPOINT 避免无法访问 Hugging Face 的问题。

直接部署 https://huggingface.co...

• 目标：在纯内网环境完成基于 ModelScope-Agent 的可定制化的 Agent 的构建和发布
• 前提：需在有外网环境提前下载好所需内容

在可以访问外网的环境中，准备一个工作目录（如：/data/work），在这个目录下进行后续操作。

1. 拉取镜像

拉取 ModelScope-Agent 镜像，镜像中已经安装好所需依赖。

docker pull registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope-agent:v0.3....