🤗 Model Memory Calculator 是 🤗 Accelerate 库提供的一个模型显存计算工具，可估算模型训练或推理时所需的显存大小。

但目前该在线工具无法正常使用，即使使用默认的模型名称，也会报在 Hub 中无法找到该模型：

在该 space 的 discussions 中也有不少人遇到了此问题。

本文提供一种本地化部署运行此工具的方法，还可通过指定 HF_ENDPOINT 避免无法访问 Hugging Face 的问题。

直接部署 https://huggingface.co...

本文记录了在两台机器，每台机器一块 Tesla T4 显卡的环境下，使用 vLLM 部署 Qwen2.5-32B-Instruct-GPTQ-Int4 模型的过程及遇到的问题，供类似环境使用 vLLM 进行多节点多卡推理参考。

1. Qwen2.5-32B-Instruct-GPTQ-Int4、vLLM
2. docker v27.4.0、nvidia-container-toolkit v1.17.3
3. Tesla T4 显卡驱动 v550.127.08 CUDA12.4

# qwen
$ git clone...

使用 Spring AI 需要 JDK 17 及以上版本。

$ java -version
openjdk version "17.0.2" 2022-01-18
OpenJDK Runtime Environment (build 17.0.2+8-86)
OpenJDK 64-Bit Server VM (build 17.0.2+8-86, mixed mode, sharing)

从 https://start.spring.io/ 下载一个包含 Spring Web...

将下面内容保存为 arm-images.yaml，执行 docker compose -f arm-images.yaml pull 拉取所需镜像：

services:
  # The nginx reverse proxy.
  # used for reverse proxying the API service and Web service.
  nginx:
    image: nginx:1.27.2
    platform: arm64

  # API service
  api:
    image: langgenius...

Arthur Bench 是一个评估大模型的开源工具。

使用 Arthur Bench 评估 LLM，需编写少量代码，即测试套件（TestSuite），在套件中选择内置评分方法（也可自定义评分方法），对 LLM 的相应内容进行评估打分。

内置的评分方法 分为四类：

1. 基于提示词评分，如问答正确性（qa_correctness）、摘要质量（summary_quality）、是否存在幻觉（hallucination）；
2. 基于 Embedding 评分，如（bertscore）、（hedging_language...

智能体，英文名称为 Agent，原意为代理人，当前语境下特指基于大语言模型的人工智能代理（LLM-powered agents、LLM based agents）。

关于智能体，目前还没有一个被广泛接受的定义。

“An autonomous agent is a system situated within and a part of an environment that senses that environment and acts on it, over time, in pursuit...

• 英文原文：Similarity Metrics for Vector Search
• 原文作者：Yujian Tang

你不能比较苹果和橙子。或者你可以吗？像 Milvus 这样的向量数据库允许你比较任何你可以向量化的数据。你甚至可以在你的 Jupyter Notebook 中做到这一点。但是 向量相似性搜索 是如何工作的呢？

向量搜索有两个关键的概念组成部分：索引和距离度量。一些流行的向量索引包括 HNSW、IVF 和 ScaNN。主要的三种距离度量是：L2 或欧几里得距离、余弦相似度和...

Vanna 是一个 MIT 许可的开源 Python RAG（Retrieval-Augmented Generation）框架，可以用来以对话形式与 SQL 数据库交互。

Vanna 提供两种使用方式：

1. 代码调用，如 vn.ask("What are the top 10 customers by sales?")
2. 基于 Flash 的 Web 应用

工作原理

Vanna 的工作原理与通常的 RAG 原理类似，即：

1. 先将数据库表的元数据信息、DDL 语句、SQL 查...

• 目标：在纯内网环境完成基于 ModelScope-Agent 的可定制化的 Agent 的构建和发布
• 前提：需在有外网环境提前下载好所需内容

在可以访问外网的环境中，准备一个工作目录（如：/data/work），在这个目录下进行后续操作。

1. 拉取镜像

拉取 ModelScope-Agent 镜像，镜像中已经安装好所需依赖。

docker pull registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope-agent:v0.3....