AI 九月 15, 2024

使用 Arthur Bench 评估本地领域模型

文章字数 11k 阅读约需 10 mins. 阅读次数

Arthur Bench 简介

Arthur Bench 是一个评估大模型的开源工具。

使用 Arthur Bench 评估 LLM,需编写少量代码,即测试套件(TestSuite),在套件中选择内置评分方法(也可自定义评分方法),对 LLM 的相应内容进行评估打分。

内置的评分方法 分为四类:

  1. 基于提示词评分,如问答正确性(qa_correctness)、摘要质量(summary_quality)、是否存在幻觉(hallucination);
  2. 基于 Embedding 评分,如(bertscore)、(hedging_language);
  3. 基于词汇评分,如(exact_match)、(readability)、(specificity)、(word_count_match);
  4. 代码生成能力评分,如使用 Python 单元测试(python_unit_testing)验证生成代码正确性。

各类评分方法需要的入参包括以下五类:

  1. Input:输入的问题
  2. Reference Output:参考(标准)答案
  3. Candidate Output:LLM 输出的答案
  4. Context:上下文
  5. Unit Tests:单元测试

各类评分方法需要的入参详见官方文档中的 Scoring

使用 Arthur Bench 评估本地领域模型

本文采用 LLM 自我评估的方式,使用本地 LLM 同时作为领域模型和评估模型,基于 qa_correctness 评分方法打分,整体流程如下:

  1. 将准备好的领域知识问题通过 LangChain 输入给本地领域大模型,获得大模型的回复;
  2. 将领域大模型回复的内容,与准备好的标准答案,以提示词形式输入给本地评估大模型,将领域大模型的回答内容分类为正确错误不确定三类;
  3. 通过评分方法,为领域大模型的回复情况打分。

overview

绘图工具:https://excalidraw.com/

实现方案

docker 环境准备

在 docker 环境中完成上述过程。

先拉取 python 镜像:

docker pull python:3.10.14

python 3.9 中安装 bench 好像报错,需要 python 3.10

启动并进入容器:

docker run -it --name bench -p 8088:8000 python:3.10.14 bash

容器中安装 Arthur Bench:

pip install 'arthur-bench[server]'

内网环境可使用内部源安装,如:pip install 'arthur-bench[server]' -i http://192.168.131.211:8083/pypi/web/simple/ --trusted-host 192.168.131.211

修改源码

以当前最新发布版 0.3.1 为例,需要修改一些源码,以适应本地离线环境容器内使用。

避免 Tiktoken 对外网的访问

0.3.1 版本在执行测试套件时,即使使用的评分方法(Scoring method)不是 summary_quality,也会执行其中的方法,造成对 tiktoken 相关 host 的访问,离线环境会报如下错误:

requests.exceptions.ConnectionError: HTTPSConnectionPool(host='openaipublic.blob.core.windows.net', port=443): Max retries exceeded with url: /encodings/cl100k_base.tiktoken (Caused by NameResolutionError("<urllib3.connection.HTTPSConnection object at 0x7f23efb00820>: Failedto resolve 'openaipublic.blob.core.windows.net' ([Errno -3] Temporary failure in name resolution)"))

可对 /usr/local/lib/python3.10/site-packages/arthur_bench/scoring/summary_quality.py 做如下修改,暂时跳过:

diff --git a/arthur_bench/scoring/summary_quality.py b/arthur_bench/scoring/summary_quality.py
index 71e0ff4..1793e72 100644
--- a/arthur_bench/scoring/summary_quality.py
+++ b/arthur_bench/scoring/summary_quality.py
@@ -21,7 +21,8 @@ CONTEXT_WINDOW_MAP = {
     "gpt-4-32k": 32768,
 }
 EVALUATOR_MODEL = "gpt-3.5-turbo"
-TIKTOKEN_ENCODER = tiktoken.get_encoding("cl100k_base")
+# TIKTOKEN_ENCODER = tiktoken.get_encoding("cl100k_base")
+TIKTOKEN_ENCODER = None
 TIKTOKEN_ERROR_PADDING = 150
 LLM_CHOICE_TO_FLOAT = {"0": 0.0, "1": 1.0, "tie": 0.5}
 LLM_CHOICE_TO_CATEGORIES = {

或直接使用 sed 命令修改:

sed -i \
's/.*TIKTOKEN_ENCODER = tiktoken.get_encoding("cl100k_base")/TIKTOKEN_ENCODER = None/g' \
/usr/local/lib/python3.10/site-packages/arthur_bench/scoring/summary_quality.py

使测试套件可使用本地评估模型重复执行

本文示例中,评分方法使用的是 qa_correctness,并且将评估模型也替换成了本地的 LLM。为使测试套件可多次执行,需修改 /usr/local/lib/python3.10/site-packages/arthur_bench/scoring/qa_quality.py 中的 QAQualityCorrectness 初始化方法:

diff --git a/arthur_bench/scoring/qa_quality.py b/arthur_bench/scoring/qa_quality.py
index e8389f8..e669f2e 100644
--- a/arthur_bench/scoring/qa_quality.py
+++ b/arthur_bench/scoring/qa_quality.py
@@ -29,6 +29,8 @@ class QAQualityCorrectness(Scorer):
                 "Custom LLM is allowed, but unexpected results may occur if it is not a"
                 " chat model"
             )
+            if isinstance(llm, dict):
+                llm = ChatOpenAI(**llm)
         self.evaluator = LLMChain(llm=llm, prompt=DECIDE)

     @staticmethod

或直接使用 sed 命令修改:

sed -i \
'/self.evaluator = LLMChain(llm=llm, prompt=DECIDE)/i \
            if isinstance(llm, dict):\
                llm = ChatOpenAI(**llm)' \
/usr/local/lib/python3.10/site-packages/arthur_bench/scoring/qa_quality.py

使 HTTP 服务可从外部访问

修改 /usr/local/lib/python3.10/site-packages/arthur_bench/server/run_server.py 中的 host 为 0.0.0.0

diff --git a/arthur_bench/server/run_server.py b/arthur_bench/server/run_server.py
index 9346ef4..3a67ebf 100644
--- a/arthur_bench/server/run_server.py
+++ b/arthur_bench/server/run_server.py
@@ -231,7 +231,7 @@ def run():

     uvicorn.run(
         "arthur_bench.server.run_server:app",
-        host="127.0.0.1",
+        host="0.0.0.0",
         port=8000,
         log_level="info",
     )

或直接使用 sed 命令修改:

sed -i 's/host="127.0.0.1",/host="0.0.0.0",/g' /usr/local/lib/python3.10/site-packages/arthur_bench/server/run_server.py

数据准备

高效办成一件事,全国医保经办系统练兵比武大赛 中的部分题目为例,作为 QA 数据考察本地领域模型能力,将题目和参考答案整理成 csv 格式:

$ cat > qa_test_data.csv <<EOF
input,reference_output
医保亲情账户是指什么?有什么功能?,医保亲情账户是指国家医保局为了方便老人、小孩等申领医保电子凭证,在国家医保服务APP上推出的一项便民功能。亲情账户可以帮助家庭成员出示医保电子凭证用于挂号、买药、结算。
个账家庭共济是指什么?,个账家庭共济是指职工医保个人账户余额共济给家庭成员使用,支付个人负担的医药费用,或代缴家庭成员的城乡居民医保费。
"""两病""患者门诊用药保障机制中的""两病""指的是哪两个病种?","""两病""是指高血压、糖尿病。"
"请简述""两病""患者门诊用药保障机制明确的用药范围。",按最新版国家基本医疗保险药品目录所列品种,优先选用目录甲类药品,优先选用国家基本药物,优先选用通过一致性评价的品种,优先选用集中招标采购中选药品。
【多选】根据《医疗保障基金使用监督管理条例》(国务院令 第735号),参保人员不得利用其享受医疗保障待遇的机会()A.转卖药品 B.接受返还现金 C.接受实物 D.获得其他非法利益,答案:ABCD
EOF

编写测试套件代码并执行

参考官方文档中,对接本地大模型的 Compare LLM Providers 和使用 csv 数据文件的 Creating test suites,编写测试套件代码如下:

$ cat > qa_test_suite.py <<EOF
import time

import pandas as pd
from arthur_bench.scoring import QAQualityCorrectness
from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate
from arthur_bench.run.testsuite import TestSuite
from langchain.chat_models import ChatOpenAI

llm = ChatOpenAI(
    temperature=0.5,
    openai_api_base='http://192.168.174.64:19131/v1',
    openai_api_key='api_key',
    model_name='qwen1.5-72b-chat'
)

data = pd.read_csv('qa_test_data.csv')
# 问题列
input_data = data['input']
# 参考答案列
reference_data = data['reference_output']
# 使用 apply 函数组合 'input' 列和 'reference_output' 列的数据作为 context 数据,即提供问题和答案,供 LLM 对生成的问题答案进行评价
context_data = [i for i in data.apply(lambda row: row['input']+row['reference_output'], axis=1)]

# 定义提示模板
prompt_template = PromptTemplate(
    input_variables=["text"],
    template="""{text}"""
)

# 创建链
chain = LLMChain(
    llm=llm,
    prompt=prompt_template
)

# 调用链
responses = [chain.run(i) for i in input_data]

my_suite = TestSuite(
    "chs_qa_test_suite",
    scoring_method=QAQualityCorrectness(llm),
    input_text_list=input_data,
)
my_suite.run(
    f"#{time.time()}",
    context_list=context_data,
    candidate_output_list=responses
)
EOF

执行测试套件:

$ python qa_test_suite.py
Custom LLM is allowed, but unexpected results may occur if it is not a chat model
25it [00:06,  3.75it/s]

如需多次执行测试套件,需在首次执行之后,修改 ./bench_runs/<test_suite_name> 下的 suite.json,将其中 scoring_method

"config": {}

修改为需要用来执行评估的本地模型,如:

"config": {"llm": {"temperature": 0.0, "openai_api_base": "http://192.168.174.64:19131/v1", "openai_api_key": "your_openai_api_key", "model_name": "qwen1.5-72b-chat"}}

或直接使用 sed 命令修改:

sed -i \
's/"config": {}/"config": {"llm": {"temperature": 0.5, "openai_api_base": "http:\/\/192.168.174.64:19131\/v1", "openai_api_key": "your_openai_api_key", "model_name": "qwen1.5-72b-chat"}}/g' \
./bench_runs/chs_qa_test_suite/suite.json

查看测试结果

启动容器时,将容器内的 8000 端口映射到了宿主机的 8088 端口,所以可以直接在宿主机访问 http://localhost:8088 进入 bench web UI 查看测试结果。

summary

compare

0%