AI 五月 04, 2025

昇腾推理引擎性能测试套件 MindIE Benchmark

文章字数 17k 阅读约需 16 mins.

MindIE Benchmark 是 昇腾推理引擎(MindIE,Mind Inference Engine)中推理服务组件 MindIE Service 组件包含的性能测试套件,提供测试大语言模型在...

查看全文

AI 二月 16, 2025

可本地部署使用的大模型显存资源估算工具

文章字数 3.5k 阅读约需 3 mins.

🤗 Model Memory Calculator🤗 Accelerate 库提供的一个模型显存计算工具,可估算模型训练或推理时所需的显存大小。

但目前该在线工具无法正常使用,即使使用默认的模型名称,也会报在 Hub 中无法找到该模型:

在该 space 的 discussions 中也有不少人遇到了此问题。

本文提供一种本地化部署运行此工具的方法,还可通过指定 HF_ENDPOINT 避免无法访问 Hugging Face 的问题。

直接部署 https://huggingface.co...

查看全文

OTHERS 一月 12, 2025

用小米路由器自动折腾 PS4

文章字数 2.7k 阅读约需 2 mins.

用 PPPwn_cpp 在 Mac 上折腾 PS4 中,我们介绍了如何使用 PPPwn_cpp 在 Mac 上折腾 PS4。其实不只是 Mac,只要能运行 PPPwn_cpp 的设备,都可以用来折腾 PS4,比如小米路由器。

总共分三步:

  1. 使用 OpenWRTInvasion 获取小米路由器 Root Shell 权限
  2. 能够在小米路由器中运行 PPPwn_cpp
  3. 编写脚本,配置路由器开机自动执行

获取小米路由器 Root Shell 权限的方式可参考 小米 4A 千兆版路由器禁 ping...

查看全文

AI 十二月 22, 2024

用 vLLM 在多节点多卡上部署 Qwen2.5 以及进行推理

文章字数 14k 阅读约需 13 mins.

本文记录了在两台机器,每台机器一块 Tesla T4 显卡的环境下,使用 vLLM 部署 Qwen2.5-32B-Instruct-GPTQ-Int4 模型的过程及遇到的问题,供类似环境使用 vLLM 进行多节点多卡推理参考。

  1. Qwen2.5-32B-Instruct-GPTQ-Int4vLLM
  2. docker v27.4.0nvidia-container-toolkit v1.17.3
  3. Tesla T4 显卡驱动 v550.127.08 CUDA12.4
# qwen
$ git clone...
查看全文

OTHERS 十二月 15, 2024

用 PPPwn_cpp 在 Mac 上折腾 PS4

文章字数 9.6k 阅读约需 9 mins.

PS4 能不能用 PPPwn 方式折腾,主要取决于 GoldHENSiSTR0/PPPwn stage2 支持的固件版本。

目前最新的 GoldHEN v2.4b18 版本和 GoldHEN stage2 v1.03 支持的固件版本交集如下:

Supported Firmware

  • 9.00
  • 9.60
  • 10.00 / 10.01
  • 10.50
  • 10.70 / 10.71
  • 11.00

主要折腾两件事:

  1. 把 PS4 系统版本升级到上面支持的固件版本
  2. 通过 PPPwn 扫描到漏洞并加载 stage2...
查看全文

OTHERS 九月 28, 2024

比较两个相似 PDF 文件的内容差异

文章字数 3.5k 阅读约需 3 mins.

本文给出两个比较相似 PDF 文件内容差异的方法,
《Understanding DeepLearning (5 August 2024)》
《Understanding DeepLearning (28 August 2024)》
为例进行对比。

此方法引自 Python对比PDF文件并生成对比文件

先用 PyMuPDF 提取 PDF 文件中的文字内容,再通过 difflib 模块输出差异内容。

安装依赖:

pip install PyMuPDF

将以下代码保存至 compare_diff...

查看全文

AI 六月 02, 2024

Vanna 离线环境部署

文章字数 7k 阅读约需 6 mins.

Vanna 是一个 MIT 许可的开源 Python RAG(Retrieval-Augmented Generation)框架,可以用来以对话形式与 SQL 数据库交互。

Vanna 提供两种使用方式:

  1. 代码调用,如 vn.ask("What are the top 10 customers by sales?")
  2. 基于 Flash 的 Web 应用

工作原理

Vanna 的工作原理与通常的 RAG 原理类似,即:

  1. 先将数据库表的元数据信息、DDL 语句、SQL 查...
查看全文

PYTHON 五月 19, 2024

使用 modelscope 在离线环境部署模型服务关键点

文章字数 8k 阅读约需 7 mins.

在 ModelScope 的 本地启动服务 文档中,介绍了使用 modelscope server 发布模型服务的方法。
简单来说,就是执行如下命令:

modelscope server --model_id=qwen/Qwen-7B-Chat --revision=v1.0.5

但在离线环境中使用上述命令时,可能会遇到各种问题。本文以使用 modelscope 最近的(2024-04-27)发布版本 v1.14.0 为例,介绍在离线环境中部署模型服务的关键点。

共有如下五个关键点需要注意:

  1. 模...
查看全文

PYTHON 五月 12, 2024

识别旋转验证码图片角度

文章字数 6.2k 阅读约需 6 mins.

简单聊聊旋转验证码攻防 中介绍了一些旋转验证码的攻防思路,并提供了 rotate-captcha-crack 实现。

README 文档的 Prepare 部分提到需要支持 CUDA10+ 的设备(GPU),经实测,在 Windows CPU 环境下也可使用,且性能基本满足需求。

为在 Windows CPU 环境执行 test_captcha.py 脚本验证旋转角度预测效果,以及通过 server.py 发布 HTTP 服务,需对仓库中代码进行以下 调整

diff --git a/rotate_captcha_...
查看全文

PYTHON 三月 10, 2024

全国中小学信息技术创新与实践大赛(NOC)Python 在线练习

文章字数 1k 阅读约需 1 mins.

收集到的一些 NOC Python 真题和模拟题

在线练习地址:https://alphahinex.github.io/NOC

欢迎纠错和补充习题

题库文件 noc.js,题目格式:

{
    "question":"[多选]下面哪些代码可以往列表 ls 中添加元素?",
    "image":"noc/mock27.png",
    "choices":["A.ls.append()","...
查看全文
加载更多
0%