「 AI 」 五月 04, 2025
昇腾推理引擎性能测试套件 MindIE Benchmark
文章字数 17k 阅读约需 16 mins.
MindIE Benchmark 是 昇腾推理引擎(MindIE,Mind Inference Engine)中推理服务组件 MindIE Service 组件包含的性能测试套件,提供测试大语言模型在不同配置参数下推理性能和精度的能力。
详细信息可参见官方文档 MindIE Benchmark 1.0.0 功能介绍。
MindIE Benchmark 支持 Client 和 Engine 两种不同的推理模式:
- Client 模式调用 MindIE Client 的 .generate() 和 ...
「 AI 」 二月 16, 2025
可本地部署使用的大模型显存资源估算工具
文章字数 3.5k 阅读约需 3 mins.
🤗 Model Memory Calculator 是 🤗 Accelerate 库提供的一个模型显存计算工具,可估算模型训练或推理时所需的显存大小。
但目前该在线工具无法正常使用,即使使用默认的模型名称,也会报在 Hub 中无法找到该模型:
在该 space 的 discussions 中也有不少人遇到了此问题。
本文提供一种本地化部署运行此工具的方法,还可通过指定 HF_ENDPOINT 避免无法访问 Hugging Face 的问题。
直接部署 https://huggingface.co...
查看全文「 OTHERS 」 一月 12, 2025
用小米路由器自动折腾 PS4
文章字数 2.7k 阅读约需 2 mins.
在 用 PPPwn_cpp 在 Mac 上折腾 PS4 中,我们介绍了如何使用 PPPwn_cpp 在 Mac 上折腾 PS4。其实不只是 Mac,只要能运行 PPPwn_cpp 的设备,都可以用来折腾 PS4,比如小米路由器。
总共分三步:
- 使用 OpenWRTInvasion 获取小米路由器 Root Shell 权限
- 能够在小米路由器中运行 PPPwn_cpp
- 编写脚本,配置路由器开机自动执行
获取小米路由器 Root Shell 权限的方式可参考 小米 4A 千兆版路由器禁 ping...
查看全文「 AI 」 十二月 22, 2024
用 vLLM 在多节点多卡上部署 Qwen2.5 以及进行推理
文章字数 14k 阅读约需 13 mins.
本文记录了在两台机器,每台机器一块 Tesla T4 显卡的环境下,使用 vLLM 部署 Qwen2.5-32B-Instruct-GPTQ-Int4 模型的过程及遇到的问题,供类似环境使用 vLLM 进行多节点多卡推理参考。
- Qwen2.5-32B-Instruct-GPTQ-Int4、vLLM
- docker v27.4.0、nvidia-container-toolkit v1.17.3
- Tesla T4 显卡驱动 v550.127.08 CUDA12.4
# qwen
$ git clone...
查看全文
「 OTHERS 」 十二月 15, 2024
用 PPPwn_cpp 在 Mac 上折腾 PS4
文章字数 9.6k 阅读约需 9 mins.
PS4 能不能用 PPPwn 方式折腾,主要取决于 GoldHEN 和 SiSTR0/PPPwn stage2 支持的固件版本。
目前最新的 GoldHEN v2.4b18 版本和 GoldHEN stage2 v1.03 支持的固件版本交集如下:
Supported Firmware
- 9.00
- 9.60
- 10.00 / 10.01
- 10.50
- 10.70 / 10.71
- 11.00
主要折腾两件事:
- 把 PS4 系统版本升级到上面支持的固件版本
- 通过 PPPwn 扫描到漏洞并加载
stage2...
「 OTHERS 」 九月 28, 2024
比较两个相似 PDF 文件的内容差异
文章字数 3.5k 阅读约需 3 mins.
本文给出两个比较相似 PDF 文件内容差异的方法,
以 《Understanding DeepLearning (5 August 2024)》
和 《Understanding DeepLearning (28 August 2024)》
为例进行对比。
此方法引自 Python对比PDF文件并生成对比文件。
先用 PyMuPDF 提取 PDF 文件中的文字内容,再通过 difflib 模块输出差异内容。
安装依赖:
pip install PyMuPDF
将以下代码保存至 compare_diff...