AI 二月 16, 2025

可本地部署使用的大模型显存资源估算工具

文章字数 3.5k 阅读约需 3 mins.

🤗 Model Memory Calculator🤗 Accelerate 库提供的一个模型显存计算工具,可估算模型训练或推理时所需的显存大小。

但目前该在线工具无法正常使用,即使使用默认的模型...

查看全文

OTHERS 一月 12, 2025

用小米路由器自动折腾 PS4

文章字数 2.7k 阅读约需 2 mins.

用 PPPwn_cpp 在 Mac 上折腾 PS4 中,我们介绍了如何使用 PPPwn_cpp 在 Mac 上折腾 PS4。其实不只是 Mac,只要能运行 PPPwn_cpp 的设备,都可以用来折腾 PS4,比如小米路由器。

总共分三步:

  1. 使用 OpenWRTInvasion 获取小米路由器 Root Shell 权限
  2. 能够在小米路由器中运行 PPPwn_cpp
  3. 编写脚本,配置路由器开机自动执行

获取小米路由器 Root Shell 权限的方式可参考 小米 4A 千兆版路由器禁 ping...

查看全文

AI 十二月 22, 2024

用 vLLM 在多节点多卡上部署 Qwen2.5 以及进行推理

文章字数 14k 阅读约需 13 mins.

本文记录了在两台机器,每台机器一块 Tesla T4 显卡的环境下,使用 vLLM 部署 Qwen2.5-32B-Instruct-GPTQ-Int4 模型的过程及遇到的问题,供类似环境使用 vLLM 进行多节点多卡推理参考。

  1. Qwen2.5-32B-Instruct-GPTQ-Int4vLLM
  2. docker v27.4.0nvidia-container-toolkit v1.17.3
  3. Tesla T4 显卡驱动 v550.127.08 CUDA12.4
# qwen
$ git clone...
查看全文

OTHERS 十二月 15, 2024

用 PPPwn_cpp 在 Mac 上折腾 PS4

文章字数 9.6k 阅读约需 9 mins.

PS4 能不能用 PPPwn 方式折腾,主要取决于 GoldHENSiSTR0/PPPwn stage2 支持的固件版本。

目前最新的 GoldHEN v2.4b18 版本和 GoldHEN stage2 v1.03 支持的固件版本交集如下:

Supported Firmware

  • 9.00
  • 9.60
  • 10.00 / 10.01
  • 10.50
  • 10.70 / 10.71
  • 11.00

主要折腾两件事:

  1. 把 PS4 系统版本升级到上面支持的固件版本
  2. 通过 PPPwn 扫描到漏洞并加载 stage2...
查看全文

OTHERS 九月 28, 2024

比较两个相似 PDF 文件的内容差异

文章字数 3.5k 阅读约需 3 mins.

本文给出两个比较相似 PDF 文件内容差异的方法,
《Understanding DeepLearning (5 August 2024)》
《Understanding DeepLearning (28 August 2024)》
为例进行对比。

此方法引自 Python对比PDF文件并生成对比文件

先用 PyMuPDF 提取 PDF 文件中的文字内容,再通过 difflib 模块输出差异内容。

安装依赖:

pip install PyMuPDF

将以下代码保存至 compare_diff...

查看全文

AI 六月 02, 2024

Vanna 离线环境部署

文章字数 7k 阅读约需 6 mins.

Vanna 是一个 MIT 许可的开源 Python RAG(Retrieval-Augmented Generation)框架,可以用来以对话形式与 SQL 数据库交互。

Vanna 提供两种使用方式:

  1. 代码调用,如 vn.ask("What are the top 10 customers by sales?")
  2. 基于 Flash 的 Web 应用

工作原理

Vanna 的工作原理与通常的 RAG 原理类似,即:

  1. 先将数据库表的元数据信息、DDL 语句、SQL 查...
查看全文

PYTHON 五月 19, 2024

使用 modelscope 在离线环境部署模型服务关键点

文章字数 8k 阅读约需 7 mins.

在 ModelScope 的 本地启动服务 文档中,介绍了使用 modelscope server 发布模型服务的方法。
简单来说,就是执行如下命令:

modelscope server --model_id=qwen/Qwen-7B-Chat --revision=v1.0.5

但在离线环境中使用上述命令时,可能会遇到各种问题。本文以使用 modelscope 最近的(2024-04-27)发布版本 v1.14.0 为例,介绍在离线环境中部署模型服务的关键点。

共有如下五个关键点需要注意:

  1. 模...
查看全文

PYTHON 五月 12, 2024

识别旋转验证码图片角度

文章字数 6.2k 阅读约需 6 mins.

简单聊聊旋转验证码攻防 中介绍了一些旋转验证码的攻防思路,并提供了 rotate-captcha-crack 实现。

README 文档的 Prepare 部分提到需要支持 CUDA10+ 的设备(GPU),经实测,在 Windows CPU 环境下也可使用,且性能基本满足需求。

为在 Windows CPU 环境执行 test_captcha.py 脚本验证旋转角度预测效果,以及通过 server.py 发布 HTTP 服务,需对仓库中代码进行以下 调整

diff --git a/rotate_captcha_...
查看全文

PYTHON 三月 10, 2024

全国中小学信息技术创新与实践大赛(NOC)Python 在线练习

文章字数 1k 阅读约需 1 mins.

收集到的一些 NOC Python 真题和模拟题

在线练习地址:https://alphahinex.github.io/NOC

欢迎纠错和补充习题

题库文件 noc.js,题目格式:

{
    "question":"[多选]下面哪些代码可以往列表 ls 中添加元素?",
    "image":"noc/mock27.png",
    "choices":["A.ls.append()","...
查看全文

PYTHON 二月 25, 2024

小米 4A 千兆版路由器禁 ping

文章字数 11k 阅读约需 10 mins.

小米路由器的官方固件中并不支持设置禁 ping。

本文借助 OpenWRTInvasion 利用 Root Shell 漏洞实现小米4A千兆版路由器禁 ping。

OpenWRTInvasion 是一个可以获得小米路由器 Root Shell 权限的工具,支持多种路由型号和固件版本,也有一些写明 不支持的型号和固件版本

以小米4A千兆版路由器为例,分为国内版、国际版,还有 v1、v2 版本,可参照 这里 区分不同版本。

未写明支持或不支持的版本,也有能成功的可能,比如下面的过程是在 小米4A千...

查看全文
加载更多
0%