「 AI 」 十二月 22, 2024
用 vLLM 在多节点多卡上部署 Qwen2.5 以及进行推理
文章字数 14k 阅读约需 13 mins.
本文记录了在两台机器,每台机器一块 Tesla T4 显卡的环境下,使用 vLLM 部署 Qwen2.5-32B-Instruct-GPTQ-Int4 模型的过程及遇到的问题,供类似环境使用 vLLM 进行多节点多卡推理参考。
- Qwen2.5-32B-Instruct-GPTQ-Int4、vLLM
- docker v27.4.0、nvidia-container-toolkit v1.17.3
- Tesla T4 显卡驱动 v550.127.08 CUDA12.4
# qwen
$ git clone...
查看全文
「 OTHERS 」 十二月 15, 2024
用 PPPwn_cpp 在 Mac 上折腾 PS4
文章字数 9.6k 阅读约需 9 mins.
PS4 能不能用 PPPwn 方式折腾,主要取决于 GoldHEN 和 SiSTR0/PPPwn stage2 支持的固件版本。
目前最新的 GoldHEN v2.4b18 版本和 GoldHEN stage2 v1.03 支持的固件版本交集如下:
Supported Firmware
- 9.00
- 9.60
- 10.00 / 10.01
- 10.50
- 10.70 / 10.71
- 11.00
主要折腾两件事:
- 把 PS4 系统版本升级到上面支持的固件版本
- 通过 PPPwn 扫描到漏洞并加载
stage2...
「 OTHERS 」 十二月 08, 2024
百度网盘每天不限速下载
文章字数 1.5k 阅读约需 1 mins.
每天挂机 70 分钟(可同时挂机,最快 31 分钟),换百度网盘 28Gb 下载数据(16 分钟 SVIP,按每秒下载 30Mb 数据估算)。
16 分钟 SVIP 由 5 张极速下载券组成:
- 30s 极速下载券(一天有效期) * 2 = 1min
- 5min 极速下载券(三天有效期) * 3 = 15min
手机下载百度网盘 APP,做任务可得两张一天有效期的 30s 极速下载券和一张三天有效期的 5min 极速下载券。
挂机前可将手机设置为永不锁屏,以免任务中断。
电脑安...
查看全文「 AI 」 十二月 01, 2024
用 Spring AI 调用 OpenAI 对话接口
文章字数 7.3k 阅读约需 7 mins.
$ java -version
openjdk version "17.0.2" 2022-01-18
OpenJDK Runtime Environment (build 17.0.2+8-86)
OpenJDK 64-Bit Server VM (build 17.0.2+8-86, mixed mode, sharing)
从 https://start.spring.io/ 下载一个包含 Spring Web...
查看全文「 AI 」 十一月 24, 2024
ARM 环境中部署 Dify
文章字数 26k 阅读约需 24 mins.
将下面内容保存为 arm-images.yaml
,执行 docker compose -f arm-images.yaml pull
拉取所需镜像:
services:
# The nginx reverse proxy.
# used for reverse proxying the API service and Web service.
nginx:
image: nginx:1.27.2
platform: arm64
# API service
api:
image: langgenius...
查看全文
「 JAVA 」 十一月 17, 2024
Maven 配置中的仓库和镜像
文章字数 6.4k 阅读约需 6 mins.
Maven 中,仓库(Repository)是指存放 pom
和 jar
等文件的地方,分为本地仓库和远程仓库。
本地仓库(Local Repository)
本地仓库是 Maven 在本地文件系统中的一个目录,用于存储 Maven 项目的构建输出、依赖库、插件等。默认情况下,本地仓库位于用户目录下的 .m2
目录。可以在 settings.xml 配置文件中通过 <localRepository>
元素修改本地仓库的默认路径。
远程仓库(Remote Repository)
不在本地的...
查看全文「 SPRING 」 十一月 10, 2024
【译】Spring Boot 配置绑定
文章字数 13k 阅读约需 12 mins.