DB-GPT 是一个使用本地大模型（或在线 API）与数据交互的开源项目，Demo 中使用 ChatGPT 3.5 的接口，效果很吸引人。

让我们以 通义千问 为例，试试使用国产大模型在 DB-GPT 中能否达到类似的效果。

要通过 API 使用通义千问模型，需要在阿里云灵积模型服务中 开通DashScope并创建API-KEY，获得 sk-xxxxx 格式的 API-KEY。

开通后会获得通义千问 qwen-turbo 和 qwen-plus 两个模型 的调用权限和有效期为 180 天的 200w...

无法直接从 HuggingFace 下载模型时，可借助此仓库，使用 GitHub Actions 构建一个 Docker 镜像，在镜像中用 huggingface_hub 下载好所需模型，再将镜像推送至 Docker Hub，最后以下载镜像方式曲线下载模型。

当前可用模型可见仓库 tags，仓库 tag 对应镜像 tag，如：

下载 codet5-small tag 对应的镜像命令为：

docker pull alphahinex/hf-models:codet5-small

镜像中包含的模型...

• 原文地址：https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/
• 作者：Jay Alammar

注意： 下面的动画是视频。轻触或（使用鼠标）悬停在它们上，可获得播放控件，以便在需要时暂停。

序列到序列（Sequence-to-sequence）模型是一种深度学习模型，在诸如机器翻译、文本摘要和图像标题生成等任务中取得了许多成功。...

在 用 PaddleNLP 结合 CodeGen 实现离线 GitHub Copilot 和 GitHub Copilot 开源替代品 —— FauxPilot 中，我们分别使用 PaddleNLP 和 FauxPilot 将 CodeGen 模型代理为可通过 HTTP 请求访问的接口，并通过 VS Code 插件在 IDE 中获得与 GitHub Copilot 类似的 AI 辅助编码能力。

但不论是这种方式也好，或者是 GitHub Copilot，能够辅助编写的都是通用代码，无法辅助编写内...

用 PaddleNLP 结合 CodeGen 实现离线 GitHub Copilot 介绍了使用 PaddleNLP + CodeGen 实现类似 GitHub Copilot 服务端的方式，客户端在 VSCode 中使用了 FauxPilot 插件。

FauxPilot 插件原本是对接 FauxPilot Server 的，通过 FauxPilot Server 也可以实现 GitHub Copilot 服务的功能，并支持多显卡加载 CodeGen 模型，可解决单卡显存不足又想加载大模型的问题...

代码生成：写代码的AI助理 中给出了用 PaddleNLP 结合 CodeGen 实现代码 AI 助理的例子。

文档内容比较简略，实操下来可能会遇到不少问题。本文以离线环境部署为前提，给出一个实际案例。

先上最终效果：

为避免各种组件版本的兼容性问题，本文使用 Docker 方式部署，并需装好显卡驱动等。可按下述方式检查所需组件状态。

$ nvidia-smi
+------------------------------------------------------------------...

使用 PaddleNLP 加载社区模型时，因为社区模型需联网下载，可先从在线环境进行模型下载，再将下载好的模型传输到离线环境中。此时在离线环境下可能会遇到 https://github.com/PaddlePaddle/PaddleNLP/pull/5817 中描述的问题，可参照该 PR files 中内容修改，以支持离线环境的正常使用。

PaddleNLP是一款简单易用且功能强大的自然语言处理开发库。聚合业界优质预训练模型并提供开箱即用的开发体验，覆盖NLP多场景的模型库搭配产业实践范例可满...