「 BOOK 」 五月 21, 2023
《A Survey of Large Language Models》论文 v4 中文版摘抄
文章字数 17k 阅读约需 16 mins.
有趣的是,当参数规模超过一定水平时,这些规模扩大的语言模型的性能不仅得到了显著提升,而且还表现出一些小规模语言模型(如 BERT)所不具备的特殊能力(如上下文学习)。
语言建模是提高机器语言智能的主要方法之一
可以分为四个主要发展阶段
- 统计语言模型(SLM)
- 神经语言模型(NLM)
- 预训练语言模型(PLM)
- 大语言模型(LLM)
查看全文本综述从四个主要方面对 LLM 的最近进展进行文献综述,包括预训练(如何预训练出一个有能力的 LLM)、适应微调(如何从有效性和安全性两个角度有效地微...