大模型术语扫盲

TIP

推荐大家可以尝试 GPT4，如果不知道怎么升级的话，可以参考教程 GPT Plus 升级 | GPT 航海 (gpthanghai.com) 进行升级，或者直接通过我的链接进行升级 wildcard 用过 GPT4 以后，才知道和 GPT3.5 的差距有多大

GPT4/3.5账号咨询： WX：runningdogg

现在使用大模型的同学背景各异，不是每个人都有 AI 算法或者 AI 应用的背景，希望这篇文档能帮助到同学们快速入门A，了解 AI 相关术语。

token

在语言模型中，Token是构成语言基础的最小单位，它们可以是单词、词根、单个字符，甚至是Unicode情况下的字节。以Claude模型为例，一个Token大约相当于3.5个英文字母。

不过，这个数字可能会根据所用语言的不同而有所变化。我们在平时与语言模型进行文本层面的交互时，通常看不到Token，但当我们深入探讨模型的具体输入和输出时，Token就显得尤为重要。

当提供文本进行分析时，这段文本就会被转换成一连串的Token，以便模型进行处理。使用更大的Token可以在模型的推理和预训练阶段提高数据处理效率，而更小的Token则能够帮助模型识别那些罕见或全新的词汇。选择何种Token化方法会直接影响到模型的表现、能识别的词汇量，以及其处理新颖词汇的能力。

可以参考OPENAI 的 token 可视化界面OpenAI Platform

LLM-大语言模型

大语言模型（LLM） 大语言模型（LLM）是一类拥有众多参数的AI语言智能体，它们能够完成许多出乎意料的实用任务。这些模型通过对海量文本数据的学习训练，不仅可以生成接近人类水平的文本，还能回答问题、总结信息等。

现有模型（GPT4，Cluade3）则是一个基于大型语言模型的对话助理，经过特别的强化学习和人工反馈（RLHF）调优与训练，旨在提供更加有益、诚实且无害的帮助。

Prompt-提示词

提示（Prompt）是用户提供给大模型以引发或“提示”一个相关输出的文本。

提示通常是以问题或指令的形式出现。例如：

角色	提示
用户	为什么天空是蓝色的？

回应的文本被称为“响应”，有时也被称作“输出”或“完成”。

角色	响应
助手	对我们来说，天空呈现蓝色是因为空气中的分子如何散射来自太阳的光。较短的波长光（蓝色）比较长的波长光（如红色和黄色）更容易散射，因此当我们仰望天空时，看到的是所有散射的蓝光。这被称为瑞利散射。天空的颜色会根据太阳的角度和空气中尘埃/水分的多少等条件而有所变化，但在晴朗的白天，蓝色波长的光主要负责我们所看到的颜色。

Fine-tuning-微调

微调是一个过程，通过这个过程，我们用新增的数据对已经预训练好的语言模型进行进一步的训练。这样做可以让模型更好地学习并模仿微调数据集中的特定模式和特征。一般训练好的模型并不是一个未经修改的原始语言模型；它已经通过微调，成为了一个实用的助手。

通过微调，可以使语言模型更好地适应特定的领域、任务或写作风格。然而，这一过程需要谨慎地选择微调所用的数据，并考虑其对模型性能和可能产生的偏差的影响。

检索增强生成（RAG）

检索增强生成（RAG）技术将信息检索与语言模型生成相结合，旨在提升生成文本的准确度和相关性，并确保模型的回应有充分的证据支持。

通过这种方式，语言模型得以利用外部知识库或文档集，这部分信息会被加入到模型的上下文窗口中。当有查询请求发送给模型时，系统会在运行时从这些外部资源中检索所需数据，尽管模型本身可能不直接执行检索动作（但它可以通过工具使用功能和一个检索函数来完成这一任务）。在生成文本的过程中，必须先根据输入的提示从知识库中找到相关信息，然后再将这些信息连同原始查询一起送给模型。模型依据这些额外信息来引导其输出结果。

这样一来，模型不仅能够访问并利用训练数据之外的信息，还能减少对记忆的依赖，从而提高文本生成的事实准确性。RAG特别适合于那些需要获取最新信息、特定领域知识或需要明确引用来源的任务。然而，RAG的效果好坏，依赖于外部知识库的质量和相关性，以及运行时能够检索到的知识。