LoRA微调简介

大模型微调简介 微调， 指在一个已经预训练好的大模型基础上，使用一个特定任务或领域的较小规模数据集，对该模型进行进一步的训练，让通用的“通才”模型，快速、高效地转变成一个特定任务的“专才”模型，而不需要从头开始训练。 比如原始的GPT模型，其实只是一个预测下一个token概率的模型，要让其成为聊天机器人，还要用数据对齐进行微调。 微调的基本概念如下。 下面是deepseek生成的伪代码，其核心过程如下： 初始化，加载已经经过预训练的大模型，比如各个大公司的模型 准备数据集，准备用来微调的数据，比如对于聊天的大模型，就是各个聊天数据 配置参数，比如更新参数的方式以及损失函数的计算 训练，这里的训练把数据集中的样本作为输入，走一遍模型的推理，然后把模型的结果与样本的标签计算损失函数，做返现传播从而更新模型的参数 最终把模型参数保存起来，完成了一次微调 # ========== 初始化阶段…