大模型训练的几个阶段

大模型开发出来后, 一般要经过以下几个阶段的训练:

预训练(Pre-Trained)

单纯提供文本: {"text":"..."}

训练模型由第一个文字开始, 预测后面的文字, 直到结束.

这种模型只会做完成文本的任务

为了使模型能完成根据指令完成回答, 而不是随机生成回答

提供的文本: {"instruction":"...", "output":"..."}

只调整部分参数, 具体实现方法有LoRA

参考:

posted on 2025-03-18 13:14 paulwong 阅读(31) 评论(0) 编辑收藏所属分类: AI-LLM 、AI-FINE-TUNNING


只有注册用户登录后才能发表评论。




网站导航: 博客园 IT新闻 Chat2DB C++博客博问管理
相关文章: 大模型训练的几个阶段大模型微调后的评估指标 LLM全栈框架完整分类清单（预训练+微调+工具链）医疗问诊系统资源使用nlp提取非结构化数据中的信息 AI案例资源不用再找了，这是大模型最全的面试题库数据集资源 vllm资源 AI应用场景