大模型微调后的评估指标是衡量模型性能的关键，通常根据任务类型和具体需求选择不同的评估指标。以下是一些常见的评估指标及其适用场景：
1. 分类任务
- 准确率（Accuracy）：预测正确的样本占总样本的比例。
- 精确率（Precision）：预测为正类的样本中，实际为正类的比例。
- 适用场景：关注减少假阳性（False Positive）的任务。
- 召回率（Recall）：实际为正类的样本中，预测为正类的比例。
- 适用场景：关注减少假阴性（False Negative）的任务。
- F1分数（F1 Score）：精确率和召回率的调和平均值。
- 适用场景：类别不平衡或需要平衡精确率和召回率的任务。
- ROC-AUC：ROC曲线下的面积，衡量模型区分正负类的能力。
2. 回归任务
- 均方误差（MSE, Mean Squared Error）：预测值与真实值之差的平方的平均值。
- 均方根误差（RMSE, Root Mean Squared Error）：MSE的平方根。
- 平均绝对误差（MAE, Mean Absolute Error）：预测值与真实值之差的绝对值的平均值。
- R²（决定系数）：模型解释目标变量方差的比例。
3. 生成任务
- BLEU（Bilingual Evaluation Understudy）：衡量生成文本与参考文本的n-gram重叠程度。
- ROUGE（Recall-Oriented Understudy for Gisting Evaluation）：衡量生成文本与参考文本的重叠程度，侧重于召回率。
- METEOR：综合考虑精确率、召回率和词序的评估指标。
- Perplexity（困惑度）：衡量模型预测概率分布的不确定性。
4. 多标签任务
- Hamming Loss：预测错误的标签比例。
- Jaccard Similarity：预测标签与真实标签的交集与并集之比。
5. 排序任务
- NDCG（Normalized Discounted Cumulative Gain）：衡量排序结果的相关性。
- MAP（Mean Average Precision）：平均精确率的均值。
6. 其他指标
- 训练时间：模型微调所需的时间。
- 推理速度：模型生成结果的速度。
- 资源消耗：模型运行所需的计算资源（如GPU内存、CPU使用率）。
- 鲁棒性：模型对噪声、异常值或对抗样本的抵抗能力。
7. 领域特定指标
- 医学领域：敏感性（Sensitivity）、特异性（Specificity）、AUC-ROC。
- 金融领域：收益曲线、夏普比率（Sharpe Ratio）。
- 计算机视觉：mAP（mean Average Precision）、IoU（Intersection over Union）。
8. 人类评估
- 人工评分：通过人工评估生成结果的质量（如流畅性、相关性、准确性）。
- 用户满意度：通过用户反馈评估模型的实际效果。
9. 模型对比
- 基线对比：与未微调的模型或基线模型进行性能对比。
- 消融实验：评估微调过程中不同组件（如数据、超参数）对性能的影响。
10. 综合评估
- 多指标综合：根据任务需求，结合多个指标进行综合评估。
- 任务特定指标：针对特定任务设计自定义指标。
在实际应用中，选择合适的评估指标需要结合任务目标、数据特点和业务需求，同时注意避免单一指标的局限性。
@import url(http://www.blogjava.net/CuteSoft_Client/CuteEditor/Load.ashx?type=style&file=SyntaxHighlighter.css);@import url(/css/cuteeditor.css);
@import url(http://www.blogjava.net/CuteSoft_Client/CuteEditor/Load.ashx?type=style&file=SyntaxHighlighter.css);@import url(/css/cuteeditor.css);
如果要从结构化的数据中提取信息,用sql即可, 即要提取的信息在select 的字段中.
如果要从非结构化的数据中, 如纯文本, 则要靠nlp, 要对文本理解后, 才能提取相应的信息.
文本结构化 with SpaCy 攻略
使用openspg自动构建医疗知识图谱
@import url(http://www.blogjava.net/CuteSoft_Client/CuteEditor/Load.ashx?type=style&file=SyntaxHighlighter.css);@import url(/css/cuteeditor.css);
从实践案例介绍大模型应用经验和思考
LLaMA Factory：微调DeepSeek-R1-Distill-Qwen-7B模型实现新闻标题分类器
deepseek r1微调模型应用落地案例（医疗法律，PatientSeek）
文本转语音的模型ChatTTS体验极佳，真人般丝滑和流畅，自定义也比较灵活
医疗NLP领域 评测/比赛，数据集，论文和预训练模型资源汇总。
摘要: 本博客深入探讨了群体相对策略优化（GRPO）背后的数学，GRPO是推动DeepSeek卓越推理能力的核心强化学习算法。我们将分解GRPO的工作原理、其关键组件，以及为什么它是训练高级大型语言模型（LLM）的改变者。
GRPO的基础
GRPO是什么？
群相对策略优化（GRPO）是一种强化学习（RL）算法，专门用于增强大型语言模型（LLM）的推理能力。与传统的RL方法不同，RL方法严重依赖外部评...
阅读全文
DeepSeek大模型由于采用了GRPO算法, 大幅降低了显存的需求.
【DeepSeek】复现DeepSeek R1？快来看这个Open R1项目实践指南~
!!!实战LLM强化学习——使用GRPO（DeepSeek R1出圈算法）
【DeepSeek】一文详解GRPO算法——为什么能减少大模型训练资源？
DeepSeek R1系列
@import url(http://www.blogjava.net/CuteSoft_Client/CuteEditor/Load.ashx?type=style&file=SyntaxHighlighter.css);@import url(/css/cuteeditor.css);
vllm是一个可以加载大模型, 推理, 量化模型, 以http api的方式暴露服务的框架.
@import url(http://www.blogjava.net/CuteSoft_Client/CuteEditor/Load.ashx?type=style&file=SyntaxHighlighter.css);@import url(/css/cuteeditor.css);
@import url(http://www.blogjava.net/CuteSoft_Client/CuteEditor/Load.ashx?type=style&file=SyntaxHighlighter.css);@import url(/css/cuteeditor.css);
到底AI是虚的还是假的, 在企业中有没实际落地场景, 以下取实际应用场景:
生物公司
使用qwen2:7b训练细胞制备领域的数据集，目标是
1.预测细胞收获量
2.算细胞存活状态(存活/死亡)
3.预测工艺是否成功
4.可以提前预测细胞的质量是否达标，以便及时采取措施进行调整
5.细胞培养过程中出现大量细胞死亡的情况，模型可以根据实时数据和历史经验，分析可能是培养箱温度失控、培养基成分错误或受到污染等原因导致的，并提供相应的排查建议」
文体旅游
智能旅游系统:
提供目的地介绍、
旅行路线规划、
酒店预订和景
点推荐等服务。
考试改卷
基于大模型，做一个判试卷的应用，能够判断主观题，比如阅读理解，比如历史，地理，政治问答题。
判卷准确率不能低于人工判卷准确率。
即一次考试，一个班50份试卷，判断结果错误不超过5道题。判断效率高于或等于人工。
取过往同学试卷题目, 作答内容, 得分 作一波ocr出数据, 一个科目, 提取所有试卷内容, 最后就是一个科目一个模型, 提取的内容放在文本, csv, json,
基于“bert-base-chinese”这个模型, 进行微调出专用模型即可,
让大模型成为专业的判卷老师
考试
用扣子打一个智能体，实现不同学员对掌握的知识进行测试，根据测试结果进行打分和二次出题测试
0. 配置环境变量
HF_ENDPOINT=https://hf-mirror.com
HF_HOME=/root/autodl-tmp/paul/tools/huggingface
1. 本机安装python 3.10, 并设置软件源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip config set global.index-url https://mirrors.huaweicloud.com/repository/pypi/simple
2. 安装miniconda
3. 新建一个环境, 并激活
conda create -n quantization python=3.12
2. 本机安装pytorch2.5.1+cuda12.4
pip3 install torch torchvision torchaudio
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
3. clone llamafactory源码
git clone https://github.com/hiyouga/LLaMA-Factory
4. llamafactory本地安装依赖
pip install -e .["vllm","gptq"]
5. 启动webui
6. 在页面中填入相关参数进行操作