摘要: 本文由阿里云望宸分享，原题“大模型推理主战场：什么才是通信协议标配？”，下文进行了排版优化和内容修订。1、引言DeepSeek 加速了模型平权，随之而来的是大模型推理需求的激增，大模型性能提升的主战场从训练转移到了推理。推理并发的提升，将催生计算、存储、网络、中间件、数据库等领域新的工程化需求。本文将分享 SSE 和 WebSocket 这两个AI大模型应用的标配网络通信协... 阅读全文
使用trl库做微调时, 对数据集的要求是:
如果是多轮对话场景:
jsonl 文件，且需符合以下要求:
1.每行是一个独立的 JSON 对象;
2 每个对象须包含一个键名为 messages 的数组，数组不能为空;
3.messages 中每个元素必须包含 role 和 content 两个字段:
4.role 只能是 system,user 或 assisiant;
5.如果有 system 角色消息, 需在数组首位;
6.第一条非 system 消息必须是 user 角色;
7.user 和 assisiant 角色的消息应当交替、成对出现，不少于1对;
如果是指令微调场景:
jsonl 文件，且需符合以下要求:
1.每行是一个独立的 JSON 对象;
2 每个对象须包含且只能包含一个键名为 text 的键值对，值不能为空;
摘要: 本文由夏冰软件cc分享，下文进行了排版和内容优化。1、引言本文接上篇《什么是IM系统的消息时序一致性？》，本篇将通俗易懂地讲解IM系统中的端到端加密原理，为了降低阅读门槛，相关的技术概念会提及但不深入展开。IM即时通讯系统的技术本质是“即时消息技术”，是互联网实时互动场景的底层架构，包括聊天、直播、在线客服等业务领域在内，所有需要实时互动、高实时性的场景，都需要用到IM技术... 阅读全文
大模型开发出来后, 一般要经过以下几个阶段的训练:
预训练(Pre-Trained)
单纯提供文本: {"text":"..."}
训练模型由第一个文字开始, 预测后面的文字, 直到结束.
这种模型只会做完成文本的任务
监督微调(Supervised Fine Turning)
为了使模型能完成根据指令完成回答, 而不是随机生成回答
提供的文本: {"instruction":"...", "output":"..."}
高效参数微调(Parameter Efficient Fine Turning)
只调整部分参数, 具体实现方法有LoRA
参考:
摘要: 本文由vivo互联网服务器团队Cai Linfeng分享，来自公众号“ vivo互联网技术”，原题“百万级群聊的设计实践”，下文进行了排版优化和内容修订。1、引言现在IM群聊产品多种多样，有国民级的微信、QQ，企业级的钉钉、飞书，还有许多公司内部的IM工具，这些都是以客户端为主要载体。而且群聊人数通常都是有限制，微信正常群人数上限是500，QQ200... 阅读全文
摘要: 大模型微调后的评估指标是衡量模型性能的关键，通常根据任务类型和具体需求选择不同的评估指标。以下是一些常见的评估指标及其适用场景：
1. 分类任务
准确率（Accuracy）：预测正确的样本占总样本的比例。
适用场景：类别分布均衡的任务。
精确率（Precision）：预测为正类的样本中，实际为... 阅读全文
摘要: 本文由B端技术中心资深开发工程师马家忆分享，原题“B站在实时音视频技术领域的探索与实践”，下文进行了排版和内容优化。1、引言直播行业从传统的娱乐直播发展到教育直播、电商直播等形式，产生了很多新的玩法。传统的直播是一位主播展示才艺，观众通过弹幕、送礼物等方式进行互动。随着网络质量不断地提高，用户也对直播平台产生的新的要求，实时互动直播的场景就出现了，观众可以同时观看多位主播之... 阅读全文