首页技术区最新随笔(rss) RSS

共2页: 1 2 下一页 更多 

零基础音视频入门:你所不知道的Web前端音视频知识

     摘要: 本文由字节跳动张华挺分享,原题“你不知道的前端音视频知识”,下文有修订和重新排版。1、前言本文回顾了Web端音视频的发展历程,同时还介绍了视频的编码、帧率、比特率等概念,提到了Canvas作为视频播放的替代方案,以及FFmpeg在音视频处理中的重要作用等知识。 技术交流:- 移动端IM开发入门文章:《新手入门一篇就够:从零开发移动端IM》- 开源IM框架源码:ht...  阅读全文

2025-06-26 15:25 作者: Jack Jiang【评论:0】【阅读:31】 

debian安装python+替换为清华源

     摘要: Code highlighting produced by Actipro CodeHighlighter (freeware) http://www.CodeHighlighter.com/ -->sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak sudo vi /etc...  阅读全文

2025-06-23 11:32 作者: paulwong【评论:0】【阅读:39】 

微信读书十周年,后台架构的技术演进和实践总结

     摘要: 本文由腾讯技术团队罗国佳分享,原题“微信读书后台架构演进之路”,下文有修订和重新排版。1、前言今年是微信读书上线10周年,后台技术架构也伴随着微信读书的成长经历了多次迭代与升级。每一次的组件升级与架构突破,在一个运行了10年的系统上落地都不是一件容易的事情,需要破釜沉舟的决心与胆大心细的业务联动。微信读书经过了多年的发展,赢得了良好的用户口碑,后台系统的服务质量直接影响着用...  阅读全文

2025-06-20 15:26 作者: Jack Jiang【评论:0】【阅读:32】 

微信读书十周年,后台架构的技术演进和实践总结

     摘要: 本文由腾讯技术团队罗国佳分享,原题“微信读书后台架构演进之路”,下文有修订和重新排版。1、前言今年是微信读书上线10周年,后台技术架构也伴随着微信读书的成长经历了多次迭代与升级。每一次的组件升级与架构突破,在一个运行了10年的系统上落地都不是一件容易的事情,需要破釜沉舟的决心与胆大心细的业务联动。微信读书经过了多年的发展,赢得了良好的用户口碑,后台系统的服务质量直接影响着用...  阅读全文

2025-06-20 15:26 作者: Jack Jiang【评论:0】【阅读:37】 

微信读书十周年,后台架构的技术演进和实践总结

     摘要: 本文由腾讯技术团队罗国佳分享,原题“微信读书后台架构演进之路”,下文有修订和重新排版。1、前言今年是微信读书上线10周年,后台技术架构也伴随着微信读书的成长经历了多次迭代与升级。每一次的组件升级与架构突破,在一个运行了10年的系统上落地都不是一件容易的事情,需要破釜沉舟的决心与胆大心细的业务联动。微信读书经过了多年的发展,赢得了良好的用户口碑,后台系统的服务质量直接影响着用...  阅读全文

2025-06-20 15:26 作者: Jack Jiang【评论:0】【阅读:41】 

Web网页端即时通讯源码/IM聊天源码RainbowChat-Web

     摘要: 1、基本介绍RainbowChat-Web是一套基于MobileIMSDK-Web的网页端IM系统。不同于市面上某些开源练手或淘宝售卖的demo级代码,RainbowChat-Web的产品级代码演化自真正运营过的商业产品,其所依赖的通信层核心SDK已在数年内经过大量客户及其辐射的最终用户的使用和验证。RainbowChat-Web同时也是移动端IM应用RainbowChat的姊妹产品。 ...  阅读全文

2025-06-13 16:15 作者: Jack Jiang【评论:0】【阅读:45】 

Web端实时通信技术SSE在携程机票业务中的实践应用

     摘要: 本文由携程前端开发专家Chris Xia分享,关注新技术革新和研发效率提升。1、引言本文介绍了携程机票前端基于Server-Sent Events(SSE)实现服务端推送的企业级全链路通用技术解决方案。文章深入探讨了 SSE 技术在应用过程中包括方案对比、技术选型、链路层优化以及实际效果等多维度的技术细节,为类似使用场景提供普适性参考和借鉴。该方案设计目标是实现通用性,适用于各种网络架构和业务场景...  阅读全文

2025-06-13 15:32 作者: Jack Jiang【评论:0】【阅读:43】 

长连接网关技术专题(十二):大模型时代多模型AI网关的架构设计与实现

     摘要: 本文来自哔哩哔哩通用技术团队分享,下文进行了排版优化和修订。1、引言随着 AI 技术快速发展,业务对 AI 能力的渴求日益增长。当 AI 服务面对处理大规模请求和高并发流量时,AI 网关从中扮演着至关重要的角色。AI 服务通常涉及大量的计算任务和设备资源占用,此时需要一个 AI 网关负责协调这些请求来确保系统的稳定性与高效性。因此,与传统微服务架构类似,我们将相关 API 管理的功能(如流量控制、...  阅读全文

2025-05-22 14:08 作者: Jack Jiang【评论:0】【阅读:56】 

小红书APP的全新鸿蒙NEXT端性能优化技术实践

     摘要: 本文来自QCon全球软件开发大会王劲鹏的技术分享,下文进行了排版优化和修订。1、引言性能和体验在 iOS / Android 双端场景下已经是一个较为成熟的话题,但随着鸿蒙 OS 的发展,端侧开发者需要更多的关注多端场景的差异性。本次分享的主题是小红书在鸿蒙平台上的工程实践,主要聚焦于性能优化和探索。(* PPT讲稿原文下载:《小红书鸿蒙OS下的性能优化探索与实践(PPT)[附件下载]》)先介绍一...  阅读全文

2025-05-19 11:24 作者: Jack Jiang【评论:0】【阅读:76】 

全平台开源即时通讯IM聊天框架MobileIMSDK的服务端开发指南,支持鸿蒙NEXT

     摘要: 全平台开源即时通讯IM聊天框架MobileIMSDK的服务端开发指南,支持鸿蒙NEXT  阅读全文

2025-05-15 12:27 作者: Jack Jiang【评论:0】【阅读:60】 

全平台开源即时通讯IM框架MobileIMSDK:7端+TCP/UDP/WebSocket协议,鸿蒙NEXT端已发布,5.7K Stars

     摘要: 一、基本介绍MobileIMSDK是一套全平台原创开源IM通信层框架:超轻量级、高度提炼,lib包50KB以内;精心封装,一套API同时支持UDP、TCP、WebSocket三种协议(可能是全网唯一开源的);客户端支持iOS、Android、标准Java、H5、微信小程序、Uniap、鸿蒙Next(Demo完整源码);服务端基于Netty,性能卓越、易于扩展 new;可与姊妹工程&nbs...  阅读全文

2025-04-29 15:29 作者: Jack Jiang【评论:0】【阅读:85】 

足球数据资源

     摘要: 足球基础数据 https://www.nami.com/details/4nw10i0tela68lq#interface 足球统计数据 https://www.nami.com/details/7xwk3iqtv3s9rk6#interface 足球统计数据 https://www.nami.com/details/7xwk3iqtv3s9rk6#interfa...  阅读全文

2025-04-24 14:56 作者: paulwong【评论:0】【阅读:70】 

拥抱国产化:转转APP的鸿蒙NEXT端开发尝鲜之旅

     摘要: 本文由转转技术团队赵卫兵分享,原题“鸿蒙新篇章:转转 APP 的 HarmonyOS Next 开发之旅”,下文进行了排版优化和内容修订。1、引言2023 年在华为开发者大会(HDC.Together)上,除了面向消费者的 HarmonyOS 4 之外,华为还推出了面向开发者的 HarmonyOS Next 开发者预览。而在去年的 6 月份华为开发者大会上,对外开启了 Ha...  阅读全文

2025-04-23 10:50 作者: Jack Jiang【评论:0】【阅读:67】 

一年撸完百万行代码,企业微信的全新鸿蒙NEXT客户端架构演进之路

     摘要: 本文由企业微信客户端团队黄玮分享,原题“在流沙上筑城:企微鸿蒙开发演进”,下文进行了排版优化和内容修订。1、引言当企业微信团队在2024年启动鸿蒙Next版开发时,我们面对的是双重难题:1)在WXG小团队模式下,如何快速将数百万行级企业应用移植到全新操作系统?2)在鸿蒙API 还是Preview的初期,如何保持业务代码的稳定,在API快速更新的浪潮中岿然不动?DataLis...  阅读全文

2025-04-15 11:22 作者: Jack Jiang【评论:0】【阅读:91】 

鸿蒙NEXT如何保证应用安全:详解鸿蒙NEXT数字签名和证书机制

     摘要: 本文由美团技术团队张晨分享,原题“鸿蒙应用签名实操及机制探究”,下文进行了排版优化和内容修订。1、引言华为鸿蒙单框架操作系统HarmonyOS NEXT已于2024年10月23日正式发布Release版。HarmonyOS NEXT仅支持鸿蒙原生应用,不再兼容安卓。本文对鸿蒙NEXT公开资料进行了深入分析和解读,梳理了鸿蒙单框架应用的签名机制,拆解每一步的实操过程和背后的实...  阅读全文

2025-04-09 11:51 作者: Jack Jiang【评论:0】【阅读:86】 

全民AI时代,大模型客户端和服务端的实时通信到底用什么协议?

     摘要: 本文由阿里云望宸分享,原题“大模型推理主战场:什么才是通信协议标配?”,下文进行了排版优化和内容修订。1、引言DeepSeek 加速了模型平权,随之而来的是大模型推理需求的激增,大模型性能提升的主战场从训练转移到了推理。推理并发的提升,将催生计算、存储、网络、中间件、数据库等领域新的工程化需求。本文将分享 SSE 和 WebSocket 这两个AI大模型应用的标配网络通信协...  阅读全文

2025-03-27 15:14 作者: Jack Jiang【评论:0】【阅读:83】 

微调训练的数据集

使用trl库做微调时, 对数据集的要求是:

如果是多轮对话场景:
jsonl 文件,且需符合以下要求:
1.每行是一个独立的 JSON 对象;
2 每个对象须包含一个键名为 messages 的数组,数组不能为空;
3.messages 中每个元素必须包含 role 和 content 两个字段:
4.role 只能是 system,user 或 assisiant;
5.如果有 system 角色消息, 需在数组首位;
6.第一条非 system 消息必须是 user 角色;
7.user 和 assisiant 角色的消息应当交替、成对出现,不少于1对;

如果是指令微调场景:
jsonl 文件,且需符合以下要求:
1.每行是一个独立的 JSON 对象;
2 每个对象须包含且只能包含一个键名为 text 的键值对,值不能为空;

2025-03-21 21:52 作者: paulwong【评论:0】【阅读:75】 

零基础IM开发入门(五):什么是IM系统的端到端加密?

     摘要: 本文由夏冰软件cc分享,下文进行了排版和内容优化。1、引言本文接上篇《什么是IM系统的消息时序一致性?》,本篇将通俗易懂地讲解IM系统中的端到端加密原理,为了降低阅读门槛,相关的技术概念会提及但不深入展开。IM即时通讯系统的技术本质是“即时消息技术”,是互联网实时互动场景的底层架构,包括聊天、直播、在线客服等业务领域在内,所有需要实时互动、高实时性的场景,都需要用到IM技术...  阅读全文

2025-03-20 11:11 作者: Jack Jiang【评论:0】【阅读:58】 

大模型训练的几个阶段

大模型开发出来后, 一般要经过以下几个阶段的训练:

预训练(Pre-Trained)
单纯提供文本: {"text":"..."}
训练模型由第一个文字开始, 预测后面的文字, 直到结束.
这种模型只会做完成文本的任务

监督微调(Supervised Fine Turning)
为了使模型能完成根据指令完成回答, 而不是随机生成回答
提供的文本: {"instruction":"...", "output":"..."}

高效参数微调(Parameter Efficient Fine Turning)
只调整部分参数, 具体实现方法有LoRA

参考:
https://github.com/huggingface/smol-course/blob/main/1_instruction_tuning/notebooks/sft_finetuning_example.ipynb



2025-03-18 13:14 作者: paulwong【评论:0】【阅读:77】 

支持百万人超大群聊的Web端IM架构设计与实践

     摘要: 本文由vivo互联网服务器团队Cai Linfeng分享,来自公众号“ vivo互联网技术”,原题“百万级群聊的设计实践”,下文进行了排版优化和内容修订。1、引言现在IM群聊产品多种多样,有国民级的微信、QQ,企业级的钉钉、飞书,还有许多公司内部的IM工具,这些都是以客户端为主要载体。而且群聊人数通常都是有限制,微信正常群人数上限是500,QQ200...  阅读全文

2025-03-13 13:36 作者: Jack Jiang【评论:0】【阅读:74】 

大模型微调后的评估指标

     摘要: 大模型微调后的评估指标是衡量模型性能的关键,通常根据任务类型和具体需求选择不同的评估指标。以下是一些常见的评估指标及其适用场景: 1. 分类任务 准确率(Accuracy):预测正确的样本占总样本的比例。 适用场景:类别分布均衡的任务。 精确率(Precision):预测为正类的样本中,实际为...  阅读全文

2025-03-12 10:08 作者: paulwong【评论:0】【阅读:310】 

视频直播技术干货(十三):B站实时视频直播技术实践和音视频知识入门

     摘要: 本文由B端技术中心资深开发工程师马家忆分享,原题“B站在实时音视频技术领域的探索与实践”,下文进行了排版和内容优化。1、引言直播行业从传统的娱乐直播发展到教育直播、电商直播等形式,产生了很多新的玩法。传统的直播是一位主播展示才艺,观众通过弹幕、送礼物等方式进行互动。随着网络质量不断地提高,用户也对直播平台产生的新的要求,实时互动直播的场景就出现了,观众可以同时观看多位主播之...  阅读全文

2025-03-06 11:46 作者: Jack Jiang【评论:0】【阅读:49】 

即时通讯初学者必知必会的20个网络编程和通信安全知识点

     摘要: 本文引用自公众号“计算科学与信息化”,原题“运维必知的20个网络安全知识点!”,下文进行了排版和内容优化。1、引言即时通讯IM应用开发的初学者很容易迷失在网络编程的复杂性以及通信安全的各种概念里,本文不涉及深度理论知识,尽量通过一句话或几句话让你快速了解20个相关的网络编程和通信安全知识点,希望能助你愉快地开始即时通讯应用开发。技术交流:- 移动端I...  阅读全文

2025-02-27 13:04 作者: Jack Jiang【评论:0】【阅读:83】 

探讨组合加密算法在IM中的应用

     摘要: 1、前言本文深入分析了即时通信(IM)系统中所面临的各种安全问题,综合利用对称加密算法(DES算法)、公开密钥算法(RSA算法)和Hash算法(MD5)的优点,探讨组合加密算法在即时通信中的应用。技术交流:- 移动端IM开发入门文章:《新手入门一篇就够:从零开发移动端IM》- 开源IM框架源码:https://github.com/JackJiang2011/MobileIMSDK(备用地址点此...  阅读全文

2025-02-26 11:32 作者: Jack Jiang【评论:0】【阅读:45】 

即时通讯安全篇(十五):详解硬编码密码的泄漏风险及其扫描原理和工具

     摘要: 本文由美团安全研究员乔丹分享,作者硕士毕业于复旦大学,目前在美团致力于云原生安全建设。原题“浅谈硬编码密码及其扫描工具”,下文进行了排版和内容优化。1、引言密码是对服务、系统和数据的访问权限进行授权的数字身份凭证,常见的密码有API密钥、非对称私钥、访问Token等。硬编码密码(Hardcoded Secret),或称嵌入式密码(Embedded Secret),是指将密码...  阅读全文

2025-02-20 11:31 作者: Jack Jiang【评论:0】【阅读:58】 

满血版Deepseek R1全网资源

官网
https://chat.deepseek.com

腾讯, 需下载客户端
https://ima.qq.com

阿里, 需自建对话应用, 有网页版
https://tbox.alipay.com/

askmanyai
https://askmanyai.cn

360纳米搜索, 无网页版, 需自行下载app


2025-02-15 23:10 作者: paulwong【评论:0】【阅读:92】 

转转平台IM系统架构设计与实践(二):详细设计与实现

     摘要: 本文由转转 梁会彬、杜云杰分享,原题“转转IM的实践与思考”,下文进行了排版和内容优化。1、引言接上篇《整体架构设计》,笔者将以转转IM架构为起点,介绍IM相关组件以及组件间的关系;以IM登陆和发消息的数据流转为跑道,介绍IM静态数据结构、登陆和发消息时的动态数据变化;以IM常见问题为风景,介绍保证IM实时性、可靠性、一致性的一般方案;以高可用、高并发为终点,介绍保证IM系...  阅读全文

2025-02-13 12:33 作者: Jack Jiang【评论:0】【阅读:101】 

量化资源

GPTQ、GGUF、AWQ 大语言模型量化方法对比(转载) 
https://caovan.com/gptqggufawq-dayuyanmoxinglianghuafangfaduibizhuanzai/.html

2025-02-08 23:31 作者: paulwong【评论:0】【阅读:78】 

一文读懂什么是Nginx?它能否实现IM的负载均衡?

     摘要: 本文引用了“蔷薇Nina”的“Nginx 相关介绍(Nginx是什么?能干嘛?)”一文部分内容,下文有修订和改动。1、引言Nginx(及其衍生产品)是目前被大量使用的服务端反向代理和负载均衡方案,从某种意义上来讲,Nginx几乎是低成本、高负载Web服务端代名词。如此深入人心的Nginx,很多人也想当然的认为,在IM或消息推送等场景下是否也能使用Ng...  阅读全文

2025-02-06 13:54 作者: Jack Jiang【评论:0】【阅读:106】 

开发往事:微信千年不变的那张闪屏图片的由来

     摘要: 1、前言一个孤独的小人,面对巨大的地球站在那里,这就是微信的启动画面,许多人对此非常熟悉。而知道画面里是非洲,就不是那么容易了。这是因为图片里的地球为云团笼罩,只露出一部分地貌特征,需要对世界地图比较熟悉的有心人才能发现这一点。  技术交流:- 移动端IM开发入门文章:《新手入门一篇就够:从零开发移动端IM》- 开源IM框架源码:https://github.com/JackJ...  阅读全文

2025-02-05 11:47 作者: Jack Jiang【评论:0】【阅读:150】 

共2页: 1 2 下一页 更多 

技 术 改 变 世 界

宣传语

网站分类

其他分类

Google站内搜索

 

24小时内最热随笔

统计信息

订阅

Blog客户端API

推荐客户端

博客排行榜[前100人]