Jack Jiang

我的最新工程MobileIMSDK：http://git.oschina.net/jackjiang/MobileIMSDK
posts - 490, comments - 13, trackbacks - 0, articles - 1

2025年3月27日

全民AI时代，大模型客户端和服务端的实时通信到底用什么协议？

     摘要: 本文由阿里云望宸分享，原题“大模型推理主战场：什么才是通信协议标配？”，下文进行了排版优化和内容修订。1、引言DeepSeek 加速了模型平权，随之而来的是大模型推理需求的激增，大模型性能提升的主战场从训练转移到了推理。推理并发的提升，将催生计算、存储、网络、中间件、数据库等领域新的工程化需求。本文将分享 SSE 和 WebSocket 这两个AI大模型应用的标配网络通信协...  阅读全文

posted @ 2025-03-27 15:14 Jack Jiang 阅读(25) | 评论 (0) | 编辑 收藏

Jack Jiang的 Mail: jb2011@163.com, 联系QQ: 413980957， 微信: hellojackjiang