首页技术区最新随笔(rss) RSS

量化资源

GPTQ、GGUF、AWQ 大语言模型量化方法对比(转载) 
https://caovan.com/gptqggufawq-dayuyanmoxinglianghuafangfaduibizhuanzai/.html

2025-02-08 23:31 作者: paulwong【评论:0】【阅读:37】 

一文读懂什么是Nginx?它能否实现IM的负载均衡?

     摘要: 本文引用了“蔷薇Nina”的“Nginx 相关介绍(Nginx是什么?能干嘛?)”一文部分内容,下文有修订和改动。1、引言Nginx(及其衍生产品)是目前被大量使用的服务端反向代理和负载均衡方案,从某种意义上来讲,Nginx几乎是低成本、高负载Web服务端代名词。如此深入人心的Nginx,很多人也想当然的认为,在IM或消息推送等场景下是否也能使用Ng...  阅读全文

2025-02-06 13:54 作者: Jack Jiang【评论:0】【阅读:42】 

开发往事:微信千年不变的那张闪屏图片的由来

     摘要: 1、前言一个孤独的小人,面对巨大的地球站在那里,这就是微信的启动画面,许多人对此非常熟悉。而知道画面里是非洲,就不是那么容易了。这是因为图片里的地球为云团笼罩,只露出一部分地貌特征,需要对世界地图比较熟悉的有心人才能发现这一点。  技术交流:- 移动端IM开发入门文章:《新手入门一篇就够:从零开发移动端IM》- 开源IM框架源码:https://github.com/JackJ...  阅读全文

2025-02-05 11:47 作者: Jack Jiang【评论:0】【阅读:52】 

DeepSeek资源

     摘要: DeepSeek大模型由于采用了GRPO算法, 大幅降低了显存的需求. 【DeepSeek】复现DeepSeek R1?快来看这个Open R1项目实践指南~ https://blog.csdn.net/qq_38961840/article/details/145388142 !!!实战LLM强化学习——使用GRPO(DeepSeek R1出圈算...  阅读全文

2025-02-02 19:22 作者: paulwong【评论:0】【阅读:54】 

社交软件红包技术解密(六):微信红包系统的存储层架构演进实践

     摘要: 本文为CSDN的《程序员》杂志原创文章,下文有修订和改动”。1、引言南方企业一直有过年找老板“逗利是”的习俗,每年春节后开工的第一天,腾讯大厦都会排上长长的队伍,集体上楼找老板们领红包。按照广东习俗,已经结婚的同事也要给未婚同事发红包,这一天腾讯员工就在春茗和寻找红包中度过。由此孵化了一个内部项目,通过微信来收发红包,把这个公司全员娱乐活动与最活跃的IM平台微信...  阅读全文

2025-01-24 16:28 作者: Jack Jiang【评论:0】【阅读:35】 

QQ设计团队分享:手Q语音消息改版背后的功能设计思路

     摘要: 本文来自腾讯ISUX设计团队,下文有修订和改动。1、引言2019年4月16日QQ语音消息新特性突然登上微博热搜,QQ铁粉瞬间集结。是什么让129万人为QQ花式彩虹屁?为何微信却被吃瓜群众疯狂艾特?现在,让我为你揭秘QQ语音消息改版的设计旅程。关于腾讯ISUX团队:腾讯社交用户体验设计,简称ISUX (Internet Social User Experience),成立于2011年1月11日,是腾...  阅读全文

2025-01-21 16:08 作者: Jack Jiang【评论:0】【阅读:41】 

vllm资源

vllm是一个可以加载大模型, 推理, 量化模型, 以http api的方式暴露服务的框架.

https://docs.vllm.ai/en/latest/getting_started/examples/basic_with_model_default_sampling.html


2025-01-17 13:01 作者: paulwong【评论:0】【阅读:43】 

AI应用场景

     摘要: @import url(http://www.blogjava.net/CuteSoft_Client/CuteEditor/Load.ashx?type=style&file=SyntaxHighlighter.css);@import url(/css/cuteeditor.css); @import url(http://www.blogjava.net/CuteSoft_Client/C...  阅读全文

2025-01-17 11:23 作者: paulwong【评论:0】【阅读:60】 

搭建llamafactory微调、评估、测试和量化环境

     摘要: 0. 配置环境变量 Code highlighting produced by Actipro CodeHighlighter (freeware) http://www.CodeHighlighter.com/ -->HF_ENDPOINT=https://hf-mirror.com HF_HOME=/root/autodl-tmp/paul/tools/huggingf...  阅读全文

2025-01-16 16:54 作者: paulwong【评论:0】【阅读:78】 

量化大模型工具

     摘要: VLLM量化推理 https://llmc-zhcn.readthedocs.io/en/latest/backend/vllm.html#id1 安装此工具前需安装两个包: Code highlighting produced by Actipro CodeHighlighter (freeware) http://www.CodeHighlighter.com/...  阅读全文

2025-01-15 18:00 作者: paulwong【评论:0】【阅读:76】 

微调资源

Fine-tune Llama 3.1 Ultra-Efficiently with Unsloth
https://huggingface.co/blog/mlabonne/sft-llama3

A beginners guide to fine tuning LLM using LoRA
https://zohaib.me/a-beginners-guide-to-fine-tuning-llm-using-lora/

【Day 23】調教你的 AI 寵物:用微調讓 LLM 乖乖聽話
https://ithelp.ithome.com.tw/articles/10346441


2025-01-15 17:56 作者: paulwong【评论:0】【阅读:49】 

社交软件红包技术解密(五):微信红包系统是如何实现高可用性的

     摘要: 本文来自微信团队工程师方乐明的技术分享,由InfoQ编辑发布,下文有修订和改动。一、引言微信红包业务量级的高速发展,对后台系统架构的可用性要求越来越高。在保障微信红包业务体验的前提下,红包后台系统进行了一系列高可用方面的优化设计。本次分享介绍了微信红包后台系统的高可用实践经验,主要包括后台的 set 化设计、异步化设计、订单异地存储设计、存储层容灾设计与平行扩缩容等。听众可以了解到微信红包后台架构...  阅读全文

2025-01-15 11:19 作者: Jack Jiang【评论:0】【阅读:62】 

技 术 改 变 世 界

宣传语

网站分类

其他分类

Google站内搜索

 

24小时内最热随笔

统计信息

订阅

Blog客户端API

推荐客户端

博客排行榜[前100人]