vllm资源

vllm是一个可以加载大模型, 推理, 量化模型, 以http api的方式暴露服务的框架.

posted on 2025-01-17 13:01 paulwong 阅读(14) 评论(0) 编辑收藏所属分类: AI-LLM


只有注册用户登录后才能发表评论。




网站导航: 博客园 IT新闻 Chat2DB C++博客博问管理
相关文章: 数据集资源 vllm资源 AI应用场景搭建llamafactory微调、评估、测试和量化环境安装docker版的Nvidia container toolkit AI入门微调llama3大模型(2) - 使用ollama搭建chatbot 微调llama3大模型(1) - 使用Llama Factory微调llama3大模型部署docker版的人工智能OPEN-WEBUI+OLLAMA+NGINX

paulwong