暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
裴瑞光-端上大模型推理.pdf
90
20页
13次
2025-01-16
免费下载
演讲嘉宾:裴瑞光
背景
基于Transformer架构的大模型由于其在文本理解,语言生成,任务推理与以及多模态上展现出极强的能力;
在这个过程中,考虑到个性化,隐私,网络以及成本问题,相对于云端大模型推理,端上大模型推理逐渐扮
演越来越重要的角色。
端侧大模型市场将逐步增长 个性化场景下,用户更偏向于使用端侧模型能力
端侧大模型需有强需求场
[1]2024年中国端侧大模型行业研究:算力优化与效率革命
[2]On-Device Language Models: A Comprehensive Review
为什么需要端上大模型?
无网络仍可工作
隐私保护
强大的模型能力
更成熟的技术架构
端侧几乎无负载
端云
协同
LLM LLM
成本更低
端和云LLM理互有互补;可以通过协同的方式进行能力补
[1]Apple intelligence
[2]华为AI白皮书
of 20
免费下载
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文档的来源(墨天轮),文档链接,文档作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。