
文件密级:机密
背景
基于Transformer架构的大模型由于其在文本理解,语言生成,任务推理与以及多模态上展现出极强的能力;
在这个过程中,考虑到个性化,隐私,网络以及成本问题,相对于云端大模型推理,端上大模型推理逐渐扮
演越来越重要的角色。
端侧大模型市场将逐步增长 个性化场景下,用户更偏向于使用端侧模型能力
端侧大模型需有强需求场景
[1]2024年中国端侧大模型行业研究:算力优化与效率革命
[2]On-Device Language Models: A Comprehensive Review
文档被以下合辑收录
相关文档
评论