日期:2025/04/04 02:13来源:未知 人气:52
2月5日,根据市场调研最新报告,华为在2024年前两周以智能手机销量第一的位置,强势回归中国市场,这也是华为自19年以来首次登顶,麒麟9000S芯片是华为近期成功的关键!此外,近期华为盘古稀疏大模型新论文全新架构LocMoE出炉,继续降低大模型成本,突破提高MoE的训练效率,盘古大模型也会与华为纯血鸿蒙HarmonyOS NEXT进行深入合作应用!
从去年底到今年一月份,大模型领域又有了各种各样的新突破,基于 MoE 大模型Mixtral 8x7B大模型横空出世,华为诺亚方舟实验室与清华大学智能产业研究院陶大程教授等,一起推出了新型大语言模型架构盘古-π!
今年1月18日,华为在"鸿蒙生态千帆启航"发布会上,正式宣布"纯血鸿蒙"发布,余承东表示鸿蒙生态设备已增长到8亿台,未来将与盘古大模型进行深度整合,将首发华为Mate等旗舰系列。
盘古-π模型在传统Transformer架构上做出改进,在多头自注意力机制(MSA)和前馈网络(FFN)中,增强非线性以解决特征崩溃问题,在使用相同数据训练的情况下,盘古-π(7B)在多任务上超越LLaMA 2等同规模大模型,并能实现10%的推理加速。
同时还基于这一架构炼出了一个金融法律大模型“云山”,相比于其他家的大模型,华为盘古主要专注于AI产业化方向,降低AI技术的应用门槛,此前已有盘古气象、矿山等多个大模型,与国家气象局合作,助力各行业智能化。
近日,华为在盘古大模型的基础上,再对Mixtral所使用的开源架构MoE进行改进,提出了LocMoE新型MoE架构,对路由机制进行调整,旨在缓解现有MoE在训练效率和性能方面的瓶颈问题,相比于传统路由方式,LocMoE能够加快训练速度提高12.68%-22.24%左右,而不影响准确性。
目前LocMoE已经嵌入到盘古-Σ 38B模型中,相比于之前的7B版本,盘古-Σ 38B使用了金融、健康等超过40个领域的语料进行预训练,模型语义理解和表达能力都有一定程度的提高,特别是在专业领域知识的学习方面,也符合华为未来对盘古应用的定位。
根据市场调研报告,IDC表示去年华为已经重回出货前五榜单,市场调研机构Counterpoint Research数据表示,华为在2024年的前两周以智能手机销量第一的位置,强势回归中国市场,这也是自19年制裁以来,华为首次登顶。
2023年,中国高端智能手机市场上升27%,苹果凭借上半年表现长期领跑,但从第三季度开始市场份额被华为等国产品牌逐步蚕食,华为重回第一的成绩,得益于麒麟9000S芯片以及Mate60系列手机的优异表现,强大的品牌效应和鸿蒙系统也为华为提供支持,中国品牌在高端市场的竞争力不断增强,将继续发力,整体市场竞争仍然激烈,中国的小米、OPPO、vivo等科技公司也在高端领域不断推出新机,挑战苹果和三星等国际巨头地位!