EDA365欢迎您登录！

您需要登录才能下载或查看，没有账户？注册

X

华为最新大模来了！ 盘古3.0问世，千亿参数规模、3万亿代币，说“不写诗，只做事”

' C！ Y，P^9 k/ z！ w

• a-U：z。 m( O.y6 【现场演示行业模型

！ g) ?# y$ w2 t; C*/G; B1" _& D!f' @9 M4 R

来自东莞的明敏

0 V5 w2 u: l3 w1 y 量子位 | 公众号QbitAI。 P，一个/^！ U7 O' q+ W, f

终于，华为大机型的潮流来了！

6 y8 j9 g# B、p2 v盘古大模型3.0，今日正式发布。 ！ C.`_。 o& Z3 p; }

底层基础大模型包括百亿参数、380亿参数、710亿参数、千亿参数四个版本。 超过 3 万亿代币用于预训练。 9 克* ?% _; U%V)n

(q. J7 H2 X) f' M0 o1 ^不过，与之前的传闻不同，盘古大模型3.0并不是ChatGPT的盘古版，而是一个面向行业的大模型系列。

4 f' M/ N+ S4 I# X 用华为自己的话说：' j7 m- G; k' q9 R3 v2 p

盘古大模型不写诗。

&G2\%\! x' q+ k: |9 Q（并且整个场景中没有关键字“生成”的提示）！ `0米）e7 u！ a* ?9 r3 C5 p

因此，在平时的现场演示中，华为也派出了业界的大型模型来上场。

- |\1 j。 y* O 比如让政务大模型判断照片中除了卡车以外哪些车辆是违法的。 可以看到大模型标注了三辆车，并给出了原因。 。 R4]。 d5 L" V( b4 u

6 q9 _8 A: J1 P. ^$ Q2 |同时，可提供2000P Flops单集群的升腾AI云服务在乌兰察布和贵安同步上线。 - g( [6 x.i7 J

“千亿规模的大模型具备涌现和思考链的能力”

" e/ W/ l.x& s5 s3 \8 `, S: v" f

4 H0 x4 a; l4 J- {盘古大型模型3.0不想写诗，而是想产业化。 %G7l-@:S%^#l3I

这从它的结构就可以看出来。 盘古模型3.0分为三层： 1 {! 你/ d：}。 u7 Z8 z

其中，L0层的基础大模型负责提供通用技能。

1 v# L4 _M8 \! ] 模型可以分为自然语言大模型和多模态大模型。 能力涵盖对话问答、文案生成、图像生成、图像理解等。

5 d9 ^+ K' W/ t8 a4 B$ t, q

:t/P'G,d(`%G2t

预训练数据包含超过3万亿个token，使用超过1000+TB的数据进行训练，指令微调数据也在千万级。 :@'i$r2y(W&s%k%_:u

1 O1 m1 J( e!_: O

而盘古基础模型是一个可扩展且高度可扩展的稀疏密集语言模型。 ) Ks2 O' \2 R0 {! J3 g) x5 u, z9 I

千亿级密集模型已经具备了涌现和思考链条的能力，形成了基础； 通过稀疏性，它可以成为不同的“行业专家”，这可以使推理过程更加高效。 B7 C5 G z) s* B5 R6 F: U

• |9 s& ?8 q4 A% U

L1层由N个大的行业模型组成。 - `$O, [1y*M; B4 M）你

对此，华为利用行业公共数据，训练了政务、金融、制造、矿业、气象等多个行业的通用大规模模型。

8f%O，{！ d0 [8 U+ j% i$ @ 比如气象方面，盘古气象大模型的最新成果刚刚发表在《Nature》主刊上，仅需1.4秒即可完成24小时全球天气预报。

9 X- q- U5 A. R$ {) X# U% t 此外，业界可以在L0和L1的基础上，根据自己的数据改变或训练自己的专用大模型。 b/ v( P& B$ e6 t.{" _

& a1 S2 j0 A0 N; 氧

L2层提供了更详细的场景模型，注重“开箱即用”。 可聚焦政务热线、网络助手、领先毒品筛查、传送带异物检测、台风路径预测等特定行业应用或特定业务场景。 1 k( b3 s) _7 y8 P: f

据了解，为了快速适配、快速满足行业需求，盘古大模型采用了完整的分层解耦设计。

+ a- D% q) d． n' m2 ~基于L0和L1大模型，华为云还提供了大模型行业开发套件，通过对自有数据进行二次训练，您可以拥有自己的专属行业大模型。 $ l7 ? z# s @9 ^! e) m0 a

同时，根据客户不同的数据安全和合规需求，Pangea大模型还提供公有云、大模型云区以及混合云的多样化部署形式。

8 X5 _$ }2 c* A/ t- ]8 C0 ~' X% q华为底层构建了基于鲲鹏、升腾的AI算力云平台，以及异构计算架构CANN和全场景AI框架盛思MinDSpore、AI开发产线ModelArts等，可为大型模型的开发运行提供分布式并行加速、算子与编译优化、集群级通信优化等关键能力。

% i" n' z% i.v2 w" e, z基于华为AI根技术，大模型训练性能可调整至业界主流GPU的1.1倍。

/ A# E( u&V: Kl

！ JJS; 哦！ o* j- N"|华为云2000P Flops单集群升腾AI云服务在乌兰察布、贵安同步上线。 4 N- E7 e, r+ w4 i

披露的数据显示，升腾云AI服务千卡训练30天长期稳定率达到90%，断点恢复时间不超过10分钟。 # H" l;D1 v+ O5 i+ V* E2 h

除了支持华为AI框架Mindspore外，还支持Pytorch、TensoRFlow等主流AI框架。 框架内90%的算子都可以通过华为的迁移工具从GPU平滑迁移到Ascend。

• x% K) V！ @8N！ E6 @：W3 O 例如，美图在短短 30 天的时间内将 70 个模型迁移到 Ascend，华为云与美图团队联合优化了 30 多个算子以及流程的并行加速，AI 性能提升了与原方案相比提高了30%。

》 N1 C. Y% Q7 o. nX1 _大型气象模型发表在《Nature》主刊上

+ D； x* O9 _9 Y.J7 N9 j8 f1 `9 E: X2 X( q6 @8 |& v# s

在展示了盘古模型3.0的基本能力后，华为还公开了盘古模型的一系列行业应用数据。

]8 R#^/z9]近日，《Nature》屏幕上出现大型盘古气象模型的消息被刷屏。 9 q7 ]9 j$ A$ c) l

据悉，盘古气象大模型是首个人工智能预报模型，其精度超越传统数值预报方法，预报速度也大幅提升。

; X！ I5 F* rg1 米！ O8 【原来预测未来10天台风路径需要在3000台服务器的高性能计算机集群上模拟5个小时。 现在，基于预训练的盘古气象大模型，通过AI推理，研究人员只需在单台服务器上配置单卡，就能在10秒内获得更准确的预测结果。

4 PE) m& ?9 b& K

[: z& T8 X( \; ^0 K) E 在药物研发领域，事实证明，开发一种新药平均需要10年时间，耗资10亿美元。 盘古药物大分子模型帮助西安交通大学第一附属医院刘兵教授团队40年来发现全球首个新靶点、新类别抗生素，并将先导药物研发周期缩短至一个月并降低70%的开发成本。 (Z;R/?7P(Z-H,O)t/^

在铁路领域，盘古铁路大模型可准确识别现网运行的67类货车、430余类故障，无故障图片筛选率高达95%。 它从每天数百万个“图海”的检测中解放出来。 ' S: E- y0 Z/ z, T" e

/ \2 I: ?/ u: Q; o0 w7 _( u;s 华为常务董事、华为云CEO张平安对最新趋势进行了最简洁的总结：;L/ P0 j" N0 @' _1 x

盘古大模型将让每个行业、每个公司、每个人都拥有自己的专家助手，让工作变得更高效、更轻松。

• b) c. X&P.N； Y9 @) m% o7 ^我们始终坚持AI赋能产业战略，在产业深化的道路上不断前行。 我坚信，大模型将重塑万千行业，每一位开发者都将成为改变世界的英雄。

0 j2 Y5 ]/ ]$ v0 k* Y

, M& ]: Y" B$ T( T4 m% Z 版权所有，未经授权不得以任何形式转载和使用，违者追究责任。 0 d' D4 z: p& P6 j, c+ B

5\4m； W* g( Er4 K1 F