发布日期：2024-12-14 13:22 点击次数：55
如今，东谈主工智能正插足一个前所未有的新时期亚洲电影，以大模子为代表的东谈主工智能期间，正在百行万企加快落地，千般应用场景大地春回。但与此同期，东谈主工智能期间的执续进化和深度应用，以及大模子的随地吐花，也激勉出对智能算力的强劲条目。
本年9月发布的《中国综划算力指数答复(2024)》露出，中国算力范围位居寰宇第二；其中，智能算力快速增长，同比增速超越65%。从2003年到2023年，智能算力需求的增长超越百亿倍，组成了算力增长的最主要驱能源。在这一趋势下，若何瞎想支执大模子履行的盘算推算系统，若何构建自主翻新的软件生态，照旧成为推动东谈主工智能大模子翻新发展的“必答题”。
在日前召开的华为数字中国行2024·安徽新质分娩力翻新峰会上，中国工程院院士、清华大学盘算推算机科学与期间系耕种郑纬民在“支执东谈主工智能大模子的系统软件”的主题演讲中暗示，算力是大模子产业的主要支出，在构建支执大模子履行的盘算推算系统过程中，想要执续晋升自主翻新AI生态系统，就需要作念好系统瞎想和关连软件优化。
其中，瞎想大模子盘算推算系统需要沟通5个问题，包括多种精度运算性能的均衡、网罗均衡瞎想、内存均衡瞎想、IO子系统均衡瞎想、自主翻新AI盘算推算系统；而构建自主翻新软件生态则需要作念好10件事情，包括编程框架、并行加快、通讯库、算子库、AI编译器，编程说话，以及调遣器、内存分拨、容错系统、存储系统等。
插足大模子时期，算力资本居高不下
纵不雅所有2024年的东谈主工智能鸿沟，“东谈主工智能+”举止执续鞭策，“百模大战”仍在不竭。与此同期，大模子正加快走向落地应用，不仅在垂直鸿沟执续走深，其应用场景也缓缓走向千般化。正如郑纬民所说，东谈主工智能已插足大模子时期。
同期，郑纬民也从期间和应用层面对大模子的发展进行了分析：一方面，AI基础大模子正在从单模态向多模态发展。比如，在文本交互方面，ChatGPT竣事果然像东谈主类通常来聊天疏通；在图像创作方面，Midjourney AIGC画作《天外歌剧院》赢得东谈主类艺术比赛冠军；在视频生成方面，I2VGen-XL不错在用户上传1张图后2分钟生成高清视频。
另一方面，百行万企与AI的深度交融，正在加快行业智能化升级，创造更大价值。比如，在金融行业，在往时一年里，华为与启航点金融机构深刻互助，共同落地了超越100个AI智能场景，正在以大模子重塑金融的应用、末端交互及业务花式；在制造行业，华为工业AI质检惩处决议可全面隐敝工业鸿沟举止表率性检测、错误检测、定位、测量等场景，识别准确度达到98.5%以上。
不外，大模子的快速发展和深度应用，也给算力带来了新需乞降新挑战。对此，郑纬民从大模子生命周期的五个要领开始，即数据获取、数据预处理、模子履行、模子微和洽模子推理，进行了具体论说。
在数据获取阶段，在获取不同类型的原始数据并存储的过程中，海量小文献存储对文献系统提议新需求；在数据预处理阶段，在赶紧读取履行样本进行预处理大数据过程中，经常、赶紧小样本读取会对文献系统提议挑战；在模子履行阶段，大皆数据经过模子需要海量算力；在模子微调阶段，成人电影网站精调垂域模子需要可控算力；在模子推理阶段，及时处理用户申请需要安谧可靠算力。
郑纬民暗示，算力是大模子产业的主要支出。比如，在模子履行资本中，算力约占70%，数据占20%，东谈主力仅占10%；而在推理阶段，算力资本更是高达95%，东谈主工智能产业算力资本居高不下。
瞎想大模子盘算推算系统需要沟通5个问题
当今，由于海外对东谈主工智能的戒指，自主翻新AI系统和基于超等盘算推算机的系统仍需优化，我国要构建支执大模子履行的盘算推算系统仍濒临不小的长途。针对这一情状，华为照旧基于昇腾打造出头向“端、边、云”的全场景AI基础设施决议，隐敝深度学习鸿沟推理和履行全历程，全想法支执大模子履行。在此基础上，郑纬民暗示，要执续晋升自主翻新AI生态系统，需要作念好系统瞎想和关连软件优化。其中，瞎想大模子盘算推算系统需要沟通以下5个问题：
第一，多种精度运算性能的均衡。凭证科学盘算推算(AI For Science)和大模子履行的发展趋势，变精度均衡瞎想不错更好地顺应科学盘算推算和更浮浅的AI算法和应用需求；不外，在瞎想中不仅要沟通半精度运算性能，还要沟通双精度运算材干，双精度与半精度运算性能之比为1：50~1：100相比符合。
porn ai换脸第二，网罗均衡瞎想。网罗瞎想不成针对CNN算法，还需沟通极大范围预履行模子对系统的需求；而大范围预履行模子需要高带宽低延伸网罗，并支执数据并行、模子并行和巨匠并行花式。
第三，内存均衡瞎想。一方面，拜访内存的申请使网罗拥塞，缩小朦拢量，反应到应用措施上发达为访存性能权臣下跌，负载不均；另一方面，多个拜访内存的申请可能拜访归拢存控对应的内存空间，负载不均，存控需要规矩处理访存申请。
第四，IO子系统均衡瞎想。往时，在高性能机器应用时，为了幸免履行不被中断，浮浅遴选增多查验点的方法。比如，淌若预期系统平均三小时出现一次伪善，那么就在2.5小时驾御主动住手履行，并保存履行扫尾。此外，还有一种想法便是增多SSD，系统的土产货NVMe SSD仅通过土产货文献系统拜访戒指了其应用范围，可将每台做事器上的土产货NVMe整合成应用可见的全局散播式文献系统。
第五，淌若遴选自主翻新AI盘算推算系统，还需要作念好10件事：包括编程框架、并行加快、通讯库、算子库、AI 编译器、编程说话；以偏执它撑执软件，如调遣器、内存分拨、容错系统、存储系统等。
自主翻新软件生态需要作念好的10件事
在大模子盘算推算系统中，算力性能的认知不仅取决于硬件，更依赖于配套的软件生态。软件生态包括操作系统、编程框架、库、器具链等，它们共同组成了AI算力的“软实力”。以华为为例，通过推出异构盘算推算架构CANN、全场景AI框架昇想MindSpore、昇腾应用使能MindX和一站式开发平台ModelArts等，华为不仅构建起日趋完善的昇腾盘算推算软件体系，也在昇腾盘算推算产业生态上取得了全面进展。
在此基础上，郑纬民暗示，要改善自主翻新软件生态，需要作念好以下10件事情。
第一是编程框架，应缩小编写东谈主工智能模子的复杂度，哄骗基本算子快速构建东谈主工智能模子，如PyTorch、昇想MindSpore、TensorFlow。其中，全场景AI框架昇想MindSpore全场景AI框架昇想MindSpore具备一次开发云边端全场景部署、原生支执大模子履行、支执AI+科学盘算推算等要害秉性，可加快科研翻新和产业应用。
第二是并行加快，为多机多卡环境提供东谈主工智能模子并行履行的材干，支执数据并行、模子并行、活水线并行、张量并行等，如微软的DeepSpeed、昇腾MindSpeed、英伟达Megatron-LM。其中，昇腾MindSpeed是专为昇腾开采瞎想的大模子加快库，旨在崎岖大模子履行中的显存资源瓶颈，并加快履行过程。
第三是通讯库，要提供跨机跨卡的通讯材干，大约支执东谈主工智能模子履行所需千般通讯花式，能凭证底层网罗秉性充分哄骗网罗通讯带宽，如英伟达的NCCL库、昇腾HCCL库、超算遍及支执的MPI通讯库。其中，昇腾HCCL库算作基于昇腾盘算推算的高性能劝诱通讯库，可提供单机多卡以及多机多卡间的劝诱通讯材干，支执大模子的数据并行、模子并行、巨匠并行、pipeline并行、序列并行等多种加快决议。
第四是算子库，要提供东谈主工智能模子所需基本操作的高性能竣事，大约尽可能隐敝典型东谈主工智能模子所需的操作，能充分认知底层硬件的性能，如英伟达cuDNN、cnBLAS、昇腾ACLNN。
第五是AI编译器，可在异构处理器上对东谈主工智能措施生成高效的酌量代码；对算子库不成提供的操作，通过AI编译器自动生成高效酌量代码，如XLA、TVM、毕昇编译器。其中，毕昇编译器算作华为提供的一款高性能、高果然及易蔓延的编译器器具链，可提供深度优化的编译期间、增强多核并行化、自动矢量化等，大幅晋升请示和数据呑吐量。
第六是编程说话，要提供异构处理器上编写并行措施的支执；要隐敝底层硬件功能，认知硬件性能；大约编写东谈主工智能模子的基本算子（Operator），如英伟达的CUDA、华为的CANN Ascend C、Intel的oneAPI。其中，异构盘算推算架构CANN可进取支执多种AI框架，向下做事AI处理器与编程；并针对千般化应用场景，提供多端倪编程接口，支执用户快速构建基于昇腾平台的AI应用和业务。而Ascend C算子开发说话是CANN针对算子开发场景推出的编程说话，原生支执C/C++编程表率，可极大提高算子开发成果，助力AI开发者低资本完成算子开发和模子调优部署。
第七是调遣器，需提供在大范围系统上高效调遣东谈主工智能任务的材干；同期瞎想高效调遣算法，提高集群资源哄骗率，如Kubernetes（K8S）、华为ModelArts等。其中，ModelArts是华为云提供的一站式AI开发平台，可提供海量数据预处理及半自动化标注、大范围散播式履行、自动化模子生成及端-边-云模子按需部署材干，匡助用户快速创建和部署模子，治理全周期AI使命流。
第八是内存分拨系统，可针对东谈主工智能应用秉性提供高效的内存分拨计谋。
第九是容错系统，用来提供在硬件发生故障后快速规复模子履行的材干。
第十是存储系统，需支执履行过程中高效的数据读写（查验点、履行数据等）。
不外，自主翻新软件生态的诞生是一个长期而复杂的过程，需要企业、政府和开发者社区的共同勤奋。如今，在生态诞生上，华为照旧取得了长足进展，不仅包括整机硬件伙伴、IHV硬件伙伴、应用软件伙伴、一体机惩处决议伙伴以及生态运营伙伴等，还包括做事类伙伴、东谈主才定约伙伴、投融资运营伙伴等，以及繁密高校和开发者。由此，华为也将联袂生态伙伴共同推动大模子盘算推算系统的诞生，进而加快AI期间的翻新和应用。
异日亚洲电影，正如郑纬民所说：“大模子盘算推算系统均衡瞎想的5点沟通作念得好，别东谈主要用1万块卡，咱们用9000卡就不错了。把10件事情作念好，大模子盘算推算系统就能作念得很好。”