发布日期：2024-09-28 05:08 点击次数：74
9月25日，在2024百度云智大会上，百度智能云文书将百舸AI异构计较平台全面升级至4.0版块。升级后的百舸，围绕落地大模子全旅程的算力需求，在集群创建、竖立推行、模子考试、模子推理四大方面哥哥啪，为企业提供“多、快、稳、省”的AI基础纪律。为了惩处算力资源零落的问题，百舸4.0对“多芯混训”才气进行了重心升级，末端了在万卡领域集群上95%的多芯羼杂考试着力，达到业务最开头水平。
在集群部署圭表，升级后的百舸不祥末端器具层面的秒级部署，将万卡集群开动准备时刻从数周最快缩减至1小时，极地面擢升部署后果，裁减业务上线周期。针对大模子考试历程中故障频发的问题，百舸4.0全面升级了故障检测时代和自动容错机制，不错有用责问故障发生频次，大幅减少集群故障处置时刻，在万卡集群上末端了跨越99.5%的有用考试时长。在模子推理上，最遑急的是速率和老本。咫尺长文本推理逐渐成为主流，百舸4.0全体上作念了推理速率和老本优化，长文本推理后果擢升了1倍以上。（全天候科技）