5月17日消息，摩爾線程、憨猴科技集團聯合宣布，基于摩爾線程的夸娥（KUAE）千卡智算集群，憨猴集團成功完成了7B、34B、70B不同參數量級的大模型分布式訓練。
經雙方共同嚴苛測試，兼容適配程度高，訓練效率達到預期，精度符合要求，整個訓練過程持續穩定。
這充分驗證了夸娥智算集群作為國產全功能GPU千卡千億大模型預訓練平臺，在穩定性、高效能、易用性和高算力利用率的先進性。
這也是憨猴集團首次使用國產AI算力完成大模型訓練測試，后續可為其服務的國有企業與運營商等關鍵領域，提供更加堅實可靠的國產AI訓練平臺，以及成本效益更優的國產算力解決方案。
同時，摩爾線程與憨猴集團簽署了戰略合作協議。
雙方將聚焦AI大模型和算力領域，通過摩爾線程夸娥千卡智算集群與憨猴集團AI智算產品及數字化解決方案的深度融合，共同探索國產AI算力的新應用場景與落地實踐，加速數智化產業的全面升級。
在此之前，摩爾線程已成為第一家接入無問芯穹，并成功完成千卡級別大模型訓練的國產GPU公司，夸娥千卡集群與無穹Infini-AI順利完成了系統級融合適配，并完成了LLama2 700億參數大模型的訓練測試。
“夸娥”集群基于雙路八卡GPU服務器MCCX D800，每個節點有八塊MTT S4000 GPU加速卡、兩顆Intel第四代至強處理器、16 x 64GB內存、4 x 3.84TB NVMe SSD，以及雙路400Gb IB、四路25Gb以太網網絡，一體化交付解決大規模GPU算力的建設和運營管理問題。
夸娥氏是我國神話傳說中的大力神，出自《愚公移山》：“帝感其誠，命夸娥氏二子負二山，一厝朔東，一厝雍南。自此，冀之南，漢之陰，無隴斷焉。”
本文鏈接：http://m.bbbearmall.com/news-129364.html摩爾線程千卡GPU集群！憨侯完成700億參數大模型訓練
