飛象網(wǎng)訊 3月15日凌晨，OpenAI 發(fā)布了多模態(tài)預(yù)訓(xùn)練大模型 GPT-4。GPT-4 實(shí)現(xiàn)了以下幾個(gè)方面的飛躍式提升：圖片輸入和識(shí)別能力；文字輸入限制提升至 2.5 萬(wàn)字；回答準(zhǔn)確性顯著提高；能夠生成歌詞、創(chuàng)意文本，實(shí)現(xiàn)風(fēng)格變化。時(shí)隔6個(gè)月，ChatGPT以它強(qiáng)大的進(jìn)化能力，再次震驚業(yè)界。
16日下午，百度基于文心大模型技術(shù)推出的生成式AI對(duì)話產(chǎn)品“文心一言”也橫空出世，“中國(guó)版ChatGPT”來了！
ChatGPT是自然語(yǔ)言處理（NLP）下的AI大模型，通過大算力、大規(guī)模訓(xùn)練數(shù)據(jù)突破AI瓶頸。2022年11月，OpenAI推出ChatGPT，ChatGPT基于GPT-3.5，使用人類反饋強(qiáng)化學(xué)習(xí)技術(shù)，將人類偏好作為獎(jiǎng)勵(lì)信號(hào)并微調(diào)模型，實(shí)現(xiàn)有邏輯的對(duì)話能力。根據(jù)《瞭望》新聞周刊3月報(bào)道，OpenAI為了讓ChatGPT的語(yǔ)言合成結(jié)果更自然流暢，使用了45TB的數(shù)據(jù)、近1萬(wàn)億個(gè)單詞來訓(xùn)練模型，訓(xùn)練一次的成本高達(dá)千萬(wàn)美元，一個(gè)月的運(yùn)營(yíng)成本需要數(shù)百萬(wàn)美元。
我們?cè)陉P(guān)注GPT落地場(chǎng)景的同時(shí)，也在思考影響GPT未來發(fā)展的各個(gè)因素。其中，云計(jì)算在GPT（Generative Pre-trained Transformer）技術(shù)發(fā)展中起到了至關(guān)重要的作用，“云”提供的計(jì)算資源、網(wǎng)絡(luò)連接、數(shù)據(jù)存儲(chǔ)和管理等方面的優(yōu)勢(shì)，使得GPT能夠更快、更準(zhǔn)確地生成自然語(yǔ)言文本，不斷推動(dòng)著自然語(yǔ)言處理技術(shù)的進(jìn)步和發(fā)展。
1. 大規(guī)模算力
云計(jì)算提供了強(qiáng)大、彈性擴(kuò)展的計(jì)算資源，這對(duì)于GPT的訓(xùn)練和生成文本過程是至關(guān)重要的。GPT的訓(xùn)練需要使用大規(guī)模的計(jì)算資源，包括CPU、GPU、TPU等。云計(jì)算底層的數(shù)據(jù)中心可以提供高性能的計(jì)算機(jī)和硬件設(shè)備，并且可以進(jìn)行優(yōu)化，提高計(jì)算資源的利用率，從而加速GPT的訓(xùn)練和生成速度。同時(shí)，云計(jì)算也可以提供強(qiáng)大的并行計(jì)算能力，將多個(gè)計(jì)算任務(wù)同時(shí)分配到不同的計(jì)算節(jié)點(diǎn)中進(jìn)行計(jì)算，提高訓(xùn)練效率和速度。
2. 數(shù)據(jù)存儲(chǔ)
云計(jì)算提供了可靠的數(shù)據(jù)存儲(chǔ)和備份機(jī)制，這可以保證GPT的預(yù)訓(xùn)練數(shù)據(jù)、模型參數(shù)和生成的文本數(shù)據(jù)都得到充分的保護(hù)和管理；防止數(shù)據(jù)丟失或被損壞。同時(shí)，還可以提供數(shù)據(jù)安全和隱私保護(hù)服務(wù)，確保GPT的數(shù)據(jù)安全和隱私得到充分的保護(hù)。
3. 網(wǎng)絡(luò)帶寬
云計(jì)算可以提供高速的網(wǎng)絡(luò)帶寬和存儲(chǔ)設(shè)備來支持GPT的訓(xùn)練和推理。GPT模型的訓(xùn)練和推理需要大量的數(shù)據(jù)傳輸和存儲(chǔ)，而云可以提供高速的網(wǎng)絡(luò)帶寬和存儲(chǔ)設(shè)備來支持模型的訓(xùn)練和推理。這可以顯著提高GPT算力的效率和性能。
4. 電力供應(yīng)
在GPT訓(xùn)練中，電力是一個(gè)不可或缺的因素。這是因?yàn)镚PT模型需要通過大規(guī)模的計(jì)算和數(shù)據(jù)傳輸來進(jìn)行訓(xùn)練和推理，這些計(jì)算和數(shù)據(jù)傳輸需要大量的能量。因此，云計(jì)算基礎(chǔ)設(shè)施的電力供應(yīng)對(duì)于GPT的算力和效率具有決定性的影響。
云計(jì)算的核心即為通過云端提供海量算力，從這個(gè)角度來說，采用云基礎(chǔ)設(shè)施就有了跑通AI算力、AI大模型和生成式AI應(yīng)用的入場(chǎng)券。UCloud作為國(guó)內(nèi)領(lǐng)先的云計(jì)算廠商，也成為了GPT入口處的鋪路人。
從GPT訓(xùn)練需要的大規(guī)模算力來看，UCloud在國(guó)家“東數(shù)西算”樞紐自建的烏蘭察布云基地提供了GPU高性能計(jì)算產(chǎn)品，上線了NVIDIA的A100、V100S等諸多推理顯卡，以及AMD的高性能計(jì)算顯卡MI100，滿足不同用戶在多場(chǎng)景下的GPU加速需求；同時(shí)，基于IB網(wǎng)絡(luò)環(huán)境的多節(jié)點(diǎn)高性能計(jì)算集群，更好匹配超高計(jì)算性能，實(shí)現(xiàn)多節(jié)點(diǎn)間無(wú)損通信，滿足用戶多節(jié)點(diǎn)并行計(jì)算的場(chǎng)景需求。針對(duì)大模型AI訓(xùn)練場(chǎng)景，推出高功率、高配置的算力集群。集群的服務(wù)器搭載8張80G顯存的A100顯卡、配有128C的CPU以及1.5T的大內(nèi)存，節(jié)點(diǎn)間通過無(wú)損的IB網(wǎng)絡(luò)連接，可滿足大規(guī)模分布式訓(xùn)練需求。此外，基于A100 Ampere架構(gòu)下MIG切分特性，最多可切分7個(gè)實(shí)例，可滿足不同的算力需求。
烏蘭察布云基地的金翼UXZone專區(qū)提供基于NVIDIA A800和Mellanox Infiniband網(wǎng)絡(luò)的GPU集群方案，根據(jù)客戶的大模型需求定制專屬資源池，并提供IB網(wǎng)絡(luò)、GPU服務(wù)器的監(jiān)控和運(yùn)維管理服務(wù)。
UCloud烏蘭察布云基地部署了新一代歸檔存儲(chǔ)產(chǎn)品US3。US3在國(guó)內(nèi)首次采用高密JBOD機(jī)型和SMR盤，并采用自研存儲(chǔ)架構(gòu)實(shí)現(xiàn)該技術(shù)落地，單位機(jī)架的存儲(chǔ)容量提升5.375倍，磁盤數(shù)量增加59%，單塊磁盤存儲(chǔ)空間提升150%。產(chǎn)品可以兼容SMR、CMR盤、雙活高可用、支持上下電的IO調(diào)度、EC的靈活配置和磁盤故障自動(dòng)發(fā)現(xiàn)。US3相較標(biāo)準(zhǔn)存儲(chǔ)降低近80%的存儲(chǔ)成本，與市場(chǎng)同類產(chǎn)品相比降低近30%成本，可為GPT需要的海量語(yǔ)料數(shù)據(jù)進(jìn)行存儲(chǔ)和備份，提供更具性價(jià)比的備份方案。
烏蘭察布具有豐富、可靠的電力資源。UCloud優(yōu)刻得的烏蘭察布云基地獲得了國(guó)家A級(jí)/等保三級(jí)資質(zhì)認(rèn)證，可用性高達(dá)99.99%，可以保障GPT模型的訓(xùn)練和推理不受電力資源不足的限制，保障模型訓(xùn)練和推理的穩(wěn)定性和持續(xù)性，提高其分析效率和性能。此外，烏蘭察布電力價(jià)格相對(duì)較低，在此基礎(chǔ)上，UCloud采用多種節(jié)能環(huán)保技術(shù)，最大限度來降低數(shù)據(jù)中心PUE值，可為GPT模型訓(xùn)練和推理降低30%-50%的運(yùn)營(yíng)成本。
統(tǒng)一管理的云計(jì)算基礎(chǔ)設(shè)施還為GPT提供了更加安全、穩(wěn)定的訓(xùn)練環(huán)境。UCloud烏蘭察布云基地采用WEB應(yīng)用防火墻UWAF、DDoS攻擊防護(hù) UDDoS、主機(jī)入侵檢測(cè) UHIDS等一系列安全防護(hù)產(chǎn)品，實(shí)現(xiàn)全方位的安全防護(hù)。運(yùn)維人員實(shí)行7*24*365安全運(yùn)維保障，保護(hù)AI模型和數(shù)據(jù)的安全，幫助用戶解決各種問題和挑戰(zhàn)。
通過可靠的電力供應(yīng)、大規(guī)模的計(jì)算資源、高速的網(wǎng)絡(luò)連接、更具性價(jià)比的數(shù)據(jù)存儲(chǔ)備份方案，UCloud優(yōu)刻得的云計(jì)算基礎(chǔ)設(shè)施可以為ChatGPT模型的訓(xùn)練和推理提供強(qiáng)有力的支持，促進(jìn)其在各個(gè)領(lǐng)域探索發(fā)展和應(yīng)用。
針對(duì)大規(guī)模訓(xùn)練或通用AI訓(xùn)練場(chǎng)景，UCloud優(yōu)刻得還推出了A800 GPU服務(wù)器預(yù)售。
