AI 創(chuàng)業(yè)公司 MosaicML 近日發(fā)布了其 70 億參數(shù)模型 MPT-7B-8K,據(jù)悉,該模型一次可以處理 8000 字文本,相當擅長處理長文重點摘要和問答,還能在 MosaicML 平臺上根據(jù)特定任務,進一步微調(diào)相關配置。
據(jù)悉,系列模型采用了 150 萬個 Token,并以 256 塊 H100 GPU 花 3 天完成模型訓練而成。MosaicML 本次發(fā)布了 3 個版本模型,包括 MPT-7B-8k、MPT-7B-8k-Instruct 和 MPT-7B-8k-Chat。
其中,第一個版本 MPT-7B-8k、是以 Transformer 解碼器為基礎,并以 FlashAttention 和 FasterTransformer 機制來加速訓練與推論,能一次處理 8000 字文本,MosaicML 公司表示,該模型開源、允許商用。
第二個版本 MPT-7B-8k-Instruct 是以第一個版本 MPT-7B-8k 微調(diào)而成,MosaicML 公司表示,MPT-7B-8k-Instruct 模型可處理長篇指令,特別注重于生成“摘要和問答”,該模型一樣開源且可商用。
第三個版本 MPT-7B-8k-Chat 則是機器人對話式的 AI 模型,MosaicML 公司宣稱,該模型額外多用了 15 億個聊天數(shù)據(jù) Token,在第一版模型 MPT-7B-8k 之上繼續(xù)訓練而成,該模型開源,但不允許商用。
據(jù)此前報道,MosaicML 公司也推出了一款號稱訓練成本僅為競品零頭的 MPT-30B 開源模型,該公司日前已將所有開源模型發(fā)布于 Huggingface 平臺,感興趣的小伙伴們可以前往進行相關了解,還可以在本地硬件上使用自己的數(shù)據(jù),在下載后,對模型進行各種微調(diào)。