首頁|必讀|視頻|專訪|運營|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計算|芯片報告|智慧城市|移動互聯(lián)網(wǎng)|會展
首頁 >> 云計算 >> 正文

肯睿Cloudera:2024年生成式AI及云領(lǐng)域的五大趨勢預(yù)測

2023年12月1日 18:01  CCTIME飛象網(wǎng)  

Cloudera亞太區(qū)首席技術(shù)官Daniel Hand

就在十二個月前,“生成式設(shè)計人工智能”還處于Gartner新興技術(shù)成熟度曲線的邊緣;而如今,Gartner認(rèn)為“生成式人工智能”(生成式AI)已接近期望膨脹期的頂峰。

生成式AI的優(yōu)勢令人趨之若鶩且影響深遠。分析師認(rèn)為它將影響各個主要行業(yè)和工作崗位。麥肯錫在2023年的一份報告中指出,當(dāng)前的生成式AI等技術(shù)有可能使目前占用員工60%至70%時間的工作活動實現(xiàn)自動化。IDC的研究也強調(diào)了今年亞太地區(qū)有三分之二的企業(yè)正在探索或投資于生成式AI。

隨著2024年的臨近,預(yù)計企業(yè)將加大力度實現(xiàn)生成式AI操作化和改進,并調(diào)整其管理各個環(huán)境(尤其是云環(huán)境)日益增長的數(shù)據(jù)量的方式,以提高靈活性,并推動業(yè)務(wù)增長。

以下是2024年生成式AI及云領(lǐng)域的五大趨勢預(yù)測。

趨勢一:強大的MLOPS和數(shù)據(jù)集成賦能生成式AI的操作化

自2022年11月ChatGPT v3.5發(fā)布以來,企業(yè)一直面臨著一個難題:如何一面安全地為其提供足夠的上下文數(shù)據(jù)以使其發(fā)揮作用,一邊充分挖掘其優(yōu)勢。

ChatGPT和其他基于軟件即服務(wù)(SaaS)的大型語言模型(LLM)給企業(yè)帶來了巨大的數(shù)據(jù)隱私挑戰(zhàn)。在許多情況下,問題、答案和上下文數(shù)據(jù)都可能是敏感數(shù)據(jù),而這對于重復(fù)使用這些數(shù)據(jù)來重新訓(xùn)練模型的公共多租戶服務(wù)來說是不合適的。

快速發(fā)展的開源LLM(如Meta的Llama-v2)已具備與ChatGPT旗鼓相當(dāng)?shù)男阅埽⒊蔀榱丝尚械奶娲桨。但生成式AI模型很難通過可擴展且可靠的方式從實驗室轉(zhuǎn)移到生產(chǎn)中。更何況這些模型通常還需要在多個應(yīng)用之間共享,因此與傳統(tǒng)的機器學(xué)習(xí)(ML)模型相比會帶來更大的數(shù)據(jù)集成挑戰(zhàn)。

預(yù)計在2024年,企業(yè)將繼續(xù)專注于開發(fā)強大的機器學(xué)習(xí)操作(MLOPS)和數(shù)據(jù)集成能力。

趨勢二:企業(yè)將加倍重視檢索增強生成(RAG)和微調(diào)功能以優(yōu)化LLM

優(yōu)化LLM性能的方法包括提示工程、檢索增強生成(RAG)和微調(diào)等。

RAG使用知識庫中的內(nèi)容豐富提示并提供必要的上下文。RAG架構(gòu)的關(guān)鍵組成部分之一是一個以特殊方式編制索引的知識庫內(nèi)容數(shù)據(jù)庫。

用戶問題先被轉(zhuǎn)換成數(shù)學(xué)表達形式,然后用于搜索數(shù)據(jù)庫中與之最接近的內(nèi)容。用戶問題作為提示的一部分被發(fā)送至LLM進行推理。同步提供問題和領(lǐng)域上下文可顯著改進推理結(jié)果。

事實證明,由于RAG不需要對LLM進行任何訓(xùn)練或調(diào)整,同時還能生成出高質(zhì)量的結(jié)果,因此它是采用LLM的一條有效途徑。不過,它確實需要數(shù)據(jù)工程管道以維護知識庫,還需要專門的向量數(shù)據(jù)庫存儲索引數(shù)據(jù)。

相信在2024年,RAG仍將是許多企業(yè)采用生成式AI的一條可行途徑。

性能高效微調(diào)(PEFT)在2023年備受關(guān)注。高效微調(diào)在特定領(lǐng)域數(shù)據(jù)上訓(xùn)練一個小型神經(jīng)網(wǎng)絡(luò)并與通用LLM并存,它能夠以極低的成本和極少的訓(xùn)練數(shù)據(jù),實現(xiàn)反復(fù)訓(xùn)練大型LLM所獲得的大部分性能優(yōu)勢。雖然對LLM進行微調(diào)需要更強大的ML能力,但可以帶來更高的效率、可解釋性和更準(zhǔn)確的結(jié)果,尤其是在訓(xùn)練數(shù)據(jù)有限的情況下。

預(yù)計在2024年,像高效微調(diào)這樣的微調(diào)方法將被越來越多的企業(yè)用于新項目,并取代早期的RAG 架構(gòu)。在擁有較大、較強數(shù)據(jù)科學(xué)團隊的企業(yè)中,這種方法的應(yīng)用將最為廣泛。

趨勢三:企業(yè)將從“云優(yōu)先”轉(zhuǎn)向謹(jǐn)慎的云戰(zhàn)略

2024年,云計算將繼續(xù)成為企業(yè)數(shù)據(jù)戰(zhàn)略中的一項重要變革技術(shù)。

一些企業(yè)在2023年將他們的云戰(zhàn)略從原先的“云優(yōu)先”調(diào)整為謹(jǐn)慎、平衡的戰(zhàn)略,這與大多數(shù)大型企業(yè)所采取的保守舉措不謀而合。推動這一轉(zhuǎn)變的因素包括云對許多可預(yù)測的分析工作負(fù)載的經(jīng)濟性、數(shù)據(jù)管理法規(guī)、考慮到經(jīng)濟狀況不確定性的企業(yè)財政政策等。

這些企業(yè)已選擇跨公有云和私有云的云原生架構(gòu)支撐其數(shù)據(jù)和云戰(zhàn)略,而云原生所帶來的靈活性、可擴展性和所節(jié)省的成本可抵消因其增加的架構(gòu)復(fù)雜性。

由此產(chǎn)生的跨公有云和私有云的數(shù)據(jù)編織架構(gòu)為智能、自動化和策略驅(qū)動的數(shù)據(jù)管理方法奠定了基礎(chǔ)。

趨勢四:數(shù)據(jù)管理自動化、數(shù)據(jù)民主化和零信任安全仍將是首要考慮因素

由于數(shù)據(jù)仍在以成倍的速度生成和被獲取,企業(yè)需要提高數(shù)據(jù)平臺管理的自動化和智能化水平。因此,跨基礎(chǔ)設(shè)施、平臺和工作負(fù)載的可觀察性將在 2024 年發(fā)揮更加重要的作用。

而這是實現(xiàn)高性能、高可靠性和高效率智能平臺自動化的先決條件。用于訓(xùn)練ML模型的運營數(shù)據(jù)將成為智能數(shù)據(jù)平臺的核心。數(shù)據(jù)從業(yè)人員將繼續(xù)推動數(shù)據(jù)的進一步民主化并增加更多的自助服務(wù)選項。這一點與Data Mesh范式最重要的原則之一相吻合。

最具創(chuàng)新性的企業(yè)將賦能數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師和業(yè)務(wù)分析師,讓他們無需通過數(shù)據(jù)關(guān)守就能從數(shù)據(jù)中獲得更多洞察。在2024年,企業(yè)和技術(shù)提供商將重視消除數(shù)據(jù)生命周期各個階段的摩擦,以及增加對實時數(shù)據(jù)的訪問。

各種混合云原生架構(gòu)的出現(xiàn)、第三方SaaS與平臺即服務(wù)(PaaS)的采用以及網(wǎng)絡(luò)安全的加強繼續(xù)推動人們對數(shù)據(jù)安全、零信任以及明確劃分?jǐn)?shù)據(jù)管理責(zé)任的關(guān)注。

零信任要求對使用數(shù)據(jù)的用戶和系統(tǒng)進行持續(xù)身份驗證和授權(quán)。這些主體將越來越多地被授予執(zhí)行特定任務(wù)所需的最低權(quán)限,同時也受到嚴(yán)格的審核。這將成為推動數(shù)據(jù)治理和管理創(chuàng)新的一項重要職能,同時滿足日益增長的數(shù)據(jù)訪問民主化需求。

隨著數(shù)據(jù)聯(lián)邦日益受到關(guān)注,預(yù)計在2024年,技術(shù)將進一步簡化企業(yè)內(nèi)部乃至企業(yè)之間的零信任落地與執(zhí)行。

趨勢五: 向開放式數(shù)據(jù)湖倉遷移已迫在眉睫

數(shù)據(jù)湖倉的實現(xiàn)方式在2022年出現(xiàn)了重大創(chuàng)新,業(yè)界領(lǐng)先的數(shù)據(jù)管理提供商奠定了Apache Iceberg“正式格式”的地位。Iceberg作為首選的開放技術(shù)之一而被迅速采用,而幾乎可以確定的是,這將影響一些數(shù)據(jù)管理提供商改變其開源戰(zhàn)略并在其產(chǎn)品中加入對Iceberg的支持。

預(yù)計在2024年,數(shù)據(jù)和工作負(fù)載將穩(wěn)步遷移至跨公有云和私有云的開放式數(shù)據(jù)湖倉架構(gòu)中。

編 輯:魏德齡
聲明:刊載本文目的在于傳播更多行業(yè)信息,本站只提供參考并不構(gòu)成任何投資及應(yīng)用建議。如網(wǎng)站內(nèi)容涉及作品版權(quán)和其它問題,請在30日內(nèi)與本網(wǎng)聯(lián)系,我們將在第一時間刪除內(nèi)容。本站聯(lián)系電話為86-010-87765777,郵件后綴為#cctime.com,冒充本站員工以任何其他聯(lián)系方式,進行的“內(nèi)容核實”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權(quán)。
相關(guān)新聞              
 
人物
工信部張云明:大部分國家新劃分了中頻段6G頻譜資源
精彩專題
專題丨“汛”速出動 共筑信息保障堤壩
2023MWC上海世界移動通信大會
中國5G商用四周年
2023年中國國際信息通信展覽會
CCTIME推薦
關(guān)于我們 | 廣告報價 | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證080234號 京公網(wǎng)安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經(jīng)書面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像