Cloudera亞太區(qū)首席技術(shù)官Daniel Hand
就在十二個(gè)月前，“生成式設(shè)計(jì)人工智能”還處于Gartner新興技術(shù)成熟度曲線的邊緣；而如今，Gartner認(rèn)為“生成式人工智能”（生成式AI）已接近期望膨脹期的頂峰。
生成式AI的優(yōu)勢(shì)令人趨之若鶩且影響深遠(yuǎn)。分析師認(rèn)為它將影響各個(gè)主要行業(yè)和工作崗位。麥肯錫在2023年的一份報(bào)告中指出，當(dāng)前的生成式AI等技術(shù)有可能使目前占用員工60%至70%時(shí)間的工作活動(dòng)實(shí)現(xiàn)自動(dòng)化。IDC的研究也強(qiáng)調(diào)了今年亞太地區(qū)有三分之二的企業(yè)正在探索或投資于生成式AI。
隨著2024年的臨近，預(yù)計(jì)企業(yè)將加大力度實(shí)現(xiàn)生成式AI操作化和改進(jìn)，并調(diào)整其管理各個(gè)環(huán)境（尤其是云環(huán)境）日益增長(zhǎng)的數(shù)據(jù)量的方式，以提高靈活性，并推動(dòng)業(yè)務(wù)增長(zhǎng)。
以下是2024年生成式AI及云領(lǐng)域的五大趨勢(shì)預(yù)測(cè)。
趨勢(shì)一：強(qiáng)大的MLOPS和數(shù)據(jù)集成賦能生成式AI的操作化
自2022年11月ChatGPT v3.5發(fā)布以來(lái)，企業(yè)一直面臨著一個(gè)難題：如何一面安全地為其提供足夠的上下文數(shù)據(jù)以使其發(fā)揮作用，一邊充分挖掘其優(yōu)勢(shì)。
ChatGPT和其他基于軟件即服務(wù)（SaaS）的大型語(yǔ)言模型（LLM）給企業(yè)帶來(lái)了巨大的數(shù)據(jù)隱私挑戰(zhàn)。在許多情況下，問(wèn)題、答案和上下文數(shù)據(jù)都可能是敏感數(shù)據(jù)，而這對(duì)于重復(fù)使用這些數(shù)據(jù)來(lái)重新訓(xùn)練模型的公共多租戶服務(wù)來(lái)說(shuō)是不合適的。
快速發(fā)展的開(kāi)源LLM（如Meta的Llama-v2）已具備與ChatGPT旗鼓相當(dāng)?shù)男阅埽⒊蔀榱丝尚械奶娲桨�。但生成式AI模型很難通過(guò)可擴(kuò)展且可靠的方式從實(shí)驗(yàn)室轉(zhuǎn)移到生產(chǎn)中。更何況這些模型通常還需要在多個(gè)應(yīng)用之間共享，因此與傳統(tǒng)的機(jī)器學(xué)習(xí)（ML）模型相比會(huì)帶來(lái)更大的數(shù)據(jù)集成挑戰(zhàn)。
預(yù)計(jì)在2024年，企業(yè)將繼續(xù)專(zhuān)注于開(kāi)發(fā)強(qiáng)大的機(jī)器學(xué)習(xí)操作（MLOPS）和數(shù)據(jù)集成能力。
趨勢(shì)二：企業(yè)將加倍重視檢索增強(qiáng)生成（RAG）和微調(diào)功能以優(yōu)化LLM
優(yōu)化LLM性能的方法包括提示工程、檢索增強(qiáng)生成（RAG）和微調(diào)等。
RAG使用知識(shí)庫(kù)中的內(nèi)容豐富提示并提供必要的上下文。RAG架構(gòu)的關(guān)鍵組成部分之一是一個(gè)以特殊方式編制索引的知識(shí)庫(kù)內(nèi)容數(shù)據(jù)庫(kù)。
用戶問(wèn)題先被轉(zhuǎn)換成數(shù)學(xué)表達(dá)形式，然后用于搜索數(shù)據(jù)庫(kù)中與之最接近的內(nèi)容。用戶問(wèn)題作為提示的一部分被發(fā)送至LLM進(jìn)行推理。同步提供問(wèn)題和領(lǐng)域上下文可顯著改進(jìn)推理結(jié)果。
事實(shí)證明，由于RAG不需要對(duì)LLM進(jìn)行任何訓(xùn)練或調(diào)整，同時(shí)還能生成出高質(zhì)量的結(jié)果，因此它是采用LLM的一條有效途徑。不過(guò)，它確實(shí)需要數(shù)據(jù)工程管道以維護(hù)知識(shí)庫(kù)，還需要專(zhuān)門(mén)的向量數(shù)據(jù)庫(kù)存儲(chǔ)索引數(shù)據(jù)。
相信在2024年，RAG仍將是許多企業(yè)采用生成式AI的一條可行途徑。
性能高效微調(diào)（PEFT）在2023年備受關(guān)注。高效微調(diào)在特定領(lǐng)域數(shù)據(jù)上訓(xùn)練一個(gè)小型神經(jīng)網(wǎng)絡(luò)并與通用LLM并存，它能夠以極低的成本和極少的訓(xùn)練數(shù)據(jù)，實(shí)現(xiàn)反復(fù)訓(xùn)練大型LLM所獲得的大部分性能優(yōu)勢(shì)。雖然對(duì)LLM進(jìn)行微調(diào)需要更強(qiáng)大的ML能力，但可以帶來(lái)更高的效率、可解釋性和更準(zhǔn)確的結(jié)果，尤其是在訓(xùn)練數(shù)據(jù)有限的情況下。
預(yù)計(jì)在2024年，像高效微調(diào)這樣的微調(diào)方法將被越來(lái)越多的企業(yè)用于新項(xiàng)目，并取代早期的RAG 架構(gòu)。在擁有較大、較強(qiáng)數(shù)據(jù)科學(xué)團(tuán)隊(duì)的企業(yè)中，這種方法的應(yīng)用將最為廣泛。
趨勢(shì)三：企業(yè)將從“云優(yōu)先”轉(zhuǎn)向謹(jǐn)慎的云戰(zhàn)略
2024年，云計(jì)算將繼續(xù)成為企業(yè)數(shù)據(jù)戰(zhàn)略中的一項(xiàng)重要變革技術(shù)。
一些企業(yè)在2023年將他們的云戰(zhàn)略從原先的“云優(yōu)先”調(diào)整為謹(jǐn)慎、平衡的戰(zhàn)略，這與大多數(shù)大型企業(yè)所采取的保守舉措不謀而合。推動(dòng)這一轉(zhuǎn)變的因素包括云對(duì)許多可預(yù)測(cè)的分析工作負(fù)載的經(jīng)濟(jì)性、數(shù)據(jù)管理法規(guī)、考慮到經(jīng)濟(jì)狀況不確定性的企業(yè)財(cái)政政策等。
這些企業(yè)已選擇跨公有云和私有云的云原生架構(gòu)支撐其數(shù)據(jù)和云戰(zhàn)略，而云原生所帶來(lái)的靈活性、可擴(kuò)展性和所節(jié)省的成本可抵消因其增加的架構(gòu)復(fù)雜性。
由此產(chǎn)生的跨公有云和私有云的數(shù)據(jù)編織架構(gòu)為智能、自動(dòng)化和策略驅(qū)動(dòng)的數(shù)據(jù)管理方法奠定了基礎(chǔ)。
趨勢(shì)四：數(shù)據(jù)管理自動(dòng)化、數(shù)據(jù)民主化和零信任安全仍將是首要考慮因素
由于數(shù)據(jù)仍在以成倍的速度生成和被獲取，企業(yè)需要提高數(shù)據(jù)平臺(tái)管理的自動(dòng)化和智能化水平。因此，跨基礎(chǔ)設(shè)施、平臺(tái)和工作負(fù)載的可觀察性將在 2024 年發(fā)揮更加重要的作用。
而這是實(shí)現(xiàn)高性能、高可靠性和高效率智能平臺(tái)自動(dòng)化的先決條件。用于訓(xùn)練ML模型的運(yùn)營(yíng)數(shù)據(jù)將成為智能數(shù)據(jù)平臺(tái)的核心。數(shù)據(jù)從業(yè)人員將繼續(xù)推動(dòng)數(shù)據(jù)的進(jìn)一步民主化并增加更多的自助服務(wù)選項(xiàng)。這一點(diǎn)與Data Mesh范式最重要的原則之一相吻合。
最具創(chuàng)新性的企業(yè)將賦能數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師和業(yè)務(wù)分析師，讓他們無(wú)需通過(guò)數(shù)據(jù)關(guān)守就能從數(shù)據(jù)中獲得更多洞察。在2024年，企業(yè)和技術(shù)提供商將重視消除數(shù)據(jù)生命周期各個(gè)階段的摩擦，以及增加對(duì)實(shí)時(shí)數(shù)據(jù)的訪問(wèn)。
各種混合云原生架構(gòu)的出現(xiàn)、第三方SaaS與平臺(tái)即服務(wù)（PaaS）的采用以及網(wǎng)絡(luò)安全的加強(qiáng)繼續(xù)推動(dòng)人們對(duì)數(shù)據(jù)安全、零信任以及明確劃分?jǐn)?shù)據(jù)管理責(zé)任的關(guān)注。
零信任要求對(duì)使用數(shù)據(jù)的用戶和系統(tǒng)進(jìn)行持續(xù)身份驗(yàn)證和授權(quán)。這些主體將越來(lái)越多地被授予執(zhí)行特定任務(wù)所需的最低權(quán)限，同時(shí)也受到嚴(yán)格的審核。這將成為推動(dòng)數(shù)據(jù)治理和管理創(chuàng)新的一項(xiàng)重要職能，同時(shí)滿足日益增長(zhǎng)的數(shù)據(jù)訪問(wèn)民主化需求。
隨著數(shù)據(jù)聯(lián)邦日益受到關(guān)注，預(yù)計(jì)在2024年，技術(shù)將進(jìn)一步簡(jiǎn)化企業(yè)內(nèi)部乃至企業(yè)之間的零信任落地與執(zhí)行。
趨勢(shì)五： 向開(kāi)放式數(shù)據(jù)湖倉(cāng)遷移已迫在眉睫
數(shù)據(jù)湖倉(cāng)的實(shí)現(xiàn)方式在2022年出現(xiàn)了重大創(chuàng)新，業(yè)界領(lǐng)先的數(shù)據(jù)管理提供商奠定了Apache Iceberg“正式格式”的地位。Iceberg作為首選的開(kāi)放技術(shù)之一而被迅速采用，而幾乎可以確定的是，這將影響一些數(shù)據(jù)管理提供商改變其開(kāi)源戰(zhàn)略并在其產(chǎn)品中加入對(duì)Iceberg的支持。
預(yù)計(jì)在2024年，數(shù)據(jù)和工作負(fù)載將穩(wěn)步遷移至跨公有云和私有云的開(kāi)放式數(shù)據(jù)湖倉(cāng)架構(gòu)中。
