AI大模型終于走到了數據爭奪戰

圖源：攝圖網

作者|科技云報道 來源|科技云報到(ID：ITCloud-BD)

當前，大模型正處在產業落地前期，高質量的數據，是大模型實現產業化的關鍵要素。

最近，一項來自Epoch AI Research團隊的研究拋出了一個殘酷的事實：模型還要繼續做大，數據卻不夠用了。

研究人員預測了2022年至2100年間可用的圖像和語言數據總量，并據此估計了未來大模型訓練數據集規模的增長趨勢。

結果表明：高質量的語言數據存量將在2026年耗盡，低質量的語言數據和圖像數據的存量將分別在2030年至2050年、2030年至2060年枯竭。

這意味著，如果數據效率沒有顯著提高或有新的數據源可用，那么到2040年，模型的規模增長將放緩。

對數據端的建設該重視起來了。

01

 高質量數據成“搶手貨”

隨著全球新一輪AI熱潮來臨，大量訓練數據已成為AI算法模型發展和演進的“燃料”。

從GPT的實驗發現，隨著模型參數量的增加，模型性能均得到不同程度的提高。

但值得注意的是，通過來自人類反饋的強化學習（RLHF）生成的InstructGPT模型，比100倍參數規模無監督的GPT-3模型效果更好，也說明了有監督的標注數據是大模型應用成功的關鍵之一。

如果以上預測是正確的，那么毫無疑問數據將成為做模型繼續做大的主要制約因素，AI的進展也會隨著數據量的耗盡而放緩。

阿里巴巴達摩院基礎視覺團隊負責人趙德麗博士曾在采訪中表示，數據側的建設將會成為每一個做大模型工作的機構必須要考慮的問題，大模型有多少能力，往往取決于有什么樣的數據。

據趙德麗博士介紹，與文生圖大模型相比，做文生視頻大模型要難得多，原因就在于視頻數據的數量遠比不上文本和圖像，更不要談數據的質量了。相應地，目前已有的文生視頻模型的效果都不盡如人意。

結合上述研究結果，如果當下的趨勢繼續下去，人類現有的數據庫存一定會耗盡，而且高質量的數據會更少。

正因如此，一場數據爭奪戰正在拉開序幕。

目前，Adobe利用其數以億計的庫存照片數據庫構建了自己的人工智能工具套件，名為Firefly。自3月份發布以來，Firefly已被用于創建超過10億張圖像，而Adobe股價已因此上漲了36%。

一些初創公司也正在蜂擁至這個新領域。今年4月，專注于人工智能的數據庫公司Weaviate融資5000萬美元，估值達到2億美元。

僅僅一周后，其競爭對手PineCone就以7.5億美元的估值籌集了1億美元資金。

本月早些時候，另一家數據庫初創公司Neon也獲得了4600萬美元的融資。

在國內，百度智能云近期也升級了大模型數據服務能力，建設了國內首個專業大模型數據標注基地。百度智能云方面表示，目前已經在全國與各地政府合作，共建了10多個數據標注基地。

顯然，對數據的爭奪才剛剛開始。

02

數據標注再次迎來爆發

AI大模型帶來了大量需求，與之相伴的是中國數據標注行業的迅速發展。

招商證券認為，一方面，進入大數據時代后，人們各種行為的電子化、網絡化帶來海量數據，但產生的數據只有1%能被收集和保存，并且收集的數據中90%是非結構化的數據；另一方面，人工智能的興起帶來模型訓練所用結構化數據的巨大需求，數據標注的重要性逐漸突顯。

有業內人士認為，預計今年10月國內會迎來一波大的類chatGPT大模型的數據需求，而且這是一個海量的需求，以目前國內幾家頭部數據標注公司來看，目前產能還不足以滿足需求。

艾瑞咨詢數據顯示，包括數據采集、數據處理（標注）、數據存儲、數據挖掘等模塊在內的AI基礎數據服務市場，將在未來數年內持續增長。

到2025年，國內AI基礎數據服務市場的整體規模預計將達到101.1億元，整體市場增速將達到31.8%（2024-2025年）。

據iResearch數據，2019年我國數據標注市場規模為30.9億元，預計2025年市場規模突破100億元，年復合增長率達到14.6%。

隨著數據量的不斷增長和數據結構的不斷變化，數據標注行業涉及的領域也越來越廣泛，特別是在自動駕駛、AIGC等領域內，數據標注需求量極大。

作為AI大語言模型高質量回答的基礎，數據標注的生產過程主要包括四個環節：設計（訓練數據集結構設計）、采集（獲取原料數據）、加工（數據標注）及質檢（各環節數據質量、加工質量檢測）。

其中，數據標注需要識別圖像、文本、視頻等原始數據，并添加一個或多個標簽為機器學習模型指定上下文，幫助其做出準確的預測。

當前，大部分數據標注任務仍然需要人工完成，而且各種數據類型和應用領域都需要相應領域的專業標注員來完成標注任務。

隨著技術的發展，數據標準行業正在成為半人工智能、半人工化的行業。

面對大語言模型動輒上百億參數的數據質量控制，需要通過標注平臺將一個個復雜RLHF需求拆成很多個簡單的工作流，讓機器去做預處理，人去做深層的基于理解的反饋，以減少人在簡單問題上的精力消耗，專注在專業問題上的標注。

業內一般采用主動質檢加被動質檢的方式，前者靠人為去做質檢，后者是靠算法去做一些預識別。

但目前數據標注工具的準確率部分僅百分之幾，部分準確率則可以達到80%、90%。機器標注的識別率越高，人工需求就會越少，成本、利潤、速度、質量都能更加可控。

隨著技術不斷發展，未來數據標注行業可能會實現更高的自動化程度，不過應用領域不同，仍然需要一定數量的標注人員來進行標注任務。

03

傳統數據標注亟待升級

值得注意的是，在如今火爆的大模型訓練浪潮中，傳統的數據標注需求，很可能是下降的。

讓ChatGPT更具有“人味”的關鍵——強人工反饋RLHF，帶來的是另一種更高要求的數據標注需求。

相關分析顯示，在RLHF環節，模型首先在大數據集上進行預訓練，再與專業的人工智能訓練師進行交互，專業的標注人員會對ChatGPT生成的回答進行標注、評估和反饋，給出一個針對回答的分數或者標簽。

這些標注數據可以作為強化學習過程中的“獎勵函數”來指導ChatGPT的參數調整，最終幫助模型進行強化學習和不斷優化。

也就是說，讓ChatGPT“更具人味兒”的精妙之處很可能就在于——它可以利用人工標注的反饋結果不斷優化自身模型，實現更合乎人類思維邏輯的表達。

但傳統數據標注模式很難滿足RLHF的需求。

在過去，數據標注公司的主流商業模式以銷售工具系統和標注服務為主。一方面，缺少自有數據很少有出售精準數據集的服務。另一方面，人才升級作為一個系統工程，對數據標注公司的考驗更高。

在完成這一步后，RLHF訓練還涉及到不少事實判斷和價值判斷。其中，價值判斷涉及到公認的"公序良俗"，理論上是更容易拉齊AI認知的部分，事實判斷則涉及各行業Know-How。

這往往需要行業專業人士出手，不是傳統數據標注員，簡單針對詞性、圖片細節進行標注就能實現的。

也就是說，要跟上新一代AI浪潮，數據標注公司不僅需要在數據層面進行升級，人才的更新換代同樣重要。

目前的確已有標注公司開始在內部撰寫《人員提升教程》，他們將在接下來重點培訓標注人員對“升級后”的標注需求理解，以及回答方式的合規性等。

但是，在專業壁壘非常高的醫療等領域，數據標注仍面臨著人才困境。

某數據標注公司運營負責人曾表示，“特別是醫療，有些是普通人經過培訓可以標的，有的必須要醫療從業者，這背后的人才招聘難度可想而知。”

但即便困難重重，也不意味著數據標注公司會立馬進行一波洗牌——至少，在大模型訓練的幾個階段內，初始階段的半監督學習同樣對傳統數據標注存在需求。

面對大模型和RLHF的機遇，重現大規模投入似乎在所難免。

有業內人士認為，如果數據標注公司期望在垂直領域做更高層級的數據服務，可能要成立一個全新的產品線。甚至，具備AI研發背景的創始人會是更合適的數據標注創業者。

面對新一代AI浪潮，沒有人可以躺著掙錢——這是每一次技術迭代沖擊背后，暗中標注好的“價格”。

編者按：本文轉載自微信公眾號：科技云報到(ID：ITCloud-BD)，作者：科技云報道