3月16日,百度正式發布大語言模型、生成式AI產品“文心一言”。百度創始人、董事長兼首席執行官李彥宏及百度首席技術官王海峰出席發布會。李彥宏展示了文心一言在文學創作、商業文案創作、數理推算、中文理解、多模態生成五個使用場景中的綜合能力。
“生成式AI代表著新的技術范式,是任何企業都不應錯過的大機會。”李彥宏說,“這段時間不斷有人問我,為什么現在發布,你們是不是真的ready了?其實,百度在過去十幾年中持續在AI研發上堅持投入,文心大模型第一個版本2019年就發布了,此后的每一年都發布一個新版本,從這個意義上說,文心一言的發布只是我們過去多年努力的一個自然延續。”
李彥宏表示,大家的期望值是要對標ChatGPT,甚至要對標GPT-4,這個門檻還是很高的。全球的大廠當中,百度是第一個“發布”的。他說,內測中“文心一言”并不完美,之所以現在要發布,原因在于市場有強烈需求。其定位是通用大模型。
李彥宏認為,多模態是生成式AI一個明確的發展趨勢。未來,隨著百度多模態統一大模型的能力增強,文心一言的多模態生成能力也會不斷提升。而大模型會帶來三大產業機會:新型云計算、行業模型精調、應用開發。
發布會舉行時,截至14時22分,百度集團(09888.HK)股價跌幅擴大至近10%,報120.5港元/股。
演示五個場景下的能力
發布會上,百度播放了“文心一言”的演示視頻,以下為演示實錄。
文學創作

問題:
· 《三體》的作者是哪里人?
· 可以總結一下《三體》的核心內容嗎?如果要續寫的話,可以從哪些角度出發?
· 如何從哲學的角度續寫?
· 電視劇《三體》演員都有誰?
· 于和偉和張魯一有哪些共同點?
· 于和偉和張魯一誰更高?
李彥宏:剛才的演示中,“總結三體的核心內容”,體現的是文心一言的總結、分析能力。續寫《三體》,體現的是內容創作生成能力。
《三體》的作者是誰?他是哪里人?電視劇三體演員都有誰?文心一言回答是正確的。大家可能知道,生成式AI這類產品,在回答事實性問題時,有時候會出錯。文心一言延續了百度知識增強的大模型理念,大幅度提升了事實性問題的準確率。
于和偉和張魯一有哪些共同點、于和偉和張魯一誰更高?這類問題背后,則體現的是文心一言的推理能力。比如,它得先知道兩人的準確身高,才能得出正確答案。
商業文案創作

問題:
· 如果要成立一個用大模型服務中小企業數字化升級的科技服務公司,可以起個什么公司名?
· 數智云圖這個名稱不錯,給我起一個公司的服務Slogan,表達共贏的概念。
· 幫我生成一篇公司成立的新聞稿,數智云圖以共贏的服務理念用大模型服務中小企業數字化升級。字數600字。
李彥宏:剛才的演示,展現了文心一言連續三次內容創作生成。
AI要寫好一篇稿子,除了需要準確理解我們的意圖,還要有清晰的表達能力。
這背后有一個基礎,就是龐大的數據規模。人類常說“讀萬卷書”,而AI可以說是 “讀書破千億卷”。文心一言大模型的訓練數據就包括,萬億級網頁數據,數十億的搜索數據和圖片數據,百億級的語音日均調用數據,以及5500億事實的知識圖譜等,這讓百度在中文語言的處理上,能夠處于獨一無二的位置。
有研究表明,數據規模足夠大,參數達到千億級,大模型就可能發生“智能涌現”,即使在沒有專門訓練過的領域,也能涌現出知識理解和邏輯推理能力。
數理邏輯推算任務

問題:
· 下面我們來玩一個雞兔同籠的游戲。1只雞有2只腳1個頭,1只兔子有4只腳1個頭。那么,如果有一個籠子里有9個頭,40只腳,應該有多少只雞,多少只兔子?
· 下面我們來玩一個雞兔同籠的游戲。1只雞有2只腳1個頭,1只兔子有4只腳1個頭。那么,如果有一個籠子里有9個頭,30只腳,應該有多少只雞,多少只兔子?
李彥宏:對于第一道題,文心一言經過演算,認為可能是題出錯了。對于第二道,文心一言不但給出了正確結果,還詳細給出解題步驟。可以看出,文心一言能理解題意,并有正確的解題思路,進而像學生做題一樣,按正確的步驟,一步步算出正確答案。
文心一言已具備了一定的思維能力,能夠學會數學推演及邏輯推理這類相對復雜任務。當然,現階段準確率還不是100%,我們還需要給它更多的時間來學習和成長。
中文理解能力

問題:
· “洛陽紙貴”是什么意思?
· 當時洛陽的紙到底有多貴?
· 這個成語在現在的經濟學原理里,對應的理論是什么?
· 用洛陽紙貴四個字寫一首藏頭詩。
李彥宏:“洛陽紙貴”,“藏頭詩”,這很考驗AI對中文和中國文化的理解。
作為扎根于中國市場的大語言模型,文心一言具備中文領域最先進的自然語言處理能力。這個例子就比較清楚地展示了我們在中文上的優勢。
相對應的,文心一言目前對英文語種、代碼場景的訓練還不夠多,表現還不夠好,接下來我們還要加緊訓練,不斷完善這些能力。
多模態生成

問題:
· 請為2023世界智能交通大會創作一張海報。
· 你認為智能交通最適合哪個城市發展?
· 請用四川話將以上內容講出來。
· 請將以上內容生成視頻。
李彥宏:剛才這一段演示,文心一言生成了文本、圖片、音頻和視頻,展示了多模態生成能力。目前的版本,已經能夠生成文字、圖片和語音。生成視頻因為成本比較高,還沒有對所有用戶開放,未來我們會逐步接入。但是熟悉百家號創作的朋友,應該都體驗過這個功能了,每天有幾萬篇文章通過這個能力轉成視頻內容在百度分發。
多模態是生成式AI一個明確的發展趨勢。未來,隨著百度多模態統一大模型的能力增強,文心一言的多模態生成能力,也會不斷提升。
“四層架構的每一層都有領先產品”
在結束演示后,李彥宏總結道:“從文心一言的表現看,某種程度上它具有了對人類意圖的理解能力,回答的準確性、邏輯性、流暢性,都逐漸接近人類水平。但整體而言,這類大語言模型還遠未到發展完善的階段,它們有時候會有很驚艷的表現,但不少場景下,細究起來還有明顯的bug,進步空間很大。未來這段時間它一定會飛速發展,日新月異。”
李彥宏表示,通過定向微調,可以在百度內外部各類產品上逐步展示出驚人的親和力,讓每一個產品離自己的用戶和客戶更近。文心一言這樣的大語言模型,會成為每個人必不可少的生產力工具。不過,無論是哪家公司,都不可能靠突擊幾個月就能做出這樣的大語言模型。深度學習、自然語言處理,需要多年的堅持和積累,沒法速成。
“人類進入人工智能時代,IT技術的技術棧發生了根本性變化。過去基本分為三層:芯片層,操作系統層和應用層。現在可以分為四層:芯片層、框架層、模型層和應用層。”他介紹說,“今天,百度是全球為數不多、在這四層進行全棧布局的人工智能公司,從高端芯片昆侖芯,到飛槳深度學習框架,再到文心預訓練大模型,到搜索、智能云、自動駕駛、小度等應用,各個層面都有領先業界的自研技術。”
文心一言位于模型層。2019年,百度推出了文心大模型ERNIE 1.0。目前,ERNIE 3.0每天接受數十億次用戶的搜索請求。這讓文心一言能夠基于一個龐大的、高效的數據池,快速地學習和改進。
“大模型訓練堪稱暴力美學,需要有大算力、大數據和大模型,每一次訓練任務都耗資巨大。全棧布局的優勢在于,可以在技術棧的四層架構中,實現端到端優化,大幅提升效率。尤其是,框架層和模型層之間,有很強的協同作用,可以幫助構建更高效的模型,并顯著降低成本。事實上,超大規模模型的訓練和推理,給深度學習框架帶來了很大考驗。比如,為了支持千億參數模型的高效分布式訓練,百度飛槳專門研發了 4D 混合并行技術。”李彥宏介紹道。
“另外,芯片、框架、大模型和終端應用場景,可以形成一個高效的反饋閉環,幫助大模型不斷去調優迭代,越做越好。更好的大模型,會讓用戶體驗不斷升級。”
最后,李彥宏強調:“在全球范圍內,在四層架構的每一層都有領先產品的公司幾乎沒有,百度的優勢非常獨特,相信大家會在后續文心的迭代速度上有明顯感受。”