1月16號,智譜AI在北京舉辦首屆技術(shù)開放日(Zhipu DevDay),重磅發(fā)布了新一代基座大模型GLM-4——國產(chǎn)全自研、中文能力逼近GPT-4。在活動上,智譜AI團隊全面展示了其投身于大模型事業(yè)三年多來所積累的技術(shù)成果,智譜AI CEO張鵬表示,2024將是AGI元年。達晨于2021年初領(lǐng)投智譜AI A輪融資并多輪加注。
智譜AI從2020年底開始研發(fā)GLM預訓練架構(gòu),2021年訓練完成百億參數(shù)模型GLM-10B,同年利用MoE架構(gòu)成功訓練出收斂的萬億稀疏模型,2022年合作研發(fā)了中英雙語千億級超大規(guī)模預訓練模型GLM-130B。2023年,智譜AI推出了基于千億基座的對話模型ChatGLM,并開源單卡版模型ChatGLM-6B,使得研究者和個人開發(fā)者進行本地微調(diào)和部署成為可能。并于同年并成為通過《生成式人工智能服務(wù)管理暫行辦法》備案的第一批大模型,上線首款生成式AI助手「智譜清言」。
此次新基座大模型GLM-4的發(fā)布及上線,是智譜AI大模型研發(fā)上的關(guān)鍵突破。GLM-4的整體性能相比上一代大幅提升,逼近GPT-4。它可以支持更長的上下文,具備更強的多模態(tài)能力。同時,它的推理速度更快,支持更高的并發(fā),大大降低推理成本。除此之外,GLM-4大幅提升了智能體能力,GLM-4 All Tools 實現(xiàn)自主根據(jù)用戶意圖,自動理解、規(guī)劃復雜指令,自由調(diào)用網(wǎng)頁瀏覽器、Code Interpreter代碼解釋器和多模態(tài)文生圖大模型以完成復雜任務(wù)。GLMs 個性化智能體定制功能亦同時上線,用戶用簡單的提示詞指令就能創(chuàng)建屬于自己的 GLM 智能體。
具體來說,GLM-4可以支持128k的上下文窗口長度,單次提示詞可以處理的文本可以達到300頁。同時,在needle test(大海撈針)測試中,128K文本長度內(nèi)GLM-4 模型均可做到幾乎100%的精度召回,并未出現(xiàn)長上下文全局信息因為失焦而導致的精度下降問題。同時,多模態(tài)能力方面,文生圖和多模態(tài)理解都得到了增強。
此外,GLM-4的All Tools能力全新發(fā)布。得益于GLM模型的強大Agent能力,GLM-4實現(xiàn)了自主根據(jù)用戶意圖,自動理解、規(guī)劃復雜指令,自由調(diào)用網(wǎng)頁瀏覽器、Code Interpreter代碼解釋器和文生圖CogView3模型。同時,GLM-4 通過代碼解釋器,會自動調(diào)用代碼解釋器進行復雜的方程或者微積分求解。對比GSM8K、Math以及Math23K三個數(shù)據(jù)集上的結(jié)果,GLM-4 All Tools取得和GPT-4 All Tools相當?shù)男Ч?。GLM-4的All Tools能力完全自動,而且可以處理各種任務(wù),比如包括文件處理、數(shù)據(jù)分析、圖表繪制等復雜任務(wù),支持處理 Excel、PDF、PPT 等格式的文件。
GLMs個性化智能體定制能力也同步上線?;贕LM-4模型的強大能力,用戶只要登錄智譜清言官方網(wǎng)站(https://www.chatglm.cn/),用簡單的提示詞指令就能創(chuàng)建屬于自己的GLM智能體。并且,用戶可以通過全新上線的智能體中心分享自己創(chuàng)建的各種智能體。GLM模型智能體的推出標志著任何人都能夠自由運用GLM-4模型并挖掘它的潛力,沒有任何編程基礎(chǔ)也能夠?qū)崿F(xiàn)大模型的便捷開發(fā)。這是智譜AI為降低大模型使用門檻所做的最新努力。
此前,智譜AI分別聯(lián)合CCF中國計算機學會、中國中文信息學會社會媒體處理專委會發(fā)起了CCF-智譜大模型基金、SMP-智譜大模型交叉學科基金,用于支持大模型理論、算法、模型、應(yīng)用等相關(guān)研究和跨領(lǐng)域交叉創(chuàng)新。去年兩支基金為來自全國三十余所高校參與的41個研究項目累計提供了超1000萬元現(xiàn)金和算力資源的科研支持。
2024年,智譜AI也將發(fā)起開源開放的大模型開源基金,該計劃包括三個“一千”:
1000張卡。智譜將為大模型開源社區(qū)提供一千張卡,助力開源開發(fā) 1000萬人民幣。智譜將提供 1000 萬元的現(xiàn)金用來支持與大模型相關(guān)的開源項目 1000億tokens。智譜將為優(yōu)秀的開源開發(fā)者提供1000億免費 API tokens
智譜AI CEO張鵬表示,大模型開源基金的目的在于推動大模型研發(fā)的大進展,促進大模型整個開源生態(tài)的大繁榮。面對全球的大模型創(chuàng)業(yè)者,智譜AI也將“Z計劃”進一步升級,聯(lián)合生態(tài)伙伴發(fā)起總額10億人民幣的大模型創(chuàng)業(yè)基金用于支持大模型原始創(chuàng)新,覆蓋大模型算法、底層算子、芯片優(yōu)化、行業(yè)大模型和超級應(yīng)用等方向。
2024年被業(yè)界普遍認為是人工智能發(fā)展歷史上的又一重要年份。在這個時刻,智譜AI通過舉辦技術(shù)開放日,不僅展示了自身在AI領(lǐng)域的優(yōu)勢地位,也為整個行業(yè)的發(fā)展注入了新的動力。智譜AI CEO張鵬表示:“大模型創(chuàng)新研發(fā)是一條長征路,一枝獨秀不是春,我們希望與人工智能行業(yè)所有的參與者、產(chǎn)業(yè)鏈上下游合作伙伴、開發(fā)者社區(qū)、學術(shù)界一同努力,為中國AI新未來貢獻綿薄之力?!?/span>
達晨2021年投資智譜AI后,見證了公司的高速成長和團隊的持續(xù)自主創(chuàng)新能力。過去10個月,公司已發(fā)布了3代ChatGLM模型矩陣和智譜清言等系列產(chǎn)品,而今天發(fā)布的新一代基座大模型GLM-4,性能再次全面提升。除模型自身的強大能力外,應(yīng)用商店、科研基金、開源基金、創(chuàng)業(yè)基金等也支撐了GLMs未來進一步開放的共建生態(tài),相信未來智譜AI還將給我們帶來持續(xù)的驚喜,達晨也將繼續(xù)支持和攜手智譜AI等中國人工智能創(chuàng)新力量,共赴新一代科技浪潮。