“魔搭”是啥？一鍵用上大模型的“魔法”

mynotebook 2022-11-04 發(fā)布于湖南

展開全文

文｜趙廣立

眾籌買車，眾籌買房，你聽說過有眾籌“大模型”的嗎？

這事兒還真發(fā)生過，就在不久前。

一個“眾籌”故事

2021年5月，近千名不同國籍、不同專業(yè)領(lǐng)域的科學(xué)家和志愿者就發(fā)起了一項眾籌大模型的項目。為何如此興師動眾？這得從大模型的應(yīng)用說起。

大模型全稱“人工智能預(yù)訓(xùn)練大模型”。稱之為“大”模型，是因為相比普通AI模型，它擁有海量訓(xùn)練數(shù)據(jù)、超大規(guī)模參數(shù)，可以應(yīng)對多種場景下的任務(wù)。

如果說開發(fā)一個AI模型相當(dāng)于做一道菜，AI大模型就像是提供“預(yù)制菜”，簡單加熱即食。如此可大大節(jié)約時間成本，減少開發(fā)AI模型從0到1開發(fā)過程中的重復(fù)性勞動。

然而，由于訓(xùn)練大模型所費不菲，絕大多數(shù)AI大模型都掌握在科技大廠或?qū)ｉT機構(gòu)手中，普通學(xué)者和開發(fā)者的訪問權(quán)限有限。于是這些科學(xué)家就想到了眾籌的方式，共同搞出一個開源開放的AI大模型，方便大家使用和科學(xué)研究。

這件事兒還真做成了。一年多時間，這個項目收到了約700萬美元的公共資助，創(chuàng)建了一個參數(shù)規(guī)模1760億的多語言模型，與知名的GPT-3規(guī)模相當(dāng)。這個大模型就是“BLOOM”。據(jù)稱，從代碼到數(shù)據(jù)集，BLOOM全部對外開放，所有人都可下載使用。

然而，據(jù)了解，下載和使用BLOOM，需要具備一定的本地硬件能力，因此如今BLOOM尚只供一些大研究團隊使用。而且，從BLOOM數(shù)據(jù)集來看，它作為包括46種語言的多語言模型，中文數(shù)據(jù)集容量盡管占比較大，但也只有約16.25%（含繁體中文），并不太方便中國科學(xué)家和開發(fā)者使用。

中文AI研究者對大模型有著同樣的渴求，進而推動中文AI的研究與應(yīng)用。特別是，眼見近兩年大模型越來越多、參數(shù)規(guī)模越來越大，從外面看卻越來越曲高和寡。這些大模型能不能開源開放出來？

不用眾籌、不用等待，隨著“魔搭”在2022云棲大會的亮相，這一天，來了。

達摩院“傾囊相授”

11月3日，2022云棲大會杭州現(xiàn)場傳來好消息：阿里達摩院聯(lián)手CCF開源發(fā)展委員會共同推出AI模型社區(qū)“魔搭”ModelScope，旨在降低AI的應(yīng)用門檻。作為發(fā)起者，達摩院率先向魔搭社區(qū)貢獻300多個經(jīng)過驗證的優(yōu)質(zhì)AI模型，超過1/3為中文模型，全面開源開放，并把模型變?yōu)橹苯涌捎玫姆?wù)。

對于眾多AI研究者、開發(fā)者和愛好者而言，這好比“剛要打瞌睡就有人遞枕頭”。

為了建好魔搭社區(qū)，達摩院率先貢獻的300多個模型，包括了自然語言處理、視覺、語音、多模態(tài)等各個智能方向上150多個業(yè)界領(lǐng)先的模型，很多是預(yù)訓(xùn)練的多模態(tài)大模型，如達摩院之前公布的通義大模型系列。

阿里達摩院這波操作可謂誠意滿滿。迄今為止，放眼全球，還沒看到任何一家機構(gòu)或科技企業(yè)將如此規(guī)模的大模型免費開源供開放使用。用阿里巴巴集團資深副總裁、達摩院副院長周靖人的話來說，“達摩院這次是傾囊相授了”。

“如果說今天我們有一些保留，那其實這件事情你就做不成?！敝芫溉嗽谑茉L中表示，“我們希望起個好頭，就得把自己最好的模型能夠拿出來?！?/span>

搭建魔搭社區(qū)，達摩院不是單干。在社區(qū)首批合作機構(gòu)中，深勢科技、瀾舟科技、智譜AI、中國科學(xué)技術(shù)大學(xué)等都參與其中。

相應(yīng)地，深勢科技的蛋白質(zhì)序列預(yù)測模型Uni Fold Monomer、瀾舟科技的孟子系列語言大模型、智譜AI的多語言預(yù)訓(xùn)練模型等也“進駐”了魔搭社區(qū)。

此外，中國科技大學(xué)、浙江大學(xué)還與魔搭社區(qū)共同探索AI人才培養(yǎng)等系列合作。周靖人說，非常希望能夠跟國內(nèi)的相關(guān)的學(xué)者、開發(fā)者，一起來共建社群。

據(jù)介紹，魔搭社區(qū)開放的模型均兼容多種主流AI框架，支持多種訓(xùn)練與服務(wù)部署方式，用戶可根據(jù)偏好自主選擇。此外，社區(qū)面向所有開發(fā)者開放，將實行理事會管理，旨在推動AI大規(guī)模應(yīng)用，不以盈利為目標(biāo)。

這樣一個AI模型共享共進的開源社區(qū)，對于開發(fā)者和愛好者而言，意味著“花開堪折直須折”，而從測評階段收到的反饋來看，也確實如此。

“社區(qū)里面的模型實在是太多了，簡直是學(xué)生黨的福音！”一位學(xué)生開發(fā)者在魔搭社區(qū)測評階段就參與其中，感到自己生逢其時：“一些課堂學(xué)的內(nèi)容，我們在課下進行練習(xí)時總會覺得無從下手，老師就跟我們說去試試這個新社區(qū)?！?/span>

在魔搭社區(qū)，他最先搜索使用了聲碼器模型HIFI-GAN，這是一種使用場景豐富的訓(xùn)練模型，適用于中文語音合成場景，如配音、虛擬主播、數(shù)字人等等。在使用過程中，他也感受到了社區(qū)的強大：“總能很直接地指出我在操作中出現(xiàn)的錯誤，節(jié)省了我很多時間去查找錯誤漏洞?！?/span>

周靖人在 2022 云棲大會上介紹魔搭社區(qū)

MaaS理念下的社區(qū)

周靖人提出，AI技術(shù)的開發(fā)和應(yīng)用，模型是一個載體?！笆褂瞄T檻過高限制了AI的潛能?！睘榱思涌焱黄艫I應(yīng)用難題，阿里達摩院認為，要圍繞模型去搭建相應(yīng)的服務(wù)體系，在開源大模型的基礎(chǔ)上，他們提出了“Model as a Service”（MaaS，模型即服務(wù)）概念。

從提供模型到圍繞模型提供各種各樣的服務(wù)，這就是MaaS的核心理念。周靖人說，開源社區(qū)建設(shè)最大的挑戰(zhàn)是，讓更多的人參與到社區(qū)建設(shè)，更多的開發(fā)者能通過社區(qū)解決實際問題，積極使用、積極反饋。因此，必須基于MaaS理念，在“社區(qū)友好度”上做文章。

如此說如此做。首先，魔搭社區(qū)在中文AI模型的豐富供給方面自不多言，目前已上架的中文模型超過100個，能夠更好地滿足本土需求；其次，魔搭社區(qū)重點提供了易用的模型使用平臺，讓AI模型跑起來不再困難——從代碼下載到二次開發(fā)、從安裝部署再到效果驗證，以前往往需要數(shù)天，現(xiàn)在只要幾個小時甚至幾分鐘。

此外，通過全新開發(fā)的調(diào)用接口和統(tǒng)一的配置文件，平臺提供模型探索、環(huán)境安裝、推理驗證、訓(xùn)練調(diào)優(yōu)等一站式服務(wù)。在線0代碼就可體驗?zāi)Ｐ托Ч?行代碼可實現(xiàn)模型推理，10行代碼實現(xiàn)模型調(diào)優(yōu)和定制。同時，平臺還提供了在線開發(fā)功能和算力支持，無需任何安裝部署，打開網(wǎng)頁就可以開發(fā)AI模型。

“魔搭ModelScope就是在MaaS理念下的一個社區(qū)。”周靖人認為，MaaS理念建立起了一個以模型為中心的、全生命周期的管理機制，這意味著給開發(fā)者提供一系列的支持。唯有如此，才能快速地把模型從一個開發(fā)環(huán)境變成一個生產(chǎn)環(huán)境，快速地將模型與場景業(yè)務(wù)相鏈接、有交互。

“MaaS是未來人工智能發(fā)展的重要方向，如果能實踐好，將促進AI產(chǎn)業(yè)界的大發(fā)展。”周靖人說。