下面這幾張圖的內(nèi)容分別是什么?你或許一眼就能看出是打麻將、競(jìng)速摩托、香檳、熊貓。
但人工智能不一定可以。
雖然人工智能已經(jīng)強(qiáng)大到可以識(shí)別萬(wàn)物,但很多AI模型只能完成單一的任務(wù),比如識(shí)別單一的物體,或者識(shí)別風(fēng)格較為統(tǒng)一的照片,如果換一種類型或者風(fēng)格,就愛(ài)莫能助。
現(xiàn)在,有一位“書生”,對(duì)于這不同類型的圖,它都能較為準(zhǔn)確地識(shí)別出其中的內(nèi)容,包括圖畫。
這需要有獨(dú)特的模型訓(xùn)練及標(biāo)簽體系,也要求模型具有一定的通用性,這樣才能對(duì)不同類型的圖片做出準(zhǔn)確的描述。
這位“書生”正是去年11月,由上海人工智能實(shí)驗(yàn)室聯(lián)合商湯科技、香港中文大學(xué)、上海交通大學(xué),聯(lián)合發(fā)布的通用視覺(jué)技術(shù)體系“書生”(INTERN)。
今天,為了幫助業(yè)界更好地探索通用視覺(jué)AI技術(shù),基于“書生”技術(shù)體系的通用視覺(jué)平臺(tái)OpenGVLab正式發(fā)布并開(kāi)源。
OpenGVLab開(kāi)放的內(nèi)容包括其超高效預(yù)訓(xùn)練模型,和千萬(wàn)級(jí)精標(biāo)注、十萬(wàn)級(jí)標(biāo)簽量的公開(kāi)數(shù)據(jù)集,為全球開(kāi)發(fā)者提升各類下游視覺(jué)任務(wù)模型訓(xùn)練提供重要支持。
同時(shí),OpenGVLab還同步開(kāi)放業(yè)內(nèi)首個(gè)針對(duì)通用視覺(jué)模型的評(píng)測(cè)基準(zhǔn),便于開(kāi)發(fā)者對(duì)不同通用視覺(jué)模型的性能進(jìn)行橫向評(píng)估和持續(xù)調(diào)優(yōu)。
目前OpenGVLab開(kāi)源平臺(tái)(opengvlab.shlab.org.cn)已正式上線,供各界研究人員訪問(wèn)和使用,后續(xù)項(xiàng)目還將開(kāi)通在線推理功能,供所有對(duì)人工智能視覺(jué)技術(shù)感興趣的社會(huì)人士自由體驗(yàn)。
超高性能模型,展現(xiàn)極強(qiáng)的通用性
OpenGVLab繼承了“書生”體系的技術(shù)優(yōu)勢(shì),其開(kāi)源的預(yù)訓(xùn)練模型具有超高的性能和通用性。
具體而言,相較于當(dāng)前最強(qiáng)開(kāi)源模型(OpenAI 于2021年發(fā)布的CLIP),OpenGVLab的模型可全面覆蓋分類、目標(biāo)檢測(cè)、語(yǔ)義分割、深度估計(jì)四大視覺(jué)核心任務(wù),在準(zhǔn)確率和數(shù)據(jù)使用效率上均取得大幅提升。
基于同樣的下游場(chǎng)景數(shù)據(jù),開(kāi)源模型在分類、目標(biāo)檢測(cè)、語(yǔ)義分割及深度估計(jì)四大任務(wù)26個(gè)數(shù)據(jù)集上,平均錯(cuò)誤率分別降低了40.2%、47.3%、34.8%和9.4%。
開(kāi)源模型在分類、檢測(cè)、分割和深度估計(jì)中,僅用10%的下游訓(xùn)練數(shù)據(jù)就超過(guò)了現(xiàn)有其他開(kāi)源模型。
使用此模型,研究人員可以大幅降低下游數(shù)據(jù)采集成本,用極低的數(shù)據(jù)量,即可快速滿足多場(chǎng)景、多任務(wù)的AI模型訓(xùn)練。
OpenGVLab還提供多種不同參數(shù)量、不同計(jì)算量的預(yù)訓(xùn)練模型,以滿足不同場(chǎng)景的應(yīng)用。模型庫(kù)中列出了多個(gè)模型,其在ImageNet的微調(diào)結(jié)果和推理資源、速度,相比于之前的公開(kāi)模型均有不同程度的性能提升。
開(kāi)放千萬(wàn)級(jí)精標(biāo)注數(shù)據(jù)集
高性能的模型,離不開(kāi)豐富數(shù)據(jù)集的訓(xùn)練。
除了預(yù)訓(xùn)練模型,以百億數(shù)據(jù)總量為基礎(chǔ),上海人工智能實(shí)驗(yàn)室構(gòu)建了超大量級(jí)的精標(biāo)注數(shù)據(jù)集,近期將進(jìn)行數(shù)據(jù)開(kāi)源工作。
超大量級(jí)的精標(biāo)注數(shù)據(jù)集不僅整合了現(xiàn)有的開(kāi)源數(shù)據(jù)集,還通過(guò)大規(guī)模數(shù)據(jù)圖像標(biāo)注任務(wù),實(shí)現(xiàn)了對(duì)圖像分類、目標(biāo)檢測(cè)以及圖像分割等任務(wù)的覆蓋,數(shù)據(jù)總量級(jí)近七千萬(wàn)。開(kāi)源范圍涵蓋千萬(wàn)級(jí)精標(biāo)注數(shù)據(jù)集和十萬(wàn)級(jí)標(biāo)簽體系。
目前,圖像分類任務(wù)數(shù)據(jù)集已率先開(kāi)源,后續(xù)還將開(kāi)源目標(biāo)檢測(cè)任務(wù)等更多數(shù)據(jù)集。
此外,此次開(kāi)源的超大標(biāo)簽體系,不僅幾乎覆蓋了所有現(xiàn)有開(kāi)源數(shù)據(jù)集,并在此基礎(chǔ)上擴(kuò)充了大量細(xì)粒度標(biāo)簽,涵蓋各類圖像中的屬性、狀態(tài)等,極大豐富了圖像任務(wù)的應(yīng)用場(chǎng)景,顯著降低下游數(shù)據(jù)的采集成本。
研究人員還可以通過(guò)自動(dòng)化工具添加更多標(biāo)簽,對(duì)數(shù)據(jù)標(biāo)簽體系進(jìn)行持續(xù)擴(kuò)展和延伸,不斷提高標(biāo)簽體系的細(xì)粒度,共同促進(jìn)開(kāi)源生態(tài)繁榮發(fā)展。
首個(gè)通用視覺(jué)評(píng)測(cè)基準(zhǔn)
伴隨OpenGVLab的發(fā)布,上海人工智能實(shí)驗(yàn)室還開(kāi)放了業(yè)內(nèi)首個(gè)針對(duì)通用視覺(jué)模型的評(píng)測(cè)基準(zhǔn),彌補(bǔ)通用視覺(jué)模型評(píng)測(cè)領(lǐng)域的空白。
當(dāng)前,行業(yè)中已有的評(píng)測(cè)基準(zhǔn)主要針對(duì)單一任務(wù)、單一視覺(jué)維度設(shè)計(jì),無(wú)法反映通用視覺(jué)模型的整體性能,難以用于橫向比較。
全新的通用視覺(jué)評(píng)測(cè)基準(zhǔn)憑借在任務(wù)、數(shù)據(jù)等層面的創(chuàng)新設(shè)計(jì),可以提供權(quán)威的評(píng)測(cè)結(jié)果,推動(dòng)統(tǒng)一標(biāo)準(zhǔn)上的公平和準(zhǔn)確評(píng)測(cè),加快通用視覺(jué)模型的產(chǎn)業(yè)化應(yīng)用步伐。
在任務(wù)設(shè)計(jì)上,OpenGVLab提供的通用視覺(jué)評(píng)測(cè)基準(zhǔn)創(chuàng)新地引入了多任務(wù)評(píng)測(cè)體系,可以從分類、目標(biāo)檢測(cè)、語(yǔ)義分割、深度估計(jì)、行為識(shí)別等5類任務(wù)方向,對(duì)模型的通用性能進(jìn)行整體評(píng)估。
不僅如此,該評(píng)測(cè)基準(zhǔn)新加了僅用測(cè)試數(shù)據(jù)集10%數(shù)據(jù)量的評(píng)測(cè)設(shè)定,可以有效評(píng)估通用模型在真實(shí)數(shù)據(jù)分布下的小樣本學(xué)習(xí)能力。在測(cè)試后,評(píng)測(cè)基準(zhǔn)還會(huì)根據(jù)模型的評(píng)測(cè)結(jié)果給出相應(yīng)的總分,方便使用者對(duì)不同的模型進(jìn)行橫向評(píng)測(cè)。
隨著人工智能與產(chǎn)業(yè)融合的不斷深入,行業(yè)對(duì)人工智能的需求逐漸從單一任務(wù)向復(fù)雜的多任務(wù)協(xié)同發(fā)展,亟需構(gòu)建開(kāi)源、開(kāi)放的體系,以滿足趨于碎片化和長(zhǎng)尾化的海量應(yīng)用需求。
OpenGVLab的開(kāi)源,將幫助開(kāi)發(fā)者顯著降低通用視覺(jué)模型的開(kāi)發(fā)門檻,用更低成本快速開(kāi)發(fā)用于成百上千種視覺(jué)任務(wù)、視覺(jué)場(chǎng)景的算法模型,高效實(shí)現(xiàn)對(duì)長(zhǎng)尾場(chǎng)景的覆蓋,推動(dòng)通用AI技術(shù)的規(guī)?;瘧?yīng)用。
歡迎大家加入OpenGVLab,一起構(gòu)筑通用AI生態(tài)。
原文標(biāo)題:通用視覺(jué)研究利器來(lái)了!OpenGVLab平臺(tái)正式開(kāi)源
文章出處:【微信公眾號(hào):商湯科技SenseTime】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。