(相關(guān)資料圖)
在《麻省理工科技評(píng)論》中國(guó)日前最新發(fā)布的大模型評(píng)測(cè)報(bào)告中,訊飛星火認(rèn)知大模型在6個(gè)大類中得分率排名第一,以 分(百分制計(jì))的成績(jī)?cè)诒敬卧u(píng)測(cè)中登頂。
該大模型評(píng)測(cè)報(bào)告從研發(fā)和商業(yè)化能力、外界態(tài)度以及發(fā)展趨勢(shì)等維度全方位檢測(cè)大模型的能力。本次評(píng)測(cè)使用的測(cè)試集包含600道題目,覆蓋了語(yǔ)言專項(xiàng)、數(shù)學(xué)專項(xiàng)、理科綜合、文科綜合、邏輯思維、編程能力、綜合知識(shí)、安全性共8個(gè)一級(jí)大類、126 個(gè)二級(jí)分類、290 個(gè)三級(jí)標(biāo)簽,并針對(duì)問(wèn)題的豐富性和多樣性做了優(yōu)化。
在題目類型上,為了兼顧定量、定性的評(píng)價(jià)與測(cè)試,設(shè)置了“單選”“多選”“填空”“簡(jiǎn)答”4個(gè)題型,分別有 145 道、138 道、136 道和 181 道。大模型評(píng)測(cè)體系使用盲評(píng)方式,客觀評(píng)估國(guó)產(chǎn)大模型的“聰明”程度。
值得一提的是,從題型角度來(lái)看,主觀簡(jiǎn)答題中訊飛星火憑借 % 的得分率位居第一;而在客觀題上,訊飛星火以 % 的得分率排名第一,在主客觀題型中均有良好表現(xiàn)。
在剛剛過(guò)去的8月15日,訊飛星火認(rèn)知大模型發(fā)布,進(jìn)一步突破代碼能力和多模態(tài)能力。技術(shù)獲得重大突破的同時(shí),搭載訊飛星火核心能力的應(yīng)用和產(chǎn)品也越來(lái)越豐富:既有輔助程序員高效工作的智能編碼助手、能夠進(jìn)行視頻創(chuàng)作的訊飛智作、能夠便捷搭建輕應(yīng)用的教育數(shù)字基座應(yīng)用開(kāi)發(fā)助手,還有幫助教師設(shè)計(jì)教學(xué)活動(dòng)、一鍵生成課件的星火教師助手、面向英語(yǔ)學(xué)習(xí)者口語(yǔ)練習(xí)的星火語(yǔ)伴,訊飛AI學(xué)習(xí)機(jī)也升級(jí)AI 1對(duì)1智能編程助手和AI 1對(duì)1創(chuàng)意繪畫(huà)伙伴。此外,科大訊飛還和華為聯(lián)合發(fā)布星火一體機(jī),讓每一家企業(yè)都有機(jī)會(huì)構(gòu)建專屬大模型。
(文章來(lái)源:新華社)