(相關資料圖)
在《麻省理工科技評論》中國日前最新發(fā)布的大模型評測報告中,訊飛星火認知大模型在6個大類中得分率排名第一,以 分(百分制計)的成績在本次評測中登頂。
該大模型評測報告從研發(fā)和商業(yè)化能力、外界態(tài)度以及發(fā)展趨勢等維度全方位檢測大模型的能力。本次評測使用的測試集包含600道題目,覆蓋了語言專項、數(shù)學專項、理科綜合、文科綜合、邏輯思維、編程能力、綜合知識、安全性共8個一級大類、126 個二級分類、290 個三級標簽,并針對問題的豐富性和多樣性做了優(yōu)化。
在題目類型上,為了兼顧定量、定性的評價與測試,設置了“單選”“多選”“填空”“簡答”4個題型,分別有 145 道、138 道、136 道和 181 道。大模型評測體系使用盲評方式,客觀評估國產(chǎn)大模型的“聰明”程度。
值得一提的是,從題型角度來看,主觀簡答題中訊飛星火憑借 % 的得分率位居第一;而在客觀題上,訊飛星火以 % 的得分率排名第一,在主客觀題型中均有良好表現(xiàn)。
在剛剛過去的8月15日,訊飛星火認知大模型發(fā)布,進一步突破代碼能力和多模態(tài)能力。技術獲得重大突破的同時,搭載訊飛星火核心能力的應用和產(chǎn)品也越來越豐富:既有輔助程序員高效工作的智能編碼助手、能夠進行視頻創(chuàng)作的訊飛智作、能夠便捷搭建輕應用的教育數(shù)字基座應用開發(fā)助手,還有幫助教師設計教學活動、一鍵生成課件的星火教師助手、面向英語學習者口語練習的星火語伴,訊飛AI學習機也升級AI 1對1智能編程助手和AI 1對1創(chuàng)意繪畫伙伴。此外,科大訊飛還和華為聯(lián)合發(fā)布星火一體機,讓每一家企業(yè)都有機會構建專屬大模型。
(文章來源:新華社)