(資料圖)
有很多人擔(dān)心OpenAI的ChatGPT會(huì)幫助學(xué)生在考試中作弊,但如果你讓它寫一份研究生水平的考試,這個(gè)聊天機(jī)器人的表現(xiàn)會(huì)如何?它會(huì)通過的--如果只是通過的話。在一項(xiàng)新發(fā)表的研究中,明尼蘇達(dá)大學(xué)的法學(xué)教授們讓ChatGPT為他們學(xué)校的四門課程的研究生考試提供答案。人工智能通過了所有四門課程,但平均成績(jī)?yōu)镃+。在最近的另一篇論文中,沃頓商學(xué)院教授克里斯蒂安-特維什(Christian Terwiesch)發(fā)現(xiàn),ChatGPT以B到B-的成績(jī)通過了一次商業(yè)管理考試。那么,你不會(huì)想用這種技術(shù)來打動(dòng)學(xué)術(shù)界。
研究小組發(fā)現(xiàn)人工智能并不穩(wěn)定,可以說是很溫和。明尼蘇達(dá)大學(xué)的研究小組指出,ChatGPT擅長(zhǎng)處理 "基本法律規(guī)則 "和總結(jié)學(xué)說,但在試圖確定與案件有關(guān)的問題時(shí)卻陷入困境。Terwiesch說,該生成器在處理簡(jiǎn)單的運(yùn)營(yíng)管理和流程分析問題時(shí) "令人驚訝",但無法處理高級(jí)流程問題。它甚至在處理六年級(jí)水平的數(shù)學(xué)問題時(shí)也會(huì)出錯(cuò)。
還有改進(jìn)的余地。明尼蘇達(dá)州的教授們說,他們沒有根據(jù)具體課程或問題調(diào)整文本生成器的提示,并認(rèn)為學(xué)生可以通過定制獲得更好的結(jié)果。在沃頓商學(xué)院,Terwiesch說,機(jī)器人善于根據(jù)人類的指導(dǎo)來改變答案。ChatGPT本身可能無法在考試或論文中取得好成績(jī),但作弊者可以讓系統(tǒng)生成粗略的答案并對(duì)其進(jìn)行完善。
兩個(gè)陣營(yíng)都警告說,學(xué)校應(yīng)該限制技術(shù)的使用,以防止基于ChatGPT的作弊。他們還建議改變問題,以阻止人工智能的使用(如專注于分析而不是背誦規(guī)則),或增加對(duì)那些倚重人工智能的人的挑戰(zhàn)。明尼蘇達(dá)大學(xué)說,學(xué)生仍然需要學(xué)習(xí) "基本技能",而不是依靠機(jī)器人的幫助。
這些研究小組仍然認(rèn)為ChatGPT可以在課堂上占有一席之地。教授可以教學(xué)生如何在工作場(chǎng)所依賴人工智能,甚至用它來編寫和評(píng)分考試。Terwiesch解釋說,這項(xiàng)技術(shù)最終可以節(jié)省時(shí)間,這些時(shí)間可以花在學(xué)生身上,比如更多的學(xué)生會(huì)議和新的課程材料。