【資料圖】
微軟研究院近日公開了其最新研究項目——Project Rumi。該項目旨在通過結(jié)合文本、音頻和視頻數(shù)據(jù),運用多模態(tài)方法,提升人工智能系統(tǒng)的理解能力,使其更能理解人類的意圖。 近年來,人工智能系統(tǒng)在自然語言處理(NLP)領(lǐng)域取得了顯著的進步。然而,現(xiàn)有的NLP AI主要依賴于文本輸入輸出,忽略了人類在自然交流中的語調(diào)、面部表情、手勢和肢體語言等線索,這在一定程度上導致了其在理解方面的偏差。在AI專業(yè)術(shù)語中,這些線索被統(tǒng)稱為副語言。 為了解決這個問題,微軟研究院開發(fā)了Project Rumi。這是一個新穎的框架,旨在通過多模態(tài)副語言提示來增強人工智能的理解。該項目包括兩個主要部分:多模式副語言編碼器和多模式副語言解碼器。