閱讀排行
更多
- 1鄂爾多斯市羊絨衫產(chǎn)量連續(xù)7個(gè)月正增長(zhǎng)
- 28月份AMI指數(shù)為49.2%,景氣度位于近四年同期歷史低位
- 3關(guān)于公布2024至2025年度紡織行業(yè)重點(diǎn)培育擬上市企業(yè)推薦名單的通知
- 4調(diào)味品行業(yè)低鹽趨勢(shì)下對(duì)食品機(jī)械需求的變化
- 5公開(kāi)征求對(duì)《輕工業(yè)數(shù)字化轉(zhuǎn)型實(shí)施方案(征求意見(jiàn)稿)》的意見(jiàn)
- 6甘肅省老舊農(nóng)業(yè)機(jī)械報(bào)廢更新政策解讀
- 72024中國(guó)(泰山)國(guó)際礦業(yè)裝備與技術(shù)展覽會(huì)暨煤炭新質(zhì)生產(chǎn)力與智慧礦山建設(shè)發(fā)展大會(huì)盛大開(kāi)幕
- 8方便食品火了,食品機(jī)械也跟著忙活起來(lái)
- 9中國(guó)商業(yè)企業(yè)管理協(xié)會(huì)關(guān)于發(fā)布《中央空調(diào)節(jié)能效果評(píng)價(jià)導(dǎo)則》等八項(xiàng)團(tuán)體標(biāo)準(zhǔn)的公告
企業(yè)直播
更多
推薦展會(huì)
更多
重慶研究院在自然語(yǔ)言問(wèn)答的視頻理解研究中取得進(jìn)展
導(dǎo)讀:本研究方法能夠在無(wú)需建立參數(shù)量龐大的特征提取以及交互模型,且在不借助于大規(guī)模視覺(jué)文本數(shù)據(jù)對(duì)預(yù)訓(xùn)練的情況下,取得與現(xiàn)有方法相比更好或相當(dāng)?shù)耐评肀憩F(xiàn)。
現(xiàn)有自然語(yǔ)言問(wèn)答的視頻理解研究大多采用離線(xiàn)特征提取方式來(lái)進(jìn)行問(wèn)答推理,然而這種離線(xiàn)的處理方式存在一些缺陷:(1)視頻或文本特征提取器通常是在其他任務(wù)上進(jìn)行訓(xùn)練的,與目標(biāo)任務(wù)存在差異,如將行為識(shí)別數(shù)據(jù)集上訓(xùn)練的特征提取器直接用于視頻問(wèn)答任務(wù)顯然不是最優(yōu)的。(2)各個(gè)特征提取器通常是在各自領(lǐng)域數(shù)據(jù)集上單獨(dú)進(jìn)行訓(xùn)練,得到的模態(tài)特征之間缺乏聯(lián)系。(3)為提升問(wèn)答推理表現(xiàn),這類(lèi)方法通常需借助于復(fù)雜的特征提取器或文本分析工具以更有效地處理視頻或問(wèn)題。因此,采取端到端的方式來(lái)對(duì)自然語(yǔ)言問(wèn)題和視頻內(nèi)容進(jìn)行學(xué)習(xí)是解決上述缺陷的一種有效途徑。盡管近年來(lái)提出的端到端方法通過(guò)同時(shí)學(xué)習(xí)特征提取與多模態(tài)信息交互,并在問(wèn)答推理上取得了優(yōu)異的識(shí)別表現(xiàn)。然而,這些方法主要關(guān)注于構(gòu)建參數(shù)量龐大的模型以及探索如何利用大規(guī)模視覺(jué)文本語(yǔ)料庫(kù)的預(yù)訓(xùn)練來(lái)提升任務(wù)性能,而這通常需要耗費(fèi)大量的計(jì)算資源,且在數(shù)據(jù)標(biāo)注和模型訓(xùn)練上具有較高的人力成本。
我院研究團(tuán)隊(duì)針對(duì)現(xiàn)有研究方法存在的上述問(wèn)題,提出了一種高效的端到端視頻和語(yǔ)言聯(lián)合學(xué)習(xí)方法。該方法結(jié)合了現(xiàn)有研究中所驗(yàn)證的局部空間信息和時(shí)間動(dòng)態(tài)特性對(duì)于提升問(wèn)答推理準(zhǔn)確性的幫助,通過(guò)設(shè)計(jì)金字塔式視頻和語(yǔ)言交互結(jié)構(gòu),將視頻分解成具有不同粒度的空間和時(shí)間特征,并堆疊多個(gè)多模態(tài) Transformer層提取其與問(wèn)題之間的交互,實(shí)現(xiàn)了視頻和文本之間的局部和全局依賴(lài)關(guān)系提取。此外,為更充分地利用各層上的局部和全局交互特征,該方法設(shè)計(jì)了一種基于上下文匹配的橫向連接操作以及多步損失約束,以逐步地實(shí)現(xiàn)局部和全局語(yǔ)義完整的交互特征的提取。
方法框架圖
本研究方法能夠在無(wú)需建立參數(shù)量龐大的特征提取以及交互模型,且在不借助于大規(guī)模視覺(jué)文本數(shù)據(jù)對(duì)預(yù)訓(xùn)練的情況下,取得與現(xiàn)有方法相比更好或相當(dāng)?shù)耐评肀憩F(xiàn)。同時(shí)在模型參數(shù)量和計(jì)算效率上具有顯著優(yōu)勢(shì)。相關(guān)成果發(fā)表在人工智能頂會(huì)議AAAI Conference on Artificial Intelligence(CCF A類(lèi))上。上述工作得到國(guó)家自然科學(xué)基金項(xiàng)目的支持。
版權(quán)與免責(zé)聲明:1.凡本網(wǎng)注明“來(lái)源:興旺寶裝備總站”的所有作品,均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-興旺寶合法擁有版權(quán)或有權(quán)使用的作品,未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的,應(yīng)在授權(quán)范圍內(nèi)使用,并注明“來(lái)源:興旺寶裝備總站”。違反上述聲明者,本網(wǎng)將追究其相關(guān)法律責(zé)任。 2.本網(wǎng)轉(zhuǎn)載并注明自其它來(lái)源(非興旺寶裝備總站)的作品,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)或和對(duì)其真實(shí)性負(fù)責(zé),不承擔(dān)此類(lèi)作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個(gè)人從本網(wǎng)轉(zhuǎn)載時(shí),必須保留本網(wǎng)注明的作品第一來(lái)源,并自負(fù)版權(quán)等法律責(zé)任。 3.如涉及作品內(nèi)容、版權(quán)等問(wèn)題,請(qǐng)?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系,否則視為放棄相關(guān)權(quán)利。
相關(guān)新聞
昵稱(chēng) 驗(yàn)證碼 請(qǐng)輸入正確驗(yàn)證碼
所有評(píng)論僅代表網(wǎng)友意見(jiàn),與本站立場(chǎng)無(wú)關(guān)