天津理工大學(xué)聾人工學(xué)院研究團(tuán)隊對手語數(shù)據(jù)庫做進(jìn)一步調(diào)試完善。記者 姜寶成 攝

日前，北京冬奧會開幕，央視新聞AI手語主播正式“上崗”，在央視新聞冬奧直播特別節(jié)目等為聽障人士提供實時手語翻譯。為這名手語主播搭建手語資料庫的，是天津理工大學(xué)聾人工學(xué)院無障礙智能科技研發(fā)團(tuán)隊的師生們。

“我們從6年前就開始研發(fā)這套‘復(fù)雜場景下中國手語實時翻譯系統(tǒng)’，目前已累計20多萬條語料，可以實時把手語動作轉(zhuǎn)化為文字。”該團(tuán)隊負(fù)責(zé)人、天津理工大學(xué)聾人工學(xué)院副院長袁甜甜教授介紹，就像現(xiàn)在成熟的語音翻譯軟件一樣，這套系統(tǒng)能將輸入的手語動作和表情經(jīng)由計算機視覺技術(shù)識別后翻譯成文字或語音，幫助聾人實現(xiàn)其信息向聽者方面?zhèn)鬏�，“這樣既能提高溝通效率，也讓溝通體現(xiàn)人文關(guān)懷。有了雙向?qū)崟r翻譯，項目才算真正落地�！�

用手語“說話”的語序和健聽人習(xí)慣的漢語語序是不一樣的，有一套相對獨立的語法體系，而且手語的表達(dá)方式豐富，要“說”出一個意思完整的句子，除了手勢，也要配合相應(yīng)的表情甚至肢體動作。所以，想讓人工智能成為合格的手語翻譯，需要把手勢、表情、大肢體動作從視頻轉(zhuǎn)化為數(shù)據(jù)，再“教”給計算機學(xué)習(xí)。此外，為了讓手語主播在新聞場景下的手語實時生成能跟上新聞播報的速度，團(tuán)隊還要“教”計算機“學(xué)會”自己提取主干信息，同時完善與體育、新聞相關(guān)的專業(yè)語料，并按照聽障人士的語言順序不斷調(diào)整手語速度、停頓間隙等，讓手語含義得到準(zhǔn)確表達(dá)。

“能為冬奧會服務(wù)，我們感到很光榮、很自豪�！痹�甜甜說，研發(fā)團(tuán)隊已對百萬級日常使用的對譯文本、十萬級冬奧會專有對譯文本及冬奧會專有手語動作進(jìn)行了多輪打磨，努力為手語主播提供盡可能豐富的語料支撐，使其能為聽障人士提供專業(yè)、準(zhǔn)確的手語解說，“此次冬奧會是實現(xiàn)手語識別落地的第一步，我們致力于實現(xiàn)手語識別項目在多個場景下的落地，助力聽障人群和健聽人群無障礙交流，并將這項技術(shù)推廣到環(huán)境感知、微表情分析等眾多領(lǐng)域�！保ㄓ浾� 姜凝）

分享讓更多人看到