星島日報

IVE畢業生研發手語翻譯App

2021-05-17 00:00
  (星島日報報道)手語有助聽障人士與人溝通,惟不諳手語者則無從解讀。香港專業教育學院(IVE)畢業生研發智能電話應用程式「SignChat」,健聽者拍攝手語動作後,人工智能(AI)系統可在數秒之間「翻譯」手語的文字意思,準確度達七至八成;期望年底前把詞彙增至一百組,研究日後在不同場所應用。

  應用程式由三名IVE軟件工程高級文憑畢業生共同研發,成員之一的溫子軒在小學曾學習手語,在教師鼓勵下,以科技幫助社會有需要人士,遂偕同學在畢業作品研發應用程式SignChat,亦獲第六屆香港大學生創新及創業大賽三等獎。

  運用SignChat時,手語用家的「最佳距離」為站立在手機鏡頭前一至兩米處,在充足光線環境下拍攝上半身。

  拍攝手語動作時,系統通過立體影像追蹤技術,以框線追蹤雙手動作,範圍更包括手指、手掌和手腕等,約二十個檢測點。團隊示範「早安你好嗎」、「我想吃漢堡包」等手語,不消數秒,系統便能翻譯成文字。溫子軒建議,打手語時動作要比平常更大,「動作大點,以合適速度做手語,都有助系統翻譯。」

  溫子軒憶述,歷時一年的研發過程中,最困難的是「訓練」AI系統,「每個手勢要不同人輸入數十次,人人速度不一,或有人做錯方向,影響系統辨認。」他指完成AI訓練後,系統便儲存了足夠數據,進行深度學習,確保翻譯準確。SignChat現時已累積約五十組簡單詞語及短句,準確度達七至八成。

  指導學生研發應用程式、IVE沙田院校資訊科技系署理高級講師郭譽豪稱,AI辨認準確度高,冀學生進一步擴充詞庫,預計年底前增至一百多組詞彙,待系統成熟後,料可於醫院應用,方便醫護人員與聽障人士溝通,促進傷健共融。

  團隊深明面部表情,亦影響手語意思,故加入表情分析加以改良;郭譽豪強調,收集人臉影像後,可轉化成數據,以保障私隱。

  

最新回應

相關新聞

熱門文章