SignLens軟體包含語音辨識系統和手語辨識系統，能夠即時地將語音和手語轉換成文字，出現在混合實境（Mixed Reality, MR）裝置的螢幕上。團隊透過MediaPipe是一項機器學習模型，其中的手部姿態辨識功能，可以追蹤21個手部關鍵3D定位點在空間中的位置，進一步辨識手勢。建立手語辨識的學習模型，經由大量動態影像資料訓練過後，模型可以學習手部運動，辨識出手語動作對應的語意。
團隊成員宋志謙說明，目前市面上正在開發的手語辨識模型，多以資源和使用人口較多的美國手語（American Sign Language, ASL）為主，而台灣尚未有具統一規格的手語資料庫和辨識系統。「資料集一直都是模型訓練最重要的、最核心的部分。」指導老師簡士鎰說明，面對詞彙資料搜集的困難，團隊初期聘請手語老師提供專業意見和指導，學習手語後自行錄製影片，更開發出「手語辨識資料集收錄平台」，讓使用者能自行錄製、上傳手語影片，補充給模型學習。
系統將語音即時轉為文字，再透過混合實境裝置顯示對話框和實景。
此外，團隊成員曹子涵補充道，美國手語翻譯系統大多以網頁為主，需要依賴桌電或筆電的攝影機，而團隊結合MR技術，透過眼鏡內建的攝影機進行拍攝、辨識，使SignLens更具機動性和即時性。台灣手語翻譯協會理事長魏如君樂見其成地說：「只要是能夠幫忙溝通的工具都是好的。」然而，他也建議，手語解讀速度和詞彙量應再提升，才能夠實際發揮作用。（延伸閱讀｜元宇宙來了！輝達執行長黃仁勳：虛擬世界經濟規模，終將超越實體）
台灣手語翻譯量能缺乏，政府不提供金融開戶等私人場合公費申請翻譯服務，因此團隊開發產品時以金融服務場景為出發。團隊成員朱芷伶說明，「我們傾向以訂閱制的方式，將軟硬體整套一包租借給銀行。如果是有哪些專業詞語的手語資料想要增加，或者是系統需要改進，就可以馬上反饋給他們。」團隊也希望能夠利用平台蒐集到更多手語資料，擴展使用情境。
手語辨識系統將手語動作翻譯成文字，再顯示在穿戴式裝置Hololens的螢幕上。
（本文授權自大學報）
延伸閱讀
超音波結合鏡頭辨識 智慧手杖改善視障者用路安全
龍華科大創臉控輪椅 助手腳失能者自主行動
監控系統結合視聽技術 遠端通報強化居家安全
