来源:中国青年报
拿起手机,点击机器人图标,说出你想对聋哑朋友说的话,只需几秒钟,一张张手语图便跳了出来,实现普通人与听障者的零距离沟通。这原本只是一个简单的概念设想,一群平均年龄只有22岁的大学生做到了,让不懂手语的人也能和听障群体进行交流。
5月14日,江苏科技大学计算机系的5名志愿者来到镇江市特教中心,在没有手语老师的翻译下,通过一个手机APP——聋人自然手语翻译器,与高一年级10位聋哑学生交流互动。
去年10月,TouchVoice创新团队宣告开发一款助听障群体沟通的软件,目前该团队已扩容至9人。理工科背景加上对自然语言处理的核心优势,几人一拍即合,决定潜心研究一个惠及聋哑群体的手机软件。把语音转换成文字,再将文字翻译成手语,为普通人与聋哑群体搭建沟通的桥梁。
设想勾画完成,“三大库”的建立至关重要。 “目前来看,我们已经完成最基础的构想——手语图片库,并且取得了良好的用户体验,和同学们交流了40多分钟,每句语音都被准确翻译成了手语图,他们都能看懂。”吴琪说。
吴琪是江苏科技大学三年级学生,曾在社区做过志愿者,帮扶青少年群体。在团队中主要负责“3D骨骼动画”研发。
然而,将手语图片全部录入系统并不容易,几经周折,团队将“我爱手语网”列为最佳选择对象,在教师编写的“爬虫”软件支持下,5234张图片全部被收入囊中。
为了这款APP能带给用户最佳体验,加班、熬夜、通宵成了家常便饭。团队放弃了今年的“史上最长寒假”,回家过了几天春节,便匆匆赶往学校,继续开发、研制。分工明确助力团队一路向前,3D人体骨骼动画研究、安卓端的开发、算法研究、以及自然语言分析缺一不可。本科生与研究生共同协作,发挥各自的专业特长。
另外的两大库分别是手语动画库和手语视频库。为了呈现出动态手语,而不是简单的几张图片,并将手语与文字翻译互通,用动画和视频进行呈现。团队购置了Leap Motion设备拍摄手语动画,配备了带有RealSense3D摄像头的笔记本。陈璟告诉记者,团队构思了各种手语识别算法,考虑平行关节、手指点、深度图等问题,最终由于手指关节数据的误差较大,还是陷入了瓶颈。
幸运的是,“聋人自然手语翻译器”得到了学校和镇江市残联的大力支持,并前往绍兴市拜访手语协会的王丽娅老师。“王丽娅老师给团队普及了很多专业知识,愿意助我们一臂之力,并希望借助与我们的合作,推广自然手语的教学。双向翻译指日可待。”陈璟告诉记者。