言语障碍在全球和中国均是一个非常严峻的公共卫生问题。全球言语障碍患者总数约在10亿左右，中国言语障碍患者总数约在1600-2000万之间。中国职业用嗓人群规模在1-2亿人左右，越来越多的场景需要静默沟通。
01项目介绍
本项目基于言语活动中发音器官信息获取分析，同步辅助非正常器官信息，进而重建语音信息。在静默语关键技术研究中，声音信息缺失或受损的情况下利用舌部动作、唇部动作等信息，推断发音内容在实验室环境下词识别准确率高达94%以上，句子识别正确率80%以上。唇舌音数据采集与重构平台中，已实现集成陀螺仪，压力传感器实时无感知获取，同时基于卡尔曼滤波改进算法的数据标定，重构超声舌、唇模型。团队承担国家级科研项目4项，申请专利20余项 ，软件著作权6项，授权专利7项。获第九届中国国际“互联网+”大学生创新创业大赛天津市高教主要赛道银奖。
02 核心产品介绍
目前整套产品有三部分。
① 汇言 -中文多模态言语料库，世界唯一。
② 零语-多维协同静默交流头盔，全国首款、全国唯一。
③ 知音-多感官发音机理观测口罩，全国首款、唯一。
03 应用场景
项目方案基本实现无感知的静默语识别，为言语障碍恢复训练、治疗以及其他静默场景下提供一套新的解决方案。对多模态数据采集处理替代品成本低、性能全；语音，超声舌图像，唇部图像设备轻便灵活，成本低。目前有医院耳鼻喉科室，军工、嘈杂、图书馆等静默应用场景。
