自然语言辅助的手语辨认 _生活知道

大家好,今天小编来为大家解答以下的问题，关于自然语言辅助的手语辨认这个很多人还不知道，现在让我们一起来看看吧！
论文链接：

文章插图
https://arxiv.org/abs/2303.12080
代码链接：
【自然语言辅助的手语辨认】https://github.com/FangyunWei/SLRT
广泛应用于聋哑人群体的手语是一种通过视觉信号传递信息的语言。但是，大量视觉上类似的手势极大地限制了手语辨认模型的准确率。虽然这些手势难以只凭眼力区分，但它们的文本标签（通常为一个单词）却可以提供更多有用的信息。因此，研究员们提出了自然语言辅助的手语辨认模型（NLA-SLR）。
首先，对于语义类似的手势，研究员们提出了自然语言感知的标签平滑。如图2（a）所示，在训练过程当中计算当前手势标签与辞汇表中每一个标签的语义类似度，并根据类似度向量生成软化标签作为优化目标。这一技术能够有效正则化模型，下降训练难度。其次，对于语义差别大的手势，研究员们提出了跨模态混合，如图（b）所示通过将训练过程当中模型的视觉特点与辞汇表中的文本特点逐一混合，并设计相应的跨模态混合标签，能够在自然语言的帮助下提高手势的可分性，从而提升模型性能。最后，经过三个广泛使用的标准数据集中的验证， NLA-SLR 均达到了最高的辨认准确率。
关于“自然语言辅助的手语辨认”的内容，小编就分享到这里了，大家还有哪些需要补充的呢？无妨在评论区留言分享，让更多的朋友受益！您的每一个留言，和每一个赞，都是我前进的动力！喜欢的话记得收藏、分享给身旁的朋友。

自然语言辅助的手语辨认

猜你喜欢