现在机器视觉这么火那机器听觉被人忽视了吗?为什么?

白素电竞 2020-12-08 11:03:03
精选回答

我这里从狭义上的“机器听觉”补充一些内容吧。如果做computer vision的研究者以David Marr的《Vision》作为开山之作的话,做computer audition的或许可以以Albert Bregman的《Auditory Scene Analysis》作为开山之作。但这是比较狭义的说法,因为实际上目前机器的音频感知的主流领域包括语音识别,cocktail party problem,music transcription等问题,从模型选择上并没有follow人的感知过程。基于HMM的ASR的研究也只是把这个问题描述成序列建模的数学问题,包括后续的CTC,attention model。如果说MFCC是有一定的心理声学的基础的话,实际上Mel滤波器并不是刻画耳蜗传函的最佳滤波器组,比如Gammatone filter bank就被证明是更接近人耳蜗的选择 (PNCC用的是Gammatone filter bank,但并不是主流的ASR特征)。目前的研究方向甚至到了直接用时域信号做ASR,即使用Mel filter bank feature,似乎也只是作为一个frequency warping的降维或者提升运算速度的方法,这就与真正的人耳感知相去甚远了。狭义上的computer audition,一般包括以下研究方向,binaural sound source localization, binaural source separation, binaural speech enhancement,应用领域主要在hearing assistant,cochlear implant,机器人听觉,以及audio reality。之所以都带着binaural是因为人的听觉感知就是双耳啊。在这个方向上Deliang Wang的《computational auditory scene analysis》做了很全面的介绍。虽然他们组现在也是DNN玩的飞起,但涉及到助听器人工耳蜗AR的研究方向,还是不能避开人耳感知的基本原理。

至于目前CV的研究方法和《Vision》相去多远我不是很了解,据说CNN的convolution还是受到人的reception field的启发的。

逼格

当然有机器听觉啦。一切以声音为输入的机器学习任务,都可以纳入「机器听觉」的范畴。这样的任务太多、太杂,所以一般不把它们统称为「机器听觉」而已。最为大众熟知的「机器听觉」任务,就是语音识别了,它的具体含义是把语音转化成文字。从语音中能够获得的信息远远不止文字,还包括语种、说话人身份、说话人情绪等等,相应的任务分别称为语种识别、说话人识别、情感识别。上面说的「语音」都是指人的声音。而世界上能够「听」到的声音也不只有语音。一种典型的其它的声音是音乐,那么就可以有旋律识别、和弦识别、体裁识别、情感识别等多种任务;考虑到有些音乐是有歌词的,那么就还可以进行歌词识别。广义的声音还包括动物、机械、自然界发出的各种声音。识别这些声音的任务,称为「声音事件检测」,这正是我的博士论文课题。前面所说的各种任务,都属于「识别」类型,即输入是声音,输出不是声音。当然还有输入和输出都是声音的任务,比如降噪、分离等等,也都可以算「机器听觉」。反过来,以声音为输出的机器学习任务,就可以算是「机器嘴巴」了(这个名字有点怪……),包括语音合成、语音转换等等。

安居邦

相关推荐

女生经常掉头发是啥原因,掉头发很厉害怎么办?

女生经常掉头发可能是因为作息不规律,导致自己身体的内分泌失调,也有可能是因为近期压力过大,当你掉头发很厉害的时候,尽量要保持自己的作息良好规律,然后一定要坚持一日三餐,吃一些比较有营养的,不要老是吃一些垃圾食品。
详情

你爸爸做过哪一些你认为真爱存在的事?

小时候在大厅躺沙发上偷偷看电视,听见老爸回来的脚步声赶紧关电视装睡着。后来听见老爸说:这只小猪怎么睡在这里,然后脱衣服给我当被子盖,然后他就走了。
详情

心情不好时大家采取的解压方式是什么样的?

首先要让自己心态平稳下来,压力来源于各处,保持好自己的状态才能不被压力扰乱生活。其次做一些自己喜欢的事情,比如说看一场期待已久的电影,听一首自己喜欢的歌。
详情

下雨天没带伞是怎样的一种感受?

2011年北京那场大暴雨,我没带伞,在商场里多了几个小时,当时感觉挺好玩,可是下完了傻眼了,怎么回去啊,公交车都不通了,瞬间就心塞了。
详情

有些女孩子总在朋友圈发自己的自拍,是什么意思?

我就是非常喜欢自拍和自恋的那种,无关美丑;但重不批图,因为像你们说的自己长什么样难道别人不清楚,更多的批只是为了证明不自信的虚;所以我尽量保持原生态,因为自信才最美;哪怕所谓的搔首弄姿,与大人的思想格格不入;除了说我们不是一个时代,代沟外,更多的只是想记录自己而已,仅此而已;无关关注和美丑,只是一种爱好和兴趣而已,人可以不美;但得有自信,像我一样敢露敢言不失也是一种乐趣,乐趣啊!
详情

以你的经历来说你知晓有那些恋爱技巧吗?

‍‍不要去追她,而是“招引”她。人类的基本反映,追对应的即是逃,你追的越凶她离你越远。你也许有所置疑,可是这是现实,你有必要承受。所以,马上中止全部“追”她的做法,你不需要对女性口头上说“喜爱你”,你不需要对她清晰地表达,现实上,整个招引进程不要任何口头的清晰的表达,而是把心思放在,怎么让她觉得和我在一起的时刻很高兴,很有意思?让她喜爱呆在我身边,喜爱每天和我在一起,喜爱和我出去玩,喜爱和我谈天。那样的话,即便你和她不表达,她也不好你说明白。你们基本是即是一对情侣。由于你们做的工作,聊的东西,呆在一起的时刻和情侣如出一辙。即便你们俩谁都没说明白,可是你得到了全部作为她男兄弟的优点,这即是现实爱
详情

精选推荐

3gp是什么格式

很多人在使用手机或者电脑储存文件的时候,常常会看到3gp这种格式,究竟这种格式有什么特点和功能呢?主要应用在哪些方面呢?下面让我们一起去了解详细的内容吧。

4k是什么意思

很多人在家电销售专场上经常会看到4k电视,究竟这个4k是什么意思呢?其又有什么特点?和其他电视相比又有什么区别呢?下面让我们一起去了解详细的内容吧。

4s是什么意思

相信很多朋友都知道4s店是专门销售汽车的场所,可是究竟4s店都有哪些功能或者有什么特点呢?为什么叫做4s店呢?下面让我们一起去了解详细的内容吧。

996是什么

相信很多人都听过996,甚至很多刚从学校步入社会找工作的人第一个要求就是不进“996”的公司。下面给大家详细介绍一下什么是996。

3g是什么意思

人们在手机专卖店上经常看到3g技术的介绍,可是又不了解这个3g技术究竟是一项怎么样的技术?都有一些什么特点?下面让我们一起去了解详细的内容吧。