睡眠声音识别中的准确率问题(二)--测试结果及分析

1 测试数据集介绍

（1）Audioset数据集：从该数据集中筛选出鼾声数据500条；
（2）人工采集的数据集：我们收集了鼾声及咳嗽数据50条，其中鼾声数据40条，咳嗽数据10条，利用shuteye录制。

2 评价指标

原始标签：1个或者多个；
预测标签：top-n个标签；
评价方法：如果原始标签在预测标签中出现，则认为预测正确，此处不考虑原始标签在预测标签中排名。例如Snoring在top-n之中，则认为该测试数据为Snoring数据，否则认为没有打鼾。最后的预测公式为：准确率 = 预测正确的个数 / 总的预测个数

3 测试结果

3.1 鼾声测试

3.1.1 AudioSet数据集

当n取1的时候，测试用例在100条时只有10%的正确率，测试用例在300条时达到16.2%的正确率，测试用例在500条时达到16.2%的正确率。
当n取2的时候，测试用例在100条时只有57%的正确率，测试用例在300条时达到64.7%的正确率，测试用例在500条时达到70.2%的正确率。
当n取3的时候，测试用例在100条时只有80%的正确率，测试用例在300条时达到80.7%的正确率，测试用例在500条时达到84.8%的正确率。
当n取4的时候，测试用例在100条时只有83%的正确率，测试用例在300条时达到84.3%的正确率，测试用例在500条时达到87.6%的正确率。
当n取5的时候，测试用例在100条时达到84%的正确率，测试用例在300条时达到85%的正确率，测试用例在500条时达到88.4%的正确率。
当n取6的时候，测试用例在100条时达到84%的正确率，测试用例在300条时达到86%的正确率，测试用例在500条时达到89.2%的正确率。
当n取7的时候，测试用例在100条时达到87%的正确率，测试用例在300条时达到88%的正确率，测试用例在500条时达到90.4%的正确率。
当n取8的时候，测试用例在100条时达到87%的正确率，测试用例在300条时达到88.67%的正确率，测试用例在500条时达到90.8%的正确率。
当n取9的时候，测试用例在100条时达到88%的正确率，测试用例在300条时达到89.67%的正确率，测试用例在500条时达到91.6%的正确率。
当n取10的时候，测试用例在100条时达到87%的正确率，测试用例在300条时达到90.6%的正确率，测试用例在500条时达到92.4%的正确率。

3.1.2 人工数据集

人工采集数据来源于自己录制，相比audioset中的音频，，n取1的准确率为0，n取2的准确率最后只有30%，n取3的准确率最后只有58.7%，n取4的准确率最后只有60.9%，n取5~9的效果都准确率最后只有75%+。

n取10 的时候最后准确率在78%左右。
$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-z8A3T8DN-1628212451192)(C:\Users\fake\AppData\Roaming\Typora\typora-user-images\image-20210805182351019.png)]$
原因分析：采集的数据中背景噪声较大，且有些音频存在大段静默（占80%左右），打鼾声音很微弱，因此预测效果没有Audioset的准确率高。

3.2 Cough测试：人工数据集

由于Cough数据较少，因此在网上也收集了一些相关音频，测试结果如下。n取5的时候，准确率为80%；n取10的时候，准确率依旧为80%左右。
$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8J0Qr05E-1628212451195)(C:\Users\fake\AppData\Roaming\Typora\typora-user-images\image-20210805184138225.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Or04aWST-1628212451196)(C:\Users\fake\AppData\Roaming\Typora\typora-user-images\image-20210805184145504.png)]$