基于案件现实条件的法庭说话人识别系统验证(4)

两种MSR toolkit系统测试的结果均表明：在VAD后进行特征补偿的效果普遍好于在VAD前进行特征补偿，这说明去除噪声和静音帧后进行特征失配补偿可以提高系统的识别性能。此外，在3种特征补偿技术中，效果最好的是特征弯折，最差的是倒谱均值减法。在VAD后分别使用CMS方法、CMVN方法和FW方法进行特征失配补偿，GMM-UBM系统的Cllr值分别为0.576、0.584、0.619；i-vector PLDA系统的Cllr值分别为0.449、0.478、0.469。综合看，i-vector PLDA系统的准确性指标普遍好于GMM-UBM系统，可靠性指标则恰好相反，但差别不大。

3.4.3 不同模型系统之间的比较

提取各系统中测试结果最好(Cllr值最小)的一组数据，来比较不同模型系统的性能。表1列出了4种系统最佳测试结果的主要评价指标Cllr、95%CI、ERR值及其对应的设置项。

对比4种系统的数据可以看出，识别性能最好的是Batvox 4.1，最差的是Batvox 3.1，MSR toolkit居中。而在相同设置条件下，Batvox和MSR的各自两套系统中， i-vector PLDA系统的各项性能指标都明显优于GMM-UBM系统。这说明，i-vector PLDA系统的优势更为明显。

表1 4种系统最佳测试组的主要评价指标和设置项名称模型系统Cllr95%CIEER设置GMM-UBM0.5931.1300.人+imposteri-vectorPLDA0.3651.1560.0人+人VAD+人VAD+FW

3.5 主要结论

第一，用于系统训练的参考人群规模越大越好，但是究竟达到多大规模后无需再增，目前还不能下定论。第二，使用“伪冒者”模式进行系统训练可以提高系统的识别效果。第三，利用VAD技术去除噪声和静音帧后，再进行特征匹配补偿可以提高系统的识别性能。第四，3种特征级补偿技术中，特征弯折的效果最好。第五，i-vector PLDA系统的识别性能总体优于GMM-UBM系统。这些结论不仅可以表明和比较各系统的性能，更重要的是对后续研究如何提高系统的性能具有指导意义。

4结语

验证目的是为了表明所使用方法或系统的准确性和可靠性，进而为司法实践中法庭证据的检验评价提供技术支持和量化依据。因此，就法庭科学的任何分支而言，进行这样的方法验证都是必要的。基于实验室条件的方法验证不能真实反映案件现实条件下的系统性能，只有基于被检案件的实际条件进行测试，才能真正验证系统在现实条件下的准确性和可靠性。此外，采用统一的训练和测试语音数据库，对不同方法系统进行验证测试和性能评价，不仅有利于系统之间的横向比较，更有利于司法实践中的重要理论和技术问题的解决。这对于提高法庭说话人识别技术的准确性和可靠性，保证其司法应用具有重要意义。

[1] President’s Council of Advisors on Science and Technology．Forensic Science in Criminal Courts: Ensuring Scientific Validity of Feature-comparison Methods[C]．Washington DC：Executive Office of the President’s Council of Advisors on Science and Technology，2016．

[2] Council of the Australian and New Zealand Forensic Science Society．Letter to the Editor[J].Australian Journal of Forensic Sciences，2018(5)：451-452．

[3] LANDER E S．Response to the ANZFSS council statement on the President’s Council Of Advisors On Science And Technology Report[J]．Australian Journal of Forensic Sciences，2017，49(4)：366-368．

[4] Forensic Science Regulator．Codes of practice and conduct for forensic science providers and practitioners in the criminal justice system[M]．Birmingham UK, 2017．

[7] MORRISON G S．Measuring the validity and reliability of forensic likelihood-ratio systems[J]．Science & Justice Journal of the Forensic Science Society，2011，51(3)：91-98．

[8] BRüMMER N，PREEZ J D．Application-independent evaluation of speaker detection[J]．Computer Speech and Language，2006，20(2-3)：230-275．

[9] MORRISON G S，ENZINGER E．Multi-laboratory evaluation of forensic voice comparison systems under conditions reflecting those of a real forensic case (forensic_eval_01)-Introduction[J]．Speech Communication，2016，85：119-126．

[10] ZHANG C，TANG C．Evaluation of Batvox 3.1 under conditions reflecting those of a real forensic voice comparison case (forensic_eval_01)[J]．Speech Communication，2018，100：13-17．

[11] VLOED D V D．Evaluation of Batvox 4.1 under conditions reflecting those of a real forensic voice comparison case (forensic_eval_01)[J]．Speech Communication，2016，85：127-130．

[12] SILVA D G D，MEDINA，C A．Evaluation of MSR Identity Toolbox under conditions reflecting those of a real forensic case ( forensic_eval_01 )[J]．Speech Communication，2017，94：42-49．

[13] MORRISON G S，ZHANG C，ENZINGER E，et al．Forensic database of voice recordings of 500+ Australian English speakers[DB/OL]．(2015-01-10)[2018-11-15]．http:∥/#australian_english_500．

文章来源：《测试技术学报》 网址: http://www.csjsxbzz.cn/qikandaodu/2021/0524/960.html