基于语音比对的远程面试身份认证

林晓勤; 毛敏; 宫玲玲; 吉理

doi:10.3969/j.issn.1000-5641.201942001

基于语音比对的远程面试身份认证

doi: 10.3969/j.issn.1000-5641.201942001

林晓勤^1,,
毛敏^2, ,,
宫玲玲²,
吉理²

1.
华东师范大学国际汉语文化学院, 上海　200062
2.
华东师范大学教育学部, 上海　200062

基金项目: 2019年华东师范大学校级教改项目(40400-19202-511232/193)

详细信息

作者简介:
林晓勤, 女, 讲师, 研究方向为语音学和对外汉语教学. E-mail: linxiaoqin@hanyu.ecnu.edu.cn

通讯作者:
毛　敏, 男, 副教授, 研究方向为教育技术和教育装备. E-mail: mmao@ee.ecnu.edu.cn

中图分类号: TP391.4, H11
计量
- 文章访问数: 105
- HTML全文浏览量: 74
- PDF下载量: 2
- 被引次数: 0
出版历程
- 收稿日期: 2019-08-15
- 刊出日期: 2020-11-25

Remote interview identity authentication based on audio comparison

LIN Xiaoqin^1
,,
MAO Min^{2
, ,},
GONG Lingling²,
JI Li²

1.
International College of Chinese Studies, East China Normal University, Shanghai　200062, China
2.
Faculty of Education Science, East China Normal University, Shanghai　200062, China

摘要

摘要: 用简易实时通信软件进行的远程面试有替考漏洞. 为此, 本文提出了一种基于语音对比的简便远程身份认证方案: 接受面试者只需要使用通用的通信软件, 不需要安装特殊的软件或特殊硬件系统, 这对于接受面试者在边远地区或国外尤其便利. 主考官在电脑上安装音轨抓取和录屏截屏软件, 当面试者被录取后, 采集现场无损音视频资料, 将此资料和远程获取的同一面试者的音视频资料进行人工比对, 实现以声纹认证为主的身份认证. 为了验证方案的可行性, 本研究进行了两轮实验, 采集了来自7个不同国家的远程语音数据. 通过一系列软件分析和人工比对, 实验结果表明, 本方案身份认证准确率较高, 为后期的全计算机认证打下了基础.
- 远程面试 /
- 身份认证 /
- 声纹 /
- 语谱图 /
- 语音对比
Abstract: There are vulnerabilities in conducting remote interviews via simple real-time communication software. To this end, this paper proposes a simple and easy remote identity authentication scheme, whereby the recruitee only needs to use general communication software. There is no need to install special software or special hardware systems, which is particularly convenient for recruitees residing in remote areas or international locations. Recruiters need to install audio capture and screen capture software on their computer; once the recruitee is admitted into the interview, the recruiter can achieve identity authentication using audio and video comparison technology. In order to verify the feasibility of this scheme, we carried out two rounds of experiments, collecting remote voice data from seven different countries through a series of software analysis tools as well as manual comparison. The experimental results show that the scheme has a high degree of accuracy for identity authentication, laying the foundation for prospective fully automatic authentication.
- remote interview /
- identity authentication /
- voice print /
- sound spectrogram /
- voice comparison

HTML全文

图 1 第一轮实验音频采集过程示意图

Fig. 1 First round experimental audio file collection flow chart

下载: 全尺寸图片幻灯片

图 2 语音片段07现场高品质录音的累积频谱图

注: 画中画截取了24 ms最低元音的时域图, 测得中心频率是216.2 Hz, 是白框内的最低频

Fig. 2 Graphs of frequency domain and time domain from live high-quality audio slice 07

下载: 全尺寸图片幻灯片

图 3 语音08是图2的同一段语音经过压缩和网络传输后的累积频谱图

注: 画中画截取了24 ms最低元音的时域图, 谱线中心频率也是216.2 Hz, 与无损录音完全一致; 白框内谱线形状与图2一致

Fig. 3 Audio 08 is the same audio file from Fig 2 after compression and transmission

下载: 全尺寸图片幻灯片

图 4 语音片段07(Praat)高品质录音约0.6 s语音瞬时频谱图

Fig. 4 0.6 Second slice 07 (Praat) from live high-quality audio file 07

下载: 全尺寸图片幻灯片

图 5 wx08是图4同一发音人的同一片段经过压缩和网络传输后0.6 s瞬时频谱图

Fig. 5 0.6 Second slice (Praat) from the same voice slice of Fig 4 after compression and transmission

下载: 全尺寸图片幻灯片

图 6 测试文件夹示意图

Fig. 6 Test file structure

下载: 全尺寸图片幻灯片

图 7 听辨结果记录表

Fig. 7 Voice comparison result chart

下载: 全尺寸图片幻灯片

图 8 熟人听辨组结果统计图

注: 纵坐标表示正确听辨百分比, 折线表示听者的主观把握

Fig. 8 Acquaintance voice recognition result diagram

下载: 全尺寸图片幻灯片

图 9 陌生人听辨组结果统计图

注: 纵坐标表示正确听辨百分比, 折线表示听者的主观把握

Fig. 9 Stranger voice recognition result diagram

下载: 全尺寸图片幻灯片

表 1 远程面试身份认证防替考方案比较

Tab. 1 Remote-interview authentication plan comparison chart

	前提条件	实现方式	替考可能性	操作便利性
人脸识别	远程考生的高清人脸照片	人工或电脑比对	无存档照片时有可能	远程照片获取不易, 比对快速
签字	远程考生当面签字	人工或电脑比对	无当面签字时有可能	远程签字获取不易, 比对快速
一般语音认证声纹	远程考生的高清录音资料	人工或电脑比对	无法获取录音资料时有可能	远程音频获取不易, 比对快速
本方案	主考电脑安装软件, 远程考生不需要特殊操作	录取后采集考生高清录音和远程面试录音进行对比, 可同时对比声纹和语用习惯	几乎无可能替考	人工比对稍慢, 计算机正在跟进

下载: 导出CSV

参考文献(16)

[1]	田旭. 基于WebRTC技术的远程面试系统的设计与实现 [D]. 武汉: 华中师范大学, 2014.
[2]	潘迪, 梁士利, 魏莹, 等. 语谱图二次傅里叶变换特定人二字汉语词汇识别 [J]. 东北师大学报(自然科学版), 2017, 49(2): 95-100.
[3]	DIFFIE W, HELLMAN M E. New directions in cryptography [J]. IEEE Transactions on Information Theory, 1976, 22(6): 644-654. doi: 10.1109/TIT.1976.1055638
[4]	张俊松, 张启坤, 甘勇, 等. 适用于无线医疗传感网的身份认证协议 [J]. 北京邮电大学学报, 2018, 41(4): 104-109.
[5]	WOJTOWICZ W, OGIELA M R. Biometric watermarks based on face recognition methods for authentication of digital images [J]. Security and Communication Networks, 2015, 8(9): 1672-1687. doi: 10.1002/sec.1114
[6]	WANG C, LI Y, SONG X. Video-to-video face authentication system robust to pose variations [J]. Expert Systems with Applications An International Journal, 2013, 40(2): 722-735. doi: 10.1016/j.eswa.2012.08.009
[7]	董博生. 人脸识别技术的实现及其在远程身份验证中的应用 [D]. 北京: 北方工业大学, 2007.
[8]	PLAMONDONA R, LORETTEB G. Automatic signature verification and writer identification: The state of the art [J]. Pattern Recognition, 1989, 22(2): 107-131. doi: 10.1016/0031-3203(89)90059-9
[9]	曾斌, 姚路, 陈志诚. 基于声纹识别的Web身份认证系统设计 [J]. 计算机工程, 2011, 37(15): 149-151. doi: 10.3969/j.issn.1000-3428.2011.15.047
[10]	科大讯飞股份有限公司. 声纹识别 [EB/OL]. [2020-07-17]. http://www.xfyun.cn/services/isv.
[11]	吴宗济, 林茂灿. 实验语音学概要 [M]. 北京: 高等教育出版社, 1989.
[12]	钟彩顺. 基于元音共振峰的跨语言司法语音比对研究 [J]. 上海外国语大学学报, 2019, 42(1): 61-71.
[13]	LADEFOGED P, JOHNSON K. A Course in Phonetics [M]. 7th ed. 北京: 北京大学出版社, 2015.
[14]	汪勇, 熊前兴. MP3格式解析 [J]. 计算机应用与软件, 2004, 21(12): 126-128. doi: 10.3969/j.issn.1000-386X.2004.12.049
[15]	余玲飞, 刘强. 基于深度循环网络的声纹识别方法研究及应用 [J]. 计算机应用研究, 2019, 36(1): 153-158.
[16]	闫河, 董莺艳, 王鹏, 等. 基于CNN-LSTM网络的声纹识别研究 [J]. 计算机应用与软件, 2019, 36(4): 166-170. doi: 10.3969/j.issn.1000-386x.2019.04.026