智能驾舱人机交互语音数据集-新能源车

一、产品概述

智能驾舱人机交互语音数据集共10854小时。录音语言，中文；录音地区，中国。录音文本包含主流车载场景智能控制、命令词等5个分类。文本设计包含正常语速和快速语速。邀请了来自中国不同口音区域的2076名发音人参与录制。录制过程在真实车载环境中，模拟自动驾驶点位，使用7个高保真麦克风（16kHz，16bit，1207H*7个）、一部安卓系统手机（16kHz，16bit，1199H）、一部苹果系统手机（16kHz，16bit，1202H）进行录制。此数据库经过专业语音校对人员转写标注，并通过严格质量检验，文本正确率在95%以上。

二、产品目录结构

目录结构

数据目录结构数据目录结构

└─DOC（文本说明文件）
││├─wav_list.txt（音频列表）
││├─content.txt（转写内容列表）
││├─spk_info.xlsx（录音人信息）
│
└─SPEECHDATA（数据文件夹）
│├─V0001（录音人文件夹）
│├─P1（录音通道编号）
││ ││ V0001P10001.wav（音频文件）

命名规则

<CORPUS>/<USAGE>/<SPEAKER_NUM>/<POINT_ID>/<SENTENCE_ID>e.g./SPEECHDATA/V0001/P1/V0001P10001.wav

目录 · 内容 · 备注

CORPUS · · 数据库名称编号

USAGE · SPEECHDATA · 文件夹名称

SPEAKER_NUM · V0001 · 录音人文件夹

POINT_ID · P1 · 录音位ID

SPEECH_ID · V0001P10001.wav · 文件WAV

三、文本设计

语料制作

考虑到语音识别在智能车载、无人驾驶领域的应用，语料在5个领域中选定。按照规则处理语料池。

序号 · 领域

1 · 语音控制

2 · 通讯命令词

3 · 多媒体

4 · POI

5 · 平衡句

• 脱敏处理。删除政治敏感、个人隐私、色情暴力等内容。
• 删除 < , > , [ , ] , ～ , / , \ , = 等符号。
• 删除含有中文和英文以外语言的内容。
• 删除单句含有25字以上的内容。
• 统一格式。

文本结构

考虑到语音覆盖及音素平衡，此数据库录音文本采用每份508句的分配方式设计，从语料池中抽取，结构如下。

内容 · 分配量（句数） · 句子编号

语音控制 · 35 · 0021~0055

语音控制（快语速） · 35 · 0056~0090

通讯命令词 · 30 · 0091~0120

通讯命令词（快语速） · 30 · 0121~0150

多媒体 · 35 · 0151~0185

多媒体（快语速） · 35 · 0186~0220

通讯命令词 · 25 · 0221~0245

POI · 36 · 0246~0281

POI（快语速） · 36 · 0282~0317

平衡句 · 200 · 0318~0517

合计 · 497 ·

四、录制环境

录制现场

按照3种车速（低速、中速、高速），3种开车窗类型（关闭、开1/3副驾、开1/3驾驶员），2种音乐（开、关），2种空调环境（关、开）均衡设计。共28个场景。高速情况下不含开窗场景。低速：车速＜40km/h中速：40km/h≤车速＜80km/h高速：80km/h≤车速＜120km/h

场景1 · 低速-窗关-音关-调关 · 场景13 · 中速-窗关-音关-调关 · 场景25 · 高速-音关-调关

场景2 · 低速-窗关-音关-调开 · 场景14 · 中速-窗关-音关-调开 · 场景26 · 高速-音关-调开

场景3 · 低速-窗关-音开-调关 · 场景15 · 中速-窗关-音开-调关 · 场景27 · 高速-音开-调关

场景4 · 低速-窗关-音开-调开 · 场景16 · 中速-窗关-音开-调开 · 场景28 · 高速-音开-调开

场景5 · 低速-副开-音关-调关 · 场景17 · 中速-副开-音关-调关 · ·

场景6 · 低速-副开-音关-调开 · 场景18 · 中速-副开-音关-调开 · ·

场景7 · 低速-副开-音开-调关 · 场景19 · 中速-副开-音开-调关 · ·

场景8 · 低速-副开-音开-调开 · 场景20 · 中速-副开-音开-调开

场景9 · 低速-驾开-音关-调关 · 场景21 · 中速-驾开-音关-调关

场景10 · 低速-驾开-音关-调开 · 场景22 · 中速-驾开-音关-调开

场景11 · 低速-驾开-音开-调关 · 场景23 · 中速-驾开-音开-调关

场景12 · 低速-驾开-音开-调开 · 场景24 · 中速-驾开-音开-调开

录制设备

录制设备包括高保真麦克风和录音机、安卓手机、苹果手机。高保真录音机存储格式为16kHz、16bit单声道，安卓手机和苹果手机存储格式为16kHz、16bit单声道。

录制方法

车内环境下布置9个点位，包含3个近讲点位，6个功能点位。功能点位固定在驾驶员正前方、后视镜、中控台等；近讲点位与发言人距离25厘米，包含一部高保真麦克风、一部苹果手机和一部安卓手机。发音人以讲话正常音量，分别按照提示，使用正常语速，快速语速，朗读录音文本。点位1与点位2平行相距5厘米；点位3与点位4平行相距5厘米。

编号 · 位置 · 描述

点位1 · 后视镜 · 高保真麦克风

点位2 · 后视镜 · 高保真麦克风

点位3 · 副驾驶正上方把手 · 高保真麦克风

点位4 · 副驾驶正上方把手 · 高保真麦克风

点位5 · 中控大屏正上方 · 高保真麦克风

点位6 · 副驾驶正前方 · 高保真麦克风

点位7 · 头戴 · 头戴高保真麦克风

点位8 · 距发言人25厘米，副驾驶右前方 · 苹果手机

点位9 · 距发言人25厘米，副驾驶正前方 · 安卓手机

五、标注转写规范

数据转写人员根据所听到的音频写出内容，力求使文本内容与音频发音内容保持一致。准则如下：1）转写的内容必须和听到的语音完全一致，不能多字、少字、错字。2）数字要转写为汉字形式，如“一二三”，而不是“123”。注意区分“一”和“幺”，“二”和“两”。3）句中出现的英文按照发音写出单词，如“thank you”。按拼读朗读的字母，需转写成大写字母加空格的形式。如，“N B A”、“U F O”。4）句中包含的符号，按实际发言人发音转写。如“三W点百度点com”。没有发音的符号，需要删掉。品牌名称，专有名称等按照实际惯用格式转写，如“QQ空间”、“iPhone”、“喜马拉雅”。5）标注内容的完整性要与实际发音一致，不得删减。6）中，快语速的文本前后用符号“@@@”标记。如，“@@@ 烦请把温度调为十九度 @@@”。录音环境设定的文本前后用“######”标记。如，“###### 音乐开空调开######”，录音环境设定文本为选读语句。

六、发音人信息

基本信息记录

发音人信息记录内容包括任务编号、性别、口音区域、年龄区间、籍贯。

任务编号 · 性别 · 口音区域 · 年龄区间 · 场景环境

V0001 · 男 · 北方 · A · 低速-窗关-音关-调关

任务编号：每个发言人领取1个任务编号，每个任务编号对应1份录音文本。每个发言人只能参加一次录制。性别：男-男性；女-女性。口音区域：按照发言人原生语言所属区域，分为北方、南方、其他。年龄区间：A(25-35岁)、B(36-45岁)。场景环境：记录录制场景环境。场景列表见。

发音人结构特征

性别比例

数据库总人数为2076人，男1470人，女606人。

性别 · 男性 · 女性 · 合计

比例 · 70.7% · 29.3% · 100%

年龄比例

A（25-35岁）1510人；B（36-46岁）566人。

年龄区间 · 年龄段 · 人数 · 比例

A · 25-35岁 · 1510 · 73%

B · 36-45岁 · 566 · 27%

合计 · · 2076 · 100%

方言区域比例

北方1460人；南方607人；其它9人。

区域 · 人数 · 比例

北方 · 1460 · 70.3%

南方 · 607 · 29.3%

其它 · 9 · 0.4%

合计 · 2076 · 100%

数据样例下载

点击下载数据样例