信息处理装置及其语音操作方法、语音操作系统 |
|||||||
| 申请号 | CN201410012834.4 | 申请日 | 2014-01-10 | 公开(公告)号 | CN103921727A | 公开(公告)日 | 2014-07-16 |
| 申请人 | 歌乐株式会社; | 发明人 | 关口隆昭; 森直树; 清水淳史; | ||||
| 摘要 | 本 发明 提供一种信息处理装置及其语音操作方法、语音 操作系统 。通过车辆搭载的车载装置等信息处理装置，在车辆行驶中指示基于语音操作应用程序时，安全地进行车辆运行。将表示在行驶中禁止执行的操作的单词制作列表、即行驶中操作可否列表，车载装置的命令可否执行部通过将该列表与应用程序具备的能够进行语音操作的命令的名称互相对照，来判断在行驶中是否能够操作与用户说出的内容对应的命令，参照车辆的行驶状态，在车辆行驶中时只在可以操作时指示应用程序控制部执行该命令，判断为不可以操作时不指示所述应用程序控制部执行该命令。 | ||||||
| 权利要求 | 1.一种信息处理装置，其搭载在车辆上，在所述车辆行驶中通过语音进行基于语音的应用程序软件的操作，其特征在于，所述信息处理装置具有： |
||||||
| 说明书全文 | 信息处理装置及其语音操作方法、语音操作系统技术领域[0001] 本发明涉及一种信息处理装置、语音操作系统及信息处理装置的语音操作方法，特别是一种适于由车辆上搭载的信息处理装置在车辆行驶中指示基于语音的应用程序操作时，安全地进行车辆运行的信息处理装置、语音操作系统以及信息处理装置的语音操作方法。 背景技术[0002] 汽车导航系统(以下也称为“车载装置”)是将地图数据进行加工并向驾驶员等用户提供到达目的地的引导信息的。尤其是近年来，提出了利用经由移动电话的通信等与中心系统连接来提供实时的路况信息的车载装置、以及搭载了与近年来迅速普及的智能手机协同运行的功能的车载装置，并得到了实际应用。作为后者的一个例子，有一种车载装置，其能够通过将智能手机执行的应用程序的输出图像经由有线电缆等显示在车载装置的画面上、以更大的画面有效地向司机提供信息。 [0003] 一般地，对于车载装置等在车辆内部使用的机器，需要使驾驶中的司机能够安全地操作机器。因此在车载装置中，以防止驾驶中的司机注意力涣散为目的，配备有在车辆行驶中抑制一定的操作和信息显示的处理。 [0004] 例如，专利文献1中公开了如下一种技术：为了保证用车载装置执行用户自行购买的各种应用程序时的安全性，通过在车辆行驶中对确认了安全性的应用程序附加认证信息、对没有附加认证信息的应用程序将图像缩小显示，使得司机不注视车载装置的画面。 [0005] 另外，对于不像专利文献1那样限制司机的操作、而是利用语音操作车载装置的技术也展开了广泛的讨论。例如，专利文献2中，公开了一种在车载装置与如智能手机这样的移动终端协同运行的系统中，通过利用语音指示来执行移动终端上的应用程序的技术。该技术是将能够执行的功能的名称和表示可否通过语音执行的信息存放在表格中并将其保持，将司机说出的语音转换为文本，当转换的文本与保持在上述的表格中的功能的名称一致时，执行该应用程序。现有技术文献 [0006] 专利文献 [0007] 专利文献1：日本特开2011-219058号公报 [0008] 专利文献2：日本特开2010-130223号公报 发明内容[0009] 发明所要解决的课题 [0010] 作为上述现有技术的专利文献1的车辆用显示装置是即使执行了安全性没有保障的程序，仍然通过将画面显示进行加工来保证车辆行驶的安全性，而专利文献2是使得驾驶中的司机能够通过语音操作车载装置的系统。 [0011] 然而，上述的专利文献1及专利文献2中公开的技术存在以下问题。 [0012] 首先，专利文献1中记载的技术，对于世界上全部的应用程序确认车辆行驶中的安全性，在现实性上存在困难。驾驶中应当限制的操作和信息显示的内容在每个国家和地区有指导原则，在应用程序里安装用于符合各国和地区的所有指导原则的功能需要庞大的工作量。以往，各车载装置厂商只对本公司开发的应用程序进行用于符合指导原则的安装，而对于第三方开发的应用程序也要进行相同的作业在现实性上存在困难。 [0013] 另外，专利文献2中记载的技术，存在着不管是否在行驶中都会由于语音导致对应用程序进行操作的问题。例如类似观看视频的应用程序时，由于语音操作导致不管是否在行驶中都会播放视频，使得司机的注意力涣散，引发事故。专利文献2中公开了由用户对可否利用语音执行进行设定的结构(图5，段落号码0072-0075)，但由于用户能够随意修改设定，对于不考虑行驶中的安全性的用户不再有效。也可以考虑由车载装置厂商而不是用户来设定可否进行语音操作的手段，但对于第三方开发的应用程序也要由各车载装置厂商来定义可否利用语音操作，出于与专利文献1同样的理由，存在困难。 [0014] 本发明是为了解决上述问题而提出的，其目的是提供一种信息处理装置，能够由车辆搭载的车载装置等信息处理装置，在指示基于语音的应用程序操作时，在车辆行驶中安全地运行车辆。 [0015] 用于解决课题的手段 [0016] 为了解决上述课题，本发明的最主要的特征是，将表示在行驶中不希望执行的操作的单词制作列表，通过将该列表与各应用程序具备的能够进行语音操作的命令的名称互相对照，判断与用户说出的内容对应的命令在行驶中是否能够操作。作为具体的例子，对于类似当用户以语音说出“播放”时进行动画播放的应用程序，通过将“播放”作为表示在行驶中不希望执行的操作的单词并制作包含它的列表，在行驶中限制用语音执行“播放”。这里，上述能够进行语音操作的命令的名称通过例如显示在应用程序的画面上的按钮等所设定的名称获取。具体来说，当应用程序显示的画面上配置有具备“播放”这一名称的按钮时，将该画面显示在车载装置上时，利用由应用程序的运行环境提供的GUI组件的属性获取功能等来获取画面中包含的按钮的名称，将其作为能够进行语音操作的命令的名称存储。当按钮上显示的不是“播放”等文本名称而是表示播放的符号时，也可以将按钮上设定的替代文本、而不是显示的内容作为能够进行语音操作的命令的名称来获取。 [0017] 另外，本发明的第二个特征是，将表示在行驶中不希望执行的操作的单词按照语言制作多个列表，同时按照各国和地区的指导原则制作多个表示各操作可否在行驶中执行的限制规则，使用哪个单词列表以及哪个限制规则按照用户的使用语言以及车载装置所在的地区进行选择。例如限制播放操作时，用户的使用语言为日语时将“再生”记载在列表里、使用语言为英语时将“Play”记载在列表里，同时将日本、美国等各国是否限制执行播放操作记载在限制规则中。该禁止单词的列表和限制规则可以预先在车载装置中存放所有语言、地区用的，也可以是存放在经由通信网络与车载装置连接的策略发布服务器中，策略发布服务器按照车载装置的请求，回复与车载装置发送的使用语言、地区的信息对应的合适信息。 [0018] 为了实现上述的功能，本发明的车载装置是搭载在车辆上，在所述车辆行驶中通过语音进行基于语音的应用程序软件的操作的车载装置，其具有：应用程序控制部，其执行所述应用程序软件；行驶状态获取部，其获取所述车辆的行驶状态；策略信息记录部，其记录与所述车辆行驶中禁止执行的操作相关的信息、即策略信息； [0019] 行驶中操作可否列表制作部，其通过参照所述策略信息和从所述应用程序软件操作的命令的列表，来制作表示在所述车辆行驶中可否操作对所述应用程序软件的命令的行驶中操作可否列表；行驶中操作可否列表记录部，其记录所述行驶中操作可否列表；语音输入部，其输入用户说出的语音数据；文本转换部，其解析所述语音数据并转换为文本数据；以及命令执行可否判定部，其参照所述文本数据和所述行驶中操作可否列表，来判定在所述车辆行驶中可否操作记录为所述文本数据的所述用户说出的命令，在可以操作时指示所述应用程序控制部执行所述命令，在不可以操作时不指示所述应用程序控制部执行所述命令。 [0020] 另外，策略发布服务器的结构是还具有：限制规则记录部，其记录按使用信息处理装置的各个地点定义的、应用于应用程序软件操作的命令的限制规则；禁止单词列表记录部，其记录与限制规则的命令加以关联的、对各语言定义的禁止单词列表；限制规则选择部，其基于表示使用信息处理装置的地点的信息来选择所述限制规则；禁止单词列表选择部，其基于用户使用的语言的信息来选择禁止单词列表。 [0021] 然后，车载装置将机器信息和用户信息发送给策略发布服务器。 [0022] 策略发布服务器的限制规则选择部基于从车载装置接收到的机器信息来选择限制规则，策略发布服务器的禁止单词列表选择部基于从车载装置接收到的用户信息来选择禁止单词列表，策略发布服务器将限制规则和禁止单词列表作为策略信息发送给车载装置。 [0023] 发明的效果 [0025] 图1是本发明的第一实施方式涉及的语音操作系统的整体结构图。 [0027] 图3是策略发布服务器的硬件结构图。 [0028] 图4是表示车载装置的数据流和功能结构的图。 [0029] 图5是表示策略发布服务器的数据流和功能结构的图。 [0030] 图6是表示策略发布服务器300保持的数据库的结构的图。 [0031] 图7是表示车载装置100中使用的命令列表210和行驶中操作可否列表220的格式的图。 [0032] 图8是表示在语音操作系统的应用程序中要执行动画视听时的画面例的图。 [0033] 图9是表示将动画视听按钮1212按下、到显示出动画视听画面122b为止的处理的流程图。 [0034] 图10是详细表示命令列表制作处理的步骤S110的处理的流程图。 [0035] 图11是详细表示制作行驶中操作可否列表220的处理的步骤S130的流程图。 [0036] 图12是表示将动画视听画面122a、122b的语音操作开始按钮1214按下、执行基于语音的操作的处理的流程的流程图。 [0037] 图13是详细表示命令执行可否判定处理的步骤S150的流程图。 [0038] 图14是表示用于语音操作的动画视听时的弹出消息的例子的图。 [0039] 图15是表示本发明的第一实施方式中，从策略发布服务器300获取限制规则230的处理的流程的流程图。 [0040] 图16是表示从策略发布服务器300获取禁止单词列表230a的处理的流程的流程图。 [0041] 图17是表示获取用于语音操作的策略信息时的弹出消息的例子的图。 [0042] 图18是本发明的第二实施方式涉及的语音操作系统的整体结构图。 [0043] 图19是移动电话终端的硬件结构图。 [0044] 图20是表示本发明的第二实施方式涉及的移动电话终端和车载装置的数据流和功能结构的图。 [0045] 图21是表示本发明的第二实施方式中，从策略发布服务器300获取限制规则230的处理的流程的流程图。 [0046] 图22是本发明的第三实施方式涉及的语音操作系统的整体结构图。 [0047] 图23是表示本发明的第三实施方式涉及的移动电话终端和车载装置的数据流和功能结构的图。 [0048] 符号说明 [0049] 20、20a……移动电话终端 [0050] 100、100a、100b……车载装置 [0051] 110……应用程序控制部 [0052] 120……画面显示部 [0053] 130……行驶中操作可否列表制作部 [0054] 140……文本转换部 [0055] 150……命令执行可否判定部 [0056] 160……策略信息更新部 [0057] 170……通信部 [0058] 175……通信部 [0059] 177……通信部 [0060] 181……语音输入部 [0061] 182……行驶状态获取部 [0062] 183……用户ID获取部 [0063] 184……机器ID获取部 [0064] 185……影像发送部 [0065] 186……行驶状态存储部 [0066] 191……行驶中操作可否列表记录部192……策略信息记录部 [0067] 210……命令列表 [0068] 220……行驶中操作可否列表 [0069] 230……限制规则 [0070] 230a……限制规则数据库 [0071] 240……禁止单词列表 [0072] 240a……禁止单词列表数据库 [0073] 250……机器信息数据库 [0074] 260……用户信息数据库 [0075] 270……策略信息获取请求 [0076] 280……策略信息 [0077] 300……策略发布服务器 [0078] 310……限制规则选择部 [0079] 320……地区判定部 [0080] 330……限制规则获取部 [0081] 340……禁止单词列表选择部 [0082] 350……使用语言判定部 [0083] 360……禁止单词列表获取部 [0084] 370……通信部 [0085] 500……应用程序 [0086] 820……画面显示部 [0087] 875……通信部 [0088] 882……行驶状态获取部 [0089] 884……机器ID获取部 [0090] 885……影像接收部 [0091] 910……应用程序控制部 [0092] 920……画面显示部 [0093] 977……通信部具体实施方式 [0094] 以下参照图1至图23对本发明涉及的各实施方式进行说明。 [0095] [实施方式1] [0096] 以下，参照图1至图17对本发明的第一实施方式涉及的语音操作系统进行说明。 [0097] 本实施方式的语音操作系统是用语音操作在汽车导航装置上运行的应用程序软件(以下也简称为“应用程序”)时，对行驶中不希望执行的操作进行限制的。具体来说，提取与显示在应用程序的画面上的操作按钮加以对应的命令名称作为能够进行语音操作的命令的名称，同时从服务器装置发布表示在行驶中不希望执行的操作的单词的列表，通过将从应用程序提取的语音操作命令的名称与从服务器装置接收的列表中包含的单词互相对照，判断各命令可否执行。 [0098] 首先，参照图1至图5对本发明的第一实施方式涉及的语音操作系统的结构进行说明。 [0099] 图1是本发明的第一实施方式涉及的语音操作系统的整体结构图。 [0100] 图2是车载装置的硬件结构图。 [0101] 图3是策略发布服务器的硬件结构图。 [0102] 图4是表示车载装置的数据流和功能结构的图。 [0103] 图5是表示策略发布服务器的数据流和功能结构的图。 [0104] 本发明的第一实施方式涉及的语音操作系统是使得车辆1的用户能够用语音操作搭载在车辆1上的车载装置100的系统，其结构包含具备车载装置100的车辆1和经由全球网50与基站70连接的策略发布服务器300。 [0105] 本实施方式中的车载装置100，经由与基站70之间的无线通信，与策略发布服务器300进行通信，该策略发布服务器300与全球网50相连接。策略发布服务器300是向车载装置100发布关于语音操作的策略信息280的服务器。 [0106] 车载装置100定期地，或者当用户进行明确性指示时，发送策略信息获取请求的申请，通过基站70以无线进行通信。基站70是介于车载装置100的无线通信、中继全球网50的无线设备。 [0107] 然后，基站70向连接在全球网50上的策略发布服务器300发送申请。策略发布服务器300将与申请对应的策略信息280作为答复，发送给车载装置100。 [0108] 这里，全球网50是电话网和因特网等全球性的通信网。 [0109] 车载装置100参照接收到的策略信息280，限制基于语音进行的应用程序500的操作。 [0110] 然后，参照图2对车载装置100的硬件结构进行说明。 [0111] 如图2所示，车载装置100的硬件由：CPU20、ROM21、RAM22、无线通信接口23、定位传感器24、陀螺传感器25、显示装置26、操作装置27、辅助存储装置28、LAN通信接口29、摄像头30、收音机调谐器31、电视调谐器32、麦克风33以及扬声器34构成。 [0113] ROM(Read Only Memory、只读存储器)21是写入了控制程序等的读取专用的存储装置。 [0114] RAM(Read Access Memory、随机存取存储器)22是将存储在辅助存储装置28中的程序读取并暂时性保管、存储工作数据的存储装置。 [0115] 无线通信接口部23是经由基站70、与连接在全球网50上的外部装置连接、用于交换数据的接口装置。 [0116] 定位传感器24是对以地球上的纬度和经度表示的自身的位置进行定位的传感器。 [0118] 显示装置26是液晶显示器和有机EL(Electro-Luminescence、电致发光)显示器等、向用户显示图像信息的装置。 [0120] 辅助存储装置28是存储地图数据库、策略信息280、语音数据、视频数据等各种数据、以及汽车导航装置的应用程序软件的大容量的存储装置，例如为HDD(Hard Disk Drive、硬盘驱动器)和SDD(Solid State Drive、固态驱动器)。 [0121] LAN接口29是与车载网络41连接、用于将来自车载网络41的表示车辆1的行驶状态和内部状态的数据获取到内部的装置。 [0123] 摄像头30是拍摄车辆1的外部环境并作为图像获取的光学装置。 [0124] 收音机调谐器31是利用天线接收短波、中波、超短波电波，进行选择来作为节目收听的装置。尤其是作为FM多路广播的接收，能够从VICS(Vehicle Information and Communication System、车辆信息和通信系统)(注册商标)接收交通信息。 [0125] 电视调谐器32是接收超短波电波并选择、作为电视节目播放视频的装置。 [0126] 麦克风33是用于采集用户的语音的装置。 [0127] 扬声器34是用于输出音乐信息、线路引导时的声音引导以及操作音等的装置。 [0128] 以下，参照图3对策略发布服务器300的硬件结构进行说明。 [0129] 策略发布服务器300的硬件结构如图3所示，由CPU81、RAM82、显示接口83、输入输出接口84、网络接口85以及辅助存储装置接口86通过总线连接而成。 [0130] 显示装置90上显示有工作状况的监视器和输出结果。输入输出接口84上连接有键盘91和鼠标92等输入输出装置，管理者从这些输入输出装置输入命令等。网络接口85上连接有全球网50，经由该接口与外部的装置进行通信。辅助存储装置接口86上连接有存放数据和程序的硬盘装置93等存储装置。硬盘装置93有时也连接在阵列上，构成磁盘阵列。 [0131] 策略信息280和策略发布的数据库管理程序、操作系统等存放在硬盘装置93中，在被执行时被读入RAM82，由CPU81执行。 [0132] 以下，参照图4对车载装置100的数据流和功能结构进行说明。 [0133] 车载装置100如图4所示，由应用程序控制部110、画面显示部120、行驶中操作可否列表制作部130、行驶中操作可否列表记录部191、语音输入部181、文本转换部140、行驶状态获取部182、命令执行可否判定部150、用户ID获取部183、机器ID获取部184、策略信息更新部160、策略信息记录部192以及通信部170构成。 [0134] 应用程序控制部110是从应用程序500提取能够语音操作的命令并制作命令列表210(后述)，同时对应用程序500执行基于语音的操作的部分。 [0135] 画面显示部120是将应用程序500的执行画面显示在显示装置26上的部分。 [0136] 行驶中操作可否列表制作部130是制作用于判定各语音操作命令在行驶中可否操作的行驶中操作可否列表220(后述)的部分。 [0137] 行驶中操作可否列表记录部191是将制作的行驶中操作可否列表220进行记录的部分。 [0138] 语音输入部181是将用户说出的语音数据输入的部分。 [0139] 文本转换部140是将输入的语音数据转换为文本的部分。 [0140] 行驶状态获取部182是从车辆信号线40和车载网络41获取车辆的行驶状态的部分。 [0141] 命令执行可否判定部150是判定文本所示的语音操作命令可否执行的部分。 [0142] 用户ID获取部183是获取使用车载装置100的用户的识别信息、即用户ID183的部分。 [0143] 机器ID获取部184是获取车载装置100的识别符、即机器ID1000的部分。 [0144] 策略信息更新部160是参照用户ID183和机器ID1000，从策略发布服务器300获取包含限制规则230(后述)和禁止单词列表240(后述)的策略信息280的部分。 [0145] 策略信息记录部192是记录获取的策略信息的部分。 [0146] 通信部170是进行与策略发布服务器300的通信的部分。 [0147] 以下，对策略发布服务器300的数据流和功能结构进行说明。 [0148] 策略发布服务器300如图5所示，由限制规则选择部310、机器信息数据库250、地区判定部320、限制规则数据库230a、限制规则获取部330、禁止单词列表选择部340、用户信息数据库260、使用语言判定部350、禁止单词列表数据库240a、禁止单词列表获取部360以及通信部370构成。 [0149] 限制规则选择部310是按照从车载装置100接收的策略信息获取请求270的内容来选择限制规则230的部分。 [0150] 机器信息数据库250是存放包含车载装置100的多个机器的信息的数据库。 [0151] 地区判定部320是参照机器信息数据库250来判定车载装置100所处的地区的部分。 [0152] 限制规则数据库230a是存放对每个地区定义的多个限制规则230的数据库。 [0153] 限制规则获取部330是从限制规则数据库230a获取判定的地区用的限制规则230的部分。 [0154] 禁止单词列表选择部340是按照从车载装置100接收的策略信息获取请求270的内容来选择禁止单词列表的部分。 [0155] 用户信息数据库260是记录包含使用车载装置100的用户的多个用户的信息的数据库 [0156] 使用语言判定部350是参照用户信息数据库260来判定使用车载装置100的用户所使用的语言的部分。 [0157] 禁止单词列表数据库240a是存放对每种语言定义的多个禁止单词列表的数据库。 [0158] 禁止单词列表获取部360是从禁止单词列表数据库240a获取判定的使用语言用的禁止单词列表240的部分。 [0159] 通信部370是进行与车载装置100的通信处理的部分。 [0160] 以下，参照图6和图7对本发明的语音识别系统所使用的数据结构进行说明。 [0161] 图6是表示策略发布服务器300保持的数据库的结构的图。 [0162] 图7是表示车载装置100中使用的命令列表210和行驶中操作可否列表220的格式的图。 [0163] 策略发布服务器300保持的数据库如图6所示，为机器信息数据库250、用户信息数据库260、限制规则数据库230a、以及禁止单词列表数据库240a。 [0164] 机器信息数据库250记录将机器唯一识别的机器ID251、以及机器ID251所示的机器被使用的位置的地区252。 [0165] 用户信息数据库260记录将用户唯一识别的用户ID261、以及表示用户ID261所示的用户所使用的语言的使用语言262。 [0166] 限制规则数据库230a记录着对每个地区定义的多个限制规则230，图中记载了日本、欧洲的限制规则、以及地区不明时所参照的默认规则。 [0167] 限制规则230记录识别操作内容的操作ID231、以及表示操作ID231所示的操作在行驶中能否进行操作的操作可否232。图中的例子，对于日本，表示操作ID为“OPE1”或者“OPE2”的操作在行驶中被禁止进行操作、操作ID为“OPE3”的操作在行驶中也可以进行操作。 [0168] 禁止单词列表数据库240a记录对每种语言定义的多个禁止单词列表240，图中表示日语及英语的例子。 [0169] 禁止单词列表240记录识别操作内容的操作ID241、以及记载了表示操作ID241所示的操作的一个以上单词的禁止单词242。图中的例子中，表示操作ID为“OPE1”的操作的单词，定义有“再生”、“停止”等。另外，限制规则230和禁止单词列表240以操作ID为关键字联系在一起。 [0170] 车载装置100中使用的数据如图7所示，有命令列表210和行驶中操作可否列表220，命令列表210是车载装置100的应用程序控制部110制作的，行驶中操作可否列表220是行驶中操作可否列表制作部130制作的。 [0171] 命令列表210存放表示命令的名称的字符串、即命令名称211，以及将该命令在应用程序500内唯一识别的命令识别符212。 [0172] 行驶中操作可否列表220除了存放与命令列表210同样的命令名称221及命令识别符222以外，还存放表示行驶中可否进行操作的操作可否223的标示。 [0174] 图8是表示在语音操作系统的应用程序中要执行动画视听时的画面例的图。 [0175] 菜单画面121是表示在显示装置26上显示的车载装置100的启动后的画面的。菜单画面121具备与车载装置100具备的功能对应的导航按钮1211、动画视听按钮1212、电话按钮1213、以及用于开始语音输入的语音输入开始按钮1214。 [0176] 其中，通过按下用于启动动画视听的应用程序500的动画视听按钮1212，在车辆1停止时，显示应用程序500的动画视听画面122a。动画视听画面122a具备显示影像内容的内容显示区域1221、显示可以播放的内容一览的内容一览显示区域1222、开始播放内容的播放按钮1223、停止播放内容的停止按钮1224、用于返回菜单画面121的返回按钮1225、以及菜单画面121和语音输入开始按钮1214。 [0177] 另一方面，按下用于启动动画视听的应用程序500的动画视听按钮1212，在车辆1行驶时，显示应用程序500的动画视听画面122b。该动画视听画面122b与动画视听画面122a比较，为了防止用户注意力涣散，显示图像内容的内容显示区域1221、显示内容一览的内容一览显示区域1222、播放按钮1223以及停止按钮1224被无效化而无法进行操作，为非输入显示。但是，返回按钮1225在行驶中也可以操作，因此不被无效化。然后，在显示着画面122的状态下用户按下语音输入开始按钮1214，说出“返回”时，即使车辆正在行驶也转移至菜单画面121。但是，在显示着画面122的状态下用户按下语音输入开始按钮1214，说出“播放”、“停止”等关于动画视听的命令时，由于操作被禁止，该命令无效。 [0178] 因为关于无效命令的按钮为非输入显示，用户不会因误操作按下该按钮，也能够防止说出“播放”、“停止”等关于动画视听的、被禁止的命令。 [0179] 以下，参照图9至图11对按下动画视听按钮、到显示动画视听画面为止的处理进行说明。 [0180] 图9是表示将动画视听按钮1212按下、到显示出动画视听画面122b为止的处理的流程图。 [0181] 图10是详细表示命令列表制作处理的步骤S110的处理的流程图。 [0182] 图11是详细表示制作行驶中操作可否列表220的处理的步骤S130的流程图。 [0183] 用户按下动画视听按钮1212时，从画面显示部120向应用程序控制部110传递画面切换指示，在显示动画视听画面122b的时刻，应用程序控制部110制作命令列表210(S110)。 [0184] 然后，行驶中操作可否列表制作部130参照制作的命令列表210、记录在策略信息记录部192中的限制规则230以及禁止单词列表240，制作行驶中操作可否列表220(S130)。 [0185] 制作行驶中操作可否列表220后，应用程序控制部110将应用程序500的画面122中无法操作的按钮无效化(S111)，同时行驶中操作可否列表制作部130制作行驶中操作可否列表220，行驶中操作可否列表记录部191记录辅助存储装置28中制作的行驶中操作可否列表220(S131)。 [0186] 然后，参照图10对命令列表制作处理的步骤S110的处理进行详细说明。 [0187] 首先，将命令列表210的记录区域初始化，使其为空白状态(S1101)。 [0188] 然后，将当前显示的画面(也就是动画视听画面122b)中包含的对象(按钮等)的数量设置为变量N(S1102)。 [0189] 然后，判定N是否为0(零值)(S1103)。 [0190] N不为0时，判定第N个对象是否为按钮(S1104)。 [0191] 第N个对象为按钮时，获取按钮的显示名称和识别信息，分别添加在命令列表210的命令名称211和命令识别符212上(S1105)。例如，图8的播放按钮1223作为对象的显示名称为“播放”。这时，将其对命令列表210的命令名称211设定为“播放”。另外，播放设备的播放机器一般使用右三角作为用于播放的记号，当“右三角”被定义为该按钮的显示名称、表示其功能的“播放”被定义为其替代名称时，取替代名称“播放”，将其在命令列表210的命令名称211上设置为“播放”。 [0192] 由此，开发者如果预先使显示名称和命令的功能一致，能够将显示名称直接作为命令名称使用，因此减少了开发劳动量。 [0193] 接下来，将从N减去1的值设置为N(S1106)，返回S1103。 [0194] 然后，重复从S1103到S1106的步骤，在N变为0的时间点将命令列表210通知给行驶中操作可否列表制作部130并结束处理(S1107)。还有，上述的S1102中对象的数量的获取、S1104中第N个对象的获取等是用于制作GUI(Graphical User Interface、图形用户界面)画面的软件库一般所具备的。例如，在智能手机的操作系统Android上运行的应用程序，可以通过Java(注册商标)语言提供的getChildCount()方法和getChildAt()方法等来获取。 [0195] 以下，参照图11对行驶中操作可否列表220制作的处理的步骤S130的细节进行说明。 [0196] 首先，将制作的命令列表210的行数设置为变量N(S1301)。 [0197] 然后，判定N是否为0(零值)(S1302)。 [0198] 然后，N不为0时，搜索记录在策略信息记录部192中的禁止单词列表240(S1303)，调查命令列表210的第N行的命令名称211是否包含在禁止单词列表240的禁止单词242中(S1304)。 [0199] 与第N行的命令名称211一致的单词包含在禁止单词列表240的禁止单词242中时，参照包含一致的单词的行的操作ID241和记录在策略信息记录部192中的限制规则230，获取该操作ID所示的操作在行驶中的操作可否232(S1305)。 [0200] 然后，判定获取的操作可否232是“可”和“不可”中的哪一个(S1306)，为“不可”时，将行驶中操作可否列表220的操作可否223设定为“不可”(S1307)。 [0201] 上述的步骤S1304中，禁止单词列表240中不存在包含命令名称211的行时，或者上述的步骤S1306中获取的操作可否232为“可”时，将行驶中操作可否列表220的操作可否223设定为“可”(S1308)。 [0202] 然后，将从N减去1的值设置为N(S1309)，返回S1302。 [0203] 然后，重复从S1302到S1309的步骤，在N变为0的时间点结束处理。 [0204] 以下，参照图12至图14对执行与用户说出的语音对应的命令时车载装置100的处理进行说明。 [0205] 图12是表示将动画视听画面122a、122b的语音操作开始按钮1214按下、执行基于语音的操作的处理的流程的流程图。 [0206] 图13是详细表示命令执行可否判定处理的步骤S150的流程图。 [0207] 图14是表示用于语音操作的动画视听时的弹出消息的例子的图。 [0208] 按下语音操作开始按钮1214，则语音输入开始指示被从画面显示部120传递给语音输入部181。接到它后，语音输入部181使用麦克风33将用户说出的语音输入(S181)。 [0209] 然后，文本转换部140将输入的语音数据转换为文本(S140)。还有，将用麦克风输入的语音数据解析并转换为文本的处理为公知技术，普遍作为统称Speech-to-Text的技术实用化。 [0210] 然后，判定是否已将语音数据转换为文本(S141)。可以转换为某个文本时，命令执行可否判定部150参照转换的文本和行驶中操作可否列表220，判定与转换的文本对应的语音操作命令的执行可否(S150)。 [0211] 然后，判断判定的执行可否是否为“可”(S151)，可以执行与转换的文本对应的语音操作命令时，将记载在行驶中操作可否列表220中的命令识别符222传递给应用程序控制部110，应用程序控制部110执行与命令识别符222对应的按钮的按下处理(S111)。 [0212] 上述的步骤S141中没能从语音数据转换为文本时，或者与转换的文本对应的命令的执行在S151中判断为“不可”时，画面显示部120在显示装置26上显示错误画面(S121)。 [0213] 然后，参照图13对命令执行可否判定处理的步骤S150的细节进行说明。 [0214] 命令执行可否判定部150首先搜索行驶中操作可否列表220(S1501)，搜索是否存在从语音数据转换的文本和行驶中操作可否列表220的命令名称221一致的行(S1502)。还有，该一致判定可以将二者的字符串严密一致作为判定的条件，也可以将某一方的字符串被包含在另一方的字符串中作为判定的条件，或者也可以利用N-gram等公知的方法判定2个字符串的相似度。还有，N-gram是在搜索引擎等中使用的、判定字符串的相似度的方法，在多个字符串中，对N个连续的字符一致的数进行计数并判定相似的程度。 [0215] 利用如上的方法，判定为存在转换的文本和命令名称221一致的行时，由行驶状态获取部182获取行驶状态(S1503)，参照获取的行驶状态判定车辆是否为行驶中(S1504)。还有，对于车辆是否在行驶，现有的汽车导航装置一般从车辆的系统的车辆信号线40获取车速脉冲等车辆信号来进行，本实施方式中的语音识别系统也用相同的方法判定。 [0216] 然后，判定为车辆在行驶中时，参照步骤S1502中搜索的行里的操作可否223，判定行驶中可否操作(S1505)。 [0217] 可以操作时，将该行的命令识别符222通知给应用程序控制部110(S1506)。还有，上述的S1504中判定为车辆不在行驶中时也同样将命令识别符222通知给应用程序控制部110并结束处理。 [0218] 步骤S1502中，不存在转换的文本和行驶中操作可否列表220的命令名称221一致的行时，则没有可以执行的命令并结束(S1507)。另外，上述的S1505中判定为行驶中不可以操作时，判定应用程序500是否作为允许在行驶中进行操作的特殊应用程序得到认证(S1509)，如果是得到认证的应用程序则不论行驶中的操作可否列表的内容是什么，仍然执行S1506。还有，识别是否为已认证应用程序的手段，例如可以通过给应用程序赋予基于公钥密码体制的数字签名等手段实现。应用程序500不是得到认证的特殊程序时，尽管存在与用户说出的内容对应的命令，但在行驶中不执行，结束处理(S1508)。 [0219] 这样，对于已认证应用程序，不将命令作为不可执行，由此，例如与汽车导航系统对应的应用程序等相关的操作不论车辆的行驶状态如何，一直能够执行。 [0220] 以下，参照图14对与语音操作相关的用户界面进行说明。 [0221] 图14(a)所示的弹出消息1231是执行步骤S1507，将不存在能够执行的命令向用户通知时的消息的例子。 [0222] 另外，图14(b)所示的弹出消息1232是执行步骤S1508，将虽然存在与用户说出的内容对应的命令、但在行驶中不能执行向用户通知时的消息的例子。 [0223] 为了降低用户操作的负担，各个例子均在一定的时间、例如显示10秒左右之后自动关闭。 [0224] 以下，参照图15及图16对从策略发布服务器获取参照的限制规则及禁止单词列表的处理进行说明。 [0225] 图15是表示本发明的第一实施方式中，从策略发布服务器300获取限制规则230的处理的流程的流程图。 [0226] 图16是表示从策略发布服务器300获取禁止单词列表230a的处理的流程的流程图。 [0227] 车载装置100启动时，如图15所示，策略信息更新部160从机器ID获取部184获取机器ID(S1601)。然后，获取的机器ID包含在策略信息获取请求270中，经由策略发布服务器300的限制规则选择部310，被发送给地区判定部320。地区判定部320参照机器信息数据库250，判定是否存在接收到的机器ID与机器信息数据库250的机器ID251一致的行(S3201)。 [0228] 存在一致的行时，参照该行中记载的地区252，获取车载装置100位于的地区(S3202)。 [0229] 然后，限制规则获取部330参照限制规则数据库230a，判定是否存在判定的地区用的限制规则230(S3301)。 [0230] 存在限制规则230时，从限制规则数据库230a获取该限制规则230(S3302)，通知限制规则选择部310。 [0231] 而当步骤S3201中没有找到与接收的机器ID一致的行时，或者步骤S3301中不存在判定的地区用的限制规则时，限制规则选择部310选择默认规则(S3101)。 [0232] 限制规则选择部310将步骤S3302或步骤S3101中获取的限制规则230向策略信息更新部160答复(S3102)。 [0233] 策略信息更新部160通过策略信息记录部192记录接收到的限制规则230并结束处理(S1602)。还有，以上的处理中，在获取限制规则的一系列步骤中发生错误时选择默认规则，而发生了错误时也可以停止车载装置100的动作，向用户显示催促修理的弹出消息。 [0234] 车载装置100启动时，如图16所示，策略信息更新部160从用户ID获取部183获取用户ID(S1605)。 [0235] 然后，获取的用户ID包含在策略信息获取请求270中，经由策略发布服务器300的禁止单词列表选择部340，被发送给使用语言判定部350。 [0236] 使用语言判定部350参照用户信息数据库260，判定是否存在接收到的用户ID与用户信息数据库260的用户ID261一致的行(S3501)。 [0237] 存在一致的行时，参照该行中记载的使用语言262，判定接收到的用户ID所示的用户的使用语言(S3502)。 [0238] 然后，禁止单词列表获取部360参照禁止单词列表数据库240a，判定是否存在用判定的使用语言记载的禁止单词列表240(S3601)。 [0239] 存在禁止单词列表240时，从禁止单词列表数据库240a获取该禁止单词列表240(S3602)，通知禁止单词列表选择部340。 [0240] 禁止单词列表选择部340将获取的禁止单词列表240向策略信息更新部160答复(S3402)。 [0241] 策略信息更新部160通过策略信息记录部192记录接收到的禁止单词列表240并结束处理(S1607)。 [0242] 而当步骤S3501中没能判定与接收到的用户ID对应的用户的使用语言时，或者步骤S3601中不存在判定的使用语言用的禁止单词列表时，禁止单词列表选择部340将禁止单词列表获取错误向策略信息更新部160答复(S3401)。 [0243] 接收到禁止单词列表获取错误的策略信息更新部160在画面显示部120上显示错误消息(S1606)。 [0244] 以下，参照图17对获取用于语音操作的策略信息时的用户界面进行说明。 [0245] 图17是表示获取用于语音操作的策略信息时的弹出消息的例子的图。 [0246] 步骤S3401中，需要向用户通知获取禁止单词列表失败时，显示如图17的弹出消息1241。 [0247] 还有，以上的说明中，为了选择限制规则230，预先将车载装置100所在的地区的信息记录在数据库中，但也可以使用GPS(Global Positioning System、全球定位系统)等来获取车载装置100的当前位置坐标，将其与地图数据对照来判定地区。另外，本例中，为了选择禁止单词列表240，预先将用户的使用语言记录在数据库中，但也可以参照用户在车载装置100中设定的使用语言的信息等。 [0248] 如上所述，利用本实施方式的语音操作系统，用语音来操作在车载装置100上运行的应用程序时，能够对行驶中不希望执行的操作进行限制。另外，通过策略信息发布装置发布用于进行这种限制的策略信息，由此能够灵活地应对各国的指导原则的修订、添加表示要限制的操作的单词等。 [0249] [实施方式2] [0250] 以下，参照图18至图21对本发明的第二实施方式涉及的语音操作系统进行说明。 [0251] 本实施方式的语音操作系统是用语音操作在近年来迅速普及的智能手机等移动电话终端上执行的应用程序时，与第一实施方式同样地对行驶中不希望执行的操作进行限制的。 [0252] 首先，参照图18至图20对本发明的第二实施方式涉及的语音操作系统的结构进行说明。 [0253] 图18是本发明的第二实施方式涉及的语音操作系统的整体结构图。 [0254] 图19是移动电话终端的硬件结构图。 [0255] 图20是表示本发明的第二实施方式涉及的移动电话终端和车载装置的数据流和功能结构的图。 [0256] 如图18所示，本实施方式的语音操作系统，在车辆30内移动电话终端20与车载装置100a连接，移动电话终端20经由与基站70的无线通信，与全球网50的策略发布服务器300通信。 [0257] 图18所示的其他结构要素与图1相同。 [0258] 这里，移动电话终端20是用户随身携带的智能手机等移动电话终端，车载装置100a是汽车导航系统装置。 [0259] 以下，参照图19对本发明的第二实施方式涉及的移动电话终端20的硬件结构进行说明。 [0260] 如图19所示，移动电话终端20的硬件由APU(Application Processor Unit、应用处理器)80、基带处理器81、RAM82、闪速存储器83、无线通信接口84、定位传感器85、加速度传感器86、陀螺传感器87、显示装置88、操作装置89、机器间通信接口90、摄像头91、麦克风92以及扬声器93构成。 [0261] APU80是控制移动电话终端20的各部分的、执行RAM82上读入的语音操作的应用程序软件的程序的、用于运算·控制的单元。 [0262] 基带处理器81是控制与移动电话终端20的通信和通话相关的模块的处理器。 [0263] RAM(Read Access Memory、随机存取存储器)82是将存储在闪速存储器83中的程序读取并暂时性保管、存储工作数据的存储装置。 [0264] 闪速存储器82是存放程序和数据的非易失性存储器。闪速存储器82是存储地图数据库、策略信息280、语音数据、视频数据等各种数据、以及语音操作的应用程序软件等程序的相对大容量的存储装置。 [0265] 无线通信接口84是用于将基带处理器81的信号转换为无线频带的高频信号、以及相反将无线频带的高频信号转换为基带处理器81的信号的接口装置。移动电话终端20经由无线通信接口83与基站70通信，由此能够进行通话、收发电子邮件、以及利用浏览器浏览网页。无线频带通常使用UHF(ultra high frequency、超高频)。 [0266] 定位传感器85是用于对以地球上的纬度和经度表示的自身的位置进行定位的传感器。 [0267] 加速度传感器86是用于测量移动电话终端20的加速度的传感器。由此，搭载了移动电话终端20的车辆30的加速度也间接被测量。 [0268] 陀螺传感器87是用于测量移动电话终端20的角度和角速度的传感器。由此，车辆30的角度和角速度也间接被测量。 [0269] 显示装置88是液晶显示器和有机EL(Electro-Luminescence、电致发光)显示器等、向用户显示图像信息的装置，一般使用显示尺寸为3英寸～5英寸画面的。 [0270] 操作装置89是用户用手指对移动电话终端20进行操作的按钮、开关、键盘、触摸板等装置。 [0271] 机器间通信接口90是用于与其他装置、例如车载装置100a连接、进行数据交换的接口装置。连接方式可以是依据USB(Universal Serial Bus、通用串行总线)和HDMI(High-Definition Multimedia Interface、高清晰度多媒体接口)等标准的有线连接，也可以是依据无线LAN(Local Area Network、局域网)的IEEE802.11a/b/g/n和蓝牙(注册商标)等标准的无线连接。 [0272] 摄像头91是拍摄移动电话终端20的周围并作为图像获取的光学装置。 [0273] 麦克风92是用于采集用户说的话、或者移动电话终端20周围的声音的装置。 [0274] 扬声器93是用于通过声音将信息传递给用户的装置。还有，图中虽然没有显示，普通耳机和头戴耳机也用作声音输出装置。 [0275] 以下，参照图20对移动电话终端20和车载装置100a的数据流和功能结构进行说明。 [0276] 车载装置100a如图20所示，具备机器ID获取部884、行驶状态获取部882、影像接收部885、画面显示部820、以及通信部875。 [0277] 移动电话终端20如图20所示，由应用程序控制部110、影像发送部185、行驶中操作可否列表制作部130、行驶中操作可否列表记录部191、语音输入部181、文本转换部140、命令执行可否判定部150、用户ID获取部183、策略信息更新部160、策略信息记录部192以及通信部170构成。 [0278] 这里，与第一实施方式的车载装置100的结构比较，第一实施方式中车载装置100具备的机器ID获取部184、行驶状态获取部182、画面显示部120没有了，而添加了影像发送部185、行驶状态存储部186、以及用于与车载装置100a进行通信的通信部175。 [0279] 本实施方式的移动电话终端20上添加的影像发送部185是替代实施例1的信息处理装置100具备的画面显示部120而添加的，第一实施方式的车载装置100中，是利用画面显示部120将显示装置26上显示的应用程序的画面作为影像数据向车载装置100a发送的。车载装置100a的影像接收部885是接收该影像数据的，接收到的影像数据通过画面显示部820显示在显示装置88上。该影像发送部185及影像接收部885是利用例如将摄像机和电视用HDMI线等连接来将摄像机的输出影像显示在电视机的画面上等技术，将移动电话终端20(即智能手机)的输出影像显示在车载装置100a(即汽车导航系统装置)的画面上的。 [0280] 本实施方式的移动电话终端20的行驶状态存储部186用于存储定期从车载装置100a接收的行驶状态。 [0281] 本实施方式的车载装置100a具备的机器ID获取部884与第一实施方式的车载装置100具备的机器ID获取部184具有相同的功能，用于将作为识别车载装置100a的信息的机器ID经由通信部875及通信部175通知给策略信息更新部160。 [0282] 本实施方式的车载装置100a具备的行驶状态获取部882与第一实施方式的车载装置100具备的行驶状态获取部182相同，是获取车辆的行驶状态的，用于将其经由通信部875及通信部175通知给移动电话终端20的行驶状态存储部186。 [0283] 应用程序500的操作示意图与图8所示的第一实施方式中的应用程序500相同。另外，对于用户按下菜单画面121的动画视听按钮1212而显示应用程序500的画面122时信息处理装置100中执行的制作行驶中操作可否列表220的处理，也与图9至图11所示的第一实施方式中车载装置100的处理的流程相同。 [0284] 另外，对于用户按下画面122的语音操作开始按钮1214、执行基于语音的操作的处理的流程也基本上与图12至图14所示的第一实施方式中车载装置100的处理的流程相同。不过，本实施方式中，图13的S1503中行驶状态的获取是通过参照移动电话终端20的行驶状态存储部186所存储的行驶状态而进行的。 [0285] 以下，参照图21对从策略发布服务器获取参照的限制规则及禁止单词列表的处理进行说明。 [0286] 图21是表示本发明的第二实施方式中，从策略发布服务器300获取限制规则230的处理的流程的流程图。 [0287] 基本流程与第一实施方式的图15所示的处理的流程相同，但图15中获取机器ID的S1601没有了，机器ID的获取是通过对车载装置100a的机器ID获取部884发送机器ID获取请求、从机器ID获取部884接收车载装置100a的机器ID来进行的。之后的处理与图15所示的处理的流程相同。 [0288] 以上，如本实施方式所示，在将智能手机等移动电话终端上运行的应用程序的执行画面显示在汽车导航系统装置的画面上使用的方式的系统中，也能够在用语音操作智能手机等移动电话终端的应用程序时，对行驶中不希望执行的操作进行限制。 [0289] [实施方式3] [0290] 以下，参照图22及图23对本发明的第三实施方式涉及的语音操作系统进行说明。 [0291] 图22是本发明的第三实施方式涉及的语音操作系统的整体结构图。 [0292] 图23是表示本发明的第三实施方式涉及的移动电话终端和车载装置的数据流和功能结构的图。 [0293] 本实施方式的语音操作系统与第二实施方式相同，也是用语音操作在近年来迅速普及的智能手机等移动电话终端上执行的应用程序时，对行驶中不希望执行的操作进行限制的。不过，第二实施方式是将智能手机等移动电话终端的输出影像显示在汽车导航系统的画面上使用的方式，而本实施方式则是设想使用支架等将智能手机等移动电话终端设置在驾驶席上使用的方式。 [0294] 本实施方式涉及的语音操作系统的整体结构图如图22所示，也与第二实施方式相同，其结构为移动电话终端20a和车载装置100b连接，不同之处在于车载装置100b是经由基站70与策略发布服务器进行通信的。 [0295] 以下，以与第一实施方式的差异为中心，对本实施方式中移动电话终端和车载装置的数据流和功能结构进行说明。 [0296] 本实施方式的整体结构与图4所示的第一实施方式的整体结构比较，增加了移动电话终端20a。移动电话终端20a具备应用程序控制部910、画面显示部920、以及用于和车载装置10b进行通信的通信部977。 [0297] 而车载装置10b与第一实施例的车载装置100比较，应用程序控制部110、画面显示部120没有了，添加了用于和移动电话终端20a进行通信的通信部177。 [0298] 移动电话终端20a具备的应用程序控制部910以及画面显示部920分别相当于第一实施方式的车载装置100中的应用程序控制部110以及画面显示部120。也就是说，与第一实施方式的差异在于将第一实施方式中具备应用程序控制部110以及画面显示部120的装置作为移动电话终端20a的功能而分离了。这样分离以后，将车载装置10b和移动电话终端20a之间进行的通信处理，也就是从应用程序控制部910向行驶中操作可否列表制作部130发送命令列表210的处理、从行驶中操作可否列表制作部130向应用程序控制部910发送行驶中操作可否列表220的处理、以及从命令执行可否判定部150向应用程序控制部110发送命令识别符的处理，变为经由通信部177以及通信部977来进行。 [0299] 以上，如本实施方式所示，在将智能手机等移动电话终端用支架设置在驾驶席上使用的方式中，也能够在用语音操作应用程序时，对行驶中不希望执行的操作进行限制。 |
||||||
QQ群二维码
意见反馈
意见反馈