用于在视频显示会话期间滚动语音呼叫或消息的文本显示
的方法和设备
技术领域
[0001] 本
发明涉及移动通信装置，其具有视频接收和显示能
力、语音到文本处理以及显示视频和用于此类装置的其它信息。
背景技术
[0002] 全球通信装置现今可包括允许装置显示从例如
数字视频广播(“DVB”)网络等视频广播系统所接收的实时视频的视频能力或多媒体能力。还存在用于使用移动通信装置的显示器来播放例如MPEG(MP4，等)或类似视频格式的所下载电影的各种视频应用程序。然而，移动通信装置的各种其它应用程序还使用显示器以向用户显示信息。举例来说，语音邮件消息接发应用程序通常显示例如闭合信封等图标，以便指示(例如)经存储的语音邮件消息。语音邮件消息可存储于例如语音邮件消息接发
服务器等远程服务器上，或在一些状况下，语音邮件消息可本地存储于移动通信装置的
存储器中。
[0003] 操作移动通信装置以(例如)检视经由DVB网络而发射的实时视频的用户可能会使视频检视被移动通信装置的另一应用程序(例如，语音邮件消息接发或传入呼叫)中断。移动通信装置的其它应用程序(例如短消息服务(SMS)应用程序、即时消息接发(IM)应用程序等)也可能导致用户在检视实时视频期间或在检视经存储视频文件期间接收短消息服务消息。在此状况下，为了响应于SMS消息或收听语音邮件消息，用户将需要关闭或暂时停止视频应用程序，以便对另一对应的应用程序(例如，语音邮件应用程序、短消息接发应用程序或某一其它类似应用程序)采取行动。
发明内容
[0004] 本文中所揭示的方法包括：通过对音频数据应用语音到文本转换而将音频数据转换为文本数据；以及将文本数据显示为与视频一起显示于显示器上的滚动文本。滚动文本可显示于显示器的底部附近的一部分中且在视频上面滚动。或者，滚动文本可在视频上方或下方显示于显示器的单独滚动文本显示部分中。
[0005] 所述方法可包括：从网络接收语音呼叫指示，且将语音呼叫指示提供到用户
接口；以及接收用于接收语音呼叫且将语音呼叫显示为滚动文本的用户输入。
[0006] 另一方法包括：从网络接收通信消息指示，且将通信消息指示提供到用户接口，其中通信消息指示对应于传入的通信消息；接收用于接收通信消息且在显示器上将通信消息显示为滚动文本的用户输入；以及响应于用户输入而将通信消息显示为滚动文本，其中滚动文本与其它应用程序相关数据一起显示于显示器上。
[0007] 通信消息包括音频数据，使得所述方法可进一步包括：通过对音频数据应用语音到文本转换而将音频数据转换为文本数据；以及将文本数据显示为所述滚动文本。
[0008] 通信消息还可包括视频部分，使得所述方法进一步包括：从视频部分剥离音频部分，以在经由语音到文本转换而将音频数据转换为文本数据之前获得音频数据；以及在显示器的
画中画(picture-in-picture)部分中显示视频部分。
[0009] 另一方法包括：将经接收的消息接发数据转换为视频格式以建立视频格式化消息接发数据，其中视频格式化消息接发数据包括对应于消息接发数据的至少一部分的文本数据；以及在显示器上在其它应用程序相关数据上面将视频格式化消息接发数据显示为滚动文本。所述方法还可包括：从消息接发数据剥离音频数据；将音频数据从音频逻辑转移到语音到文本转换器逻辑；以及从语音到文本转换器逻辑获得文本数据。
[0010] 所述
实施例还包括具有滚动文本逻辑的通信装置，滚动文本逻辑可操作以：接收音频数据；通过应用语音到文本转换而将音频数据转换为文本数据；将文本数据转换为视频格式；以及在显示器上在应用程序相关数据上面将文本数据显示为滚动文本。通信装置可进一步包括操作性地耦合到滚动文本逻辑的语音到文本转换器逻辑，且其中滚动文本逻辑进一步操作以：检测显示器上的应用程序相关数据；且响应于检测到显示器上的应用程序相关数据而将音频数据从音频逻辑转移到语音到文本转换器逻辑。
[0011] 一实施例包括具有供至少一个处理器执行的可执行指令的计算机可读媒体，所述可执行指令在被执行时致使所述至少一个处理器：在显示器上显示视频；通过应用语音到文本转换而将音频数据转换为文本数据；以及将所述文本数据显示为与视频一起显示于显示器上的滚动文本。
附图说明
[0012] 图1为根据一实施例的具有显示器101和滚动文本部分103的通信装置100的
框图。
[0013] 图2为根据一实施例的具有显示器201且在稍微居中
位置中跨越显示器201而显示滚动文本203的通信装置200的框图。
[0014] 图3为根据一实施例的具有显示器301且在稍微居中位置中或在画中画显示器305的滚动文本部分309中跨越画中画显示器305而显示滚动文本307的通信装置300的框图。
[0015] 图4为根据一实施例的具有显示器401且在稍微居中位置中跨越显示器401而显示滚动文本403的通信装置400的框图，其中滚动文本403与用于画中画显示器405的音频相关联。
[0016] 图5为根据一实施例的通信装置500的框图。
[0017] 图6为说明根据所述实施例的通信装置和处置各种消息的操作的
流程图。
[0018] 图7为说明根据所述实施例的
块611的另外细节的流程图，在块611中，在将文本数据显示为滚动文本之前获得消息文本数据。
[0019] 图8为说明根据一实施例的关于语音呼叫和语音邮件消息的操作的流程图。
[0020] 图9为说明根据一实施例的关于视频媒体内容和处置音频文件的操作的流程图。
[0021] 图10为说明根据一实施例的关于处置语音邮件消息的操作的另外细节的流程图。
[0022] 图11为说明根据一实施例的关于视频媒体内容和处置音频数据的操作的流程图。
[0023] 图12为说明根据一实施例的关于处置传入语音呼叫或语音邮件消息指示和在显示器的滚动文本部分中显示滚动文本的操作的流程图。
[0024] 图13为说明根据一实施例的关于将音频文件或经接收音频数据转换为文本数据的操作的流程图。
[0025] 图14为说明根据一实施例的处置传入语音呼叫的通信装置的
信号流程图。
[0026] 图15为说明根据一实施例的处置语音邮件消息的通信装置的信号流程图。
具体实施方式
[0027] 现转向图式(其中相同数字表示相同组件)，图1说明通信装置100，例如具有接收视频(例如(但不限于)数字视频广播(“DVB”))的能力且还可能够接收各种多媒体文件(例如多媒体消息接发服务(MMS)消息)的无线通信装置。通信装置100具有显示器101，且根据所述实施例，
图形显示器还包括文本滚动部分103，文本滚动部分103可为单独的视频区段或可为整个图形显示器101的分割区。图2说明图1所示的实施例的替代实施例。在图2中，通信装置200包括显示器201，且可在如由用户所配置的显示器201上的各个位置处显示滚动文本203。视频还可包括(例如)存储于装置自身上的视频。举例来说，装置100可包括经由与主机/服务器的无线或有线通信(例如，在无线地或有线地连接到用户的另一计算装置时)而传送到装置的视频(例如，视频数据文件)。
[0028] 图3说明通信装置300，其具有显示器301，且根据所述实施例，其显示画中画(PiP)部分305。根据所述实施例，PiP部分305可包括滚动文本部分309，或可在PiP显示器305上的各个位置处具有滚动文本307。图4说明图3所说明的实施例的替代实施例。在图4中，滚动文本403对应于PiP部分405中所显示的视频，但滚动文本403显示于主显示器401内(与由图2所说明的显示类似)，而非显示于PiP部分405的视频内。换句话说，滚动文本403与可显示于PiP部分405内的文本相比可为更大文本，且因此更可读。
[0029] 其它替代实施例可包括在垂直(而非
水平)定向上、横向于主视频显示器、横向于显示器的PiP部分或垂直地跨越任一显示器而显示滚动文本。同样，滚动文本可相对于显示器以各种
角度定向，例如对角地跨越主显示器或跨越显示器的PiP部分。另外，语音到文本转换器逻辑505可适于各种语言且可提供语音到文本转换，其中所得文本呈各种语言且使用各种文本字符，例如(但不限于)英文文本、西里尔文(Cyrillic)、希腊文、中文、朝鲜文、阿拉伯文等。
[0030] 图5说明根据所述实施例的具有应用程序501的通信装置500。应用程序501可并入到无线通信装置(例如无线通信装置500)中。无线通信装置500可为能够显示视频的任何合适的通信装置，例如(但不限于)无线
移动电话、膝上型计算机、台式计算机、
个人数字助理等，其具有接收通信消息(例如语音呼叫、SMS消息、多媒体消息接发服务(MMS)消息、即时消息等)且/或检索和显示或重放通信消息(例如，语音邮件消息、SMS消息、MMS消息、IM消息等)的能力。
[0031] 无线通信装置500包括语音邮件检索器逻辑503、语音到文本转换器逻辑505、显示
驱动器507、协议堆栈509和至少一个收发器511。本文中所使用的术语逻辑包括在一个或一个以上可编程处理器、ASIC、硬连线逻辑或其组合上执行的
软件和/或
固件。本文中所使用的术语协议堆栈指代供在一个或一个以上可编程处理器和/或专用处理器或其组合上执行的软件和/或固件。因此，应用程序501包括本文中将描述的滚动文本逻辑。
[0032] 应用程序501经由通信链路502而操作性地耦合到语音邮件检索器逻辑503，使得应用程序501可将命令发送到语音邮件检索器逻辑503，所述命令致使语音邮件检索器逻辑503检索语音邮件消息文件，如将在本文中进一步详细地描述。类似地，应用程序501经由通信链路504而操作性地耦合到语音到文本转换器逻辑505，使得应用程序501可将语音数据发送到语音到文本转换器逻辑505以用于转换为文本数据。应用程序501还经由通信链路520而操作性地耦合到显示驱动器507。可经由无线通信装置500内的
数据总线而实现例如通信链路502、504和520等各种操作性耦合，其中数据总线在其中所含有的各种逻辑之间提供数据通信路径。因此，操作性耦合可包括可为了实现通信路径的目的而需要的其它逻辑。同样，协议堆栈509经由实况语音呼叫链路(live voicecall link)508而操作性地耦合到应用程序501，使得可将语音数据提供到应用程序501。协议堆栈509还经由检索语音邮件链路506而操作性地耦合到语音邮件检索器逻辑503，使得可从远程语音邮件服务器检索语音邮件消息文件，如将在本文中进行描述。应用程序501经由通信链路525而操作性地耦合到通信装置500的用户接口523。用户接口523可包括小
键盘、触敏显示器、
鼠标、回转仪或可接收用户输入且将此用户输入提供到应用程序501的任何其它装置。用户接口523还包括用于语音呼叫的音频逻辑，其用于提供音频输出且还接收音频输入。
[0033] 协议堆栈509经由通信链路510而耦合到一个或一个以上收发器511。收发器511可经由发射链路513而将包括命令或
请求的数据发射到网络，且可经由接收链路515而从网络接收包括命令或请求的数据。
[0034] 无线通信装置500还可包括用于接收和发送消息的各种客户端527。举例来说，客户端527可包括
电子邮件客户端531、即时消息接发(IM)客户端533、短消息服务(SMS)客户端535、多媒体消息服务(MMS)客户端537和多媒体客户端517。多媒体客户端517可为和/或包括各种广播媒体客户端(例如(但不限于)DVB、MMBS等)，使得通信装置500可接收多媒体广播。
[0035] 所有客户端(例如多媒体客户端517)均经由通信链路541而操作性地耦合到协议堆栈509和收发器511。客户端(例如(但不限于)多媒体客户端517)还经由通信链路529而操作性地耦合到应用程序501，且经由通信链路519而操作性地耦合到显示驱动器507。多媒体客户端517以及所有其它客户端527可与通信装置500的其它组件或逻辑交互以发送和接收消息。多媒体客户端517可与其它组件或逻辑交互以从(例如)视频广播系统(例如(但不限于)DVB)接收视频广播，且可因此结合显示驱动器507而导致在显示器521上显示视频。多媒体客户端517还可从各种其它应用程序(例如(但不限于)游戏应用程序、因特网浏览程序、电影播放器应用程序等)提供视频。因此，多媒体客户端517可以空中方式或经由因特网而从各种广播提供视频，或从各种经存储视频文件提供视频。
[0036] 图6说明根据一实施例的通信装置500的操作。在601中，在(例如)发射链路513和接收链路515上经由收发器511而将通信装置连接到网络。如603中所示，可在接收链路515上从网络接收语音呼叫。然而，如605中所示，用户可能忙于一应用程序，例如正从事多媒体会话，且多媒体客户端517可能正将视频或其它信息提供到显示器521。如607中所示，将向用户提供传入消息的指示。所述指示可为视觉指示符，或可为例如铃音
音调等音频音调。如果用户决定接受和检视消息(如在609中)，那么应用程序501将采取行动以获得消息文本数据(如611中所示)。如本文中进一步详细描述，可以各种方式来获得消息文本数据。如613中所示，应用程序501将向显示驱动器507提供文本数据。如615中所示，接着将在显示器521上与从用户所从事的另一应用程序(例如，视频应用程序)显示的信息一起显示表示消息文本数据的滚动文本。
[0037] 图7说明块611的另外细节和在各种实施例中可如何获得消息文本数据。在701中，从图6中说明的过程接收给定消息类型。如果消息不是多媒体消息(在703中)且如果消息不是语音消息或语音呼叫(在705中)，那么将消息作为(例如)纯文本消息和IM消息、SMS消息或电子邮件消息进行处置。如707中所示，应用程序501将从客户端527的适当客户端得到消息文本。如717中所示，应用程序501将接着在通信链路520上将文本数据提供到显示驱动器507以显示为滚动文本。
[0038] 然而，如果消息为多媒体消息(例如，MMS消息)(在703中)，那么应用程序501将通过(例如)检查用户选项539中的一组经存储用户选项设定来检查文本/视频选项(如在709中)。在所述实施例中，可应用各种用户设定，例如用户可选择仅接收视频(例如PiP显示器)，或可选择接收视频和对应于所述视频的滚动文本。还可经由用户选项539而设定滚动文本位置，且因此，可如先前由图1到图4所说明来显示滚动文本。
[0039] 因此，在709中，检查文本/视频选项设定。如果选择仅视频选项，那么应用程序501将向用于PiP显示器的显示驱动器发送视频(如在717中)。在此状况下，视需要，用户可选择PiP显示器，借此导致音频部分(如果存在)与视频一起在PiP显示器中播放。否则，视频可能在PiP显示器中无声地运行，而用户从另一当前运行的应用程序或视频接收音频。
[0040] 然而，如果在709中检测到视频和文本选项设定，那么应用程序501可从消息中剥离音频部分(如在711中)。可接着将经剥离音频部分提供到语音到文本转换器505(如713中所示)，且添加到显示器以作为滚动文本(如715中所示)。对于视频或MMS消息的PiP显示来说，可根据由图3和图4所说明的实例中的任一者而显示滚动文本，且可根据存储于用户选项539中的用户设定而将滚动文本
定位于显示器上的任何所要位置处。应用程序501因此提供用户接口，使得用户可选择选项供存储于用户选项539中。在所述实施例中，可提供用户选项539的默认值，使得(例如)视频和文本可为用于MMS消息或视频的默认显示设定。各种其它默认设定可同样适于各种实施例。
[0041] 图8说明根据一实施例的通信装置500的操作。在801中，在(例如)发射链路513和接收链路515上经由收发器511而将通信装置连接到网络。如803中所示，可在接收链路515上从网络接收语音呼叫。然而，如805中所示，用户可能忙于一应用程序，例如正从事多媒体会话，且多媒体客户端517可能正将视频或其它信息提供到显示器521。如
807中所示，将向用户提供传入呼叫的指示。所述指示可为视觉指示符，或可为例如铃音音调等音频音调。如果用户决定接受呼叫(如在809中)，那么应用程序501将建立到协议堆栈509的实况语音呼叫链路508，以从网络接收语音数据。然而，应用程序501将从通信装置500的音频逻辑转移语音数据，且将改为在通信链路504上将语音数据发送到语音到文本转换器逻辑505。语音到文本转换器逻辑505将因此将音频数据转换为文本(如811中所示)，且将经由应用程序501而将文本数据提供到显示驱动器507(如813中所示)。如
815中所示，接着将在显示器521上将表示经接收语音呼叫的滚动文本与从用户所从事的另一应用程序(例如，视频应用程序)显示来的信息一起显示。
[0042] 根据所述实施例，应用程序501还可检索语音邮件消息文件且将其显示为滚动文本。因此，用户可忽略在803中的呼叫，在此状况下，可在807中提供语音邮件指示。用户可因此在809中决定接收语音邮件消息，且应用程序501可接着命令语音邮件检索器逻辑503从远程语音邮件服务器或从用于直接在通信装置500上存储语音邮件的存储器获得语音邮件文件。接着将在811中将经检索语音邮件文件转换为文本且相应地显示。
[0043] 关于图9而进一步说明此实施例。如901中所示，可显示视频媒体内容或任何其它信息。如在903中，可将音频语音文件转换为文本数据。如在905中，可接着与视频媒体内容或其它信息一起同时跨越显示器而滚动文本数据。即，当跨越显示器而滚动语音邮件消息的文本时，视频应用程序可继续播放视频。图10说明所述实施例的另外细节。在1001中，接收视频信息。举例来说，可从视频数字广播网络接收DVB数据。在1003中，在显示器521上显示视频信息。在1005中，接收语音邮件消息指示，例如来自无线网络的语音邮件消息指示。在1007中，用户可经由用户接口523而提供激活信号。举例来说，用户可按压小键盘上的按键，使得应用程序501可响应于用户输入而在显示器521上将语音邮件消息转换为滚动文本。或者，在1007中，可通过应用程序501来检测语音邮件消息指示，其中应用程序501作为响应可自动地检索语音邮件消息(如1009中所示)。在1011中将语音邮件消息转换为文本，且在1013中跨越显示器521而滚动文本(如先前所描述)。
[0044] 图11说明应用程序501关于语音呼叫的操作。在1101中，可在显示器521上显示视频。可通过通信装置500来接收语音呼叫的音频语音数据，且在实况语音呼叫链路508上将音频语音数据发送到应用程序。应用程序管理语音数据从通信装置500的音频逻辑的转移，且可将语音数据发送到语音到文本转换器逻辑505(如1103中所示)。在1105中，与视频一起在显示器521上滚动文本数据。
[0045] 图12说明通信装置500和应用程序501关于激活的操作。举例来说，在1201中，应用程序501可从用户接口523接收用户激活信号。用户激活信号可响应于传入语音呼叫，或可响应于从网络所接收的语音邮件指示。或者，应用程序501可提供存储于用户选项539中的可配置用户设定。举例来说，用户可设定用户选项539的选项，使得当视频应用程序正运行时，任何传入呼叫均被自动地引导到应用程序501。在另一实例中，用户可设定选项，使得当接收语音邮件指示时，应用程序501自动地检索对应的语音邮件消息文件。根据所述实施例，可使用各种其它用户配置。
[0046] 在1203中，如关于图1到图4所描述，可将显示器521分裂为视频部分和文本滚动部分。如(例如)图2所示，在一些实施例中，可在视频上面滚动文本。应用程序501还可提供存储于用户选项539中的用户可配置设定以用于配置滚动文本相对于显示器521的位置。举例来说，用户可设定选项，使得跨越显示器521的中间而滚动文本，或在显示器521的顶部或底部处滚动文本。还可提供其它用户选项，例如(但不限于)滚动文本的
颜色和大小。因此，在1205中，根据用户选项539或根据默认设定而显示滚动文本。
[0047] 图13说明对应于如图1和图3针对PiP显示器所展示和描述的显示配置的实例实施例。在1301中可显示视频，且在1303中可将音频数据或音频文件转换为文本。在1305中，应用程序501可结合显示驱动器507致使显示器被分割为(例如)视频部分101和文本部分103(如图1所说明)。通过显示驱动器507而将文本数据转换为视频格式(如1307中所示)，且在文本部分103中将所述文本数据显示为滚动文本(如1309中所示)。
[0048] 图14和图15为提供通信装置500的操作的另外细节的信号流程图。在图14中，信号流程图1400说明通过应用程序501来处置语音呼叫。举例来说，网络1402可将语音呼叫指示或寻呼消息1405发送到通信装置500。由于如上文所论述的用户设定，或因为用户正操作使用显示器521的应用程序，所以应用程序501接收语音呼叫指示1405。用户可经由1407而接受语音呼叫。这可能需要经由用户接口523的用户输入，或可能基于用户配置设定。应用程序501可接着从网络1402接收语音数据1409。如果用户继续运行应用程序1411(例如视频，或例如游戏应用程序等其它应用程序)，那么应用程序501将向语音到文本转换器逻辑505发送语音位1413。应用程序501将接收对应于经转换音频的文本位1415，且将向显示器1401发送文本位和
覆盖细节1417。
[0049] 图15为说明通过应用程序501来处置语音邮件消息的信号流程图1500。根据所述实施例，尽管可在任何时间通过应用程序501来处理语音邮件消息，但为了完整性起见而说明呼叫过程。举例来说，与由图14所说明的状况类似，可通过应用程序501来接收语音呼叫指示1505。然而，用户可忽略语音呼叫1507。在此状况下，网络1502将经由语音邮件重新引导1509而将呼叫程序(caller)重新引导到语音邮件。如果呼叫程序利用语音邮件服务器1503来存放语音邮件消息，那么网络1502将向应用程序501发送语音邮件消息指示1511。如果应用程序1513正运行且使用显示器1501，那么应用程序501可经由语音邮件检索器逻辑503而得到语音文件1515。语音邮件检索器逻辑503将经由网络1502而经由消息1517和1519与语音邮件服务器1503通信，且将获得语音文件1521。
[0050] 应用程序501将向语音到文本转换器逻辑505提供语音文件1523，且将接收对应于语音文件的返回文本位1525。应用程序501接着将向显示器1501提供文本位和覆盖细节1527。
[0051] 因此，本发明揭示用于显示滚动文本的方法和设备，其中滚动文本表示语音邮件消息或MMS消息或视频的音频，且其中与视频广播数据一起或与显示于显示器上的来自视频文件的视频或应用程序数据一起同时显示滚动文本。所属领域的一般技术人员将了解本文中所揭示的实施例的各种优点。
