一种设备的远程控制方法、系统、装置及存储介质
| 专利类型 | 发明授权 | 法律事件 | 公开; 实质审查; 授权; |
| 专利有效性 | 有效专利 | 当前状态 | 授权 |
| 申请号 | CN202211156581.9 | 申请日 | 2022-09-22 |
| 公开(公告)号 | CN115580697B | 公开(公告)日 | 2025-03-07 |
| 申请人 | 北京行远博见网络科技有限公司; | 申请人类型 | 企业 |
| 发明人 | 赵剑波; 袁继功; 赵刚强; 董海港; 高宇; 刘勇军; | 第一发明人 | 赵剑波 |
| 权利人 | 北京行远博见网络科技有限公司 | 权利人类型 | 企业 |
| 当前权利人 | 北京行远博见网络科技有限公司 | 当前权利人类型 | 企业 |
| 省份 | 当前专利权人所在省份：北京市 | 城市 | 当前专利权人所在城市：北京市朝阳区 |
| 具体地址 | 当前专利权人所在详细地址：北京市朝阳区酒仙桥北路甲10号院201号楼6层606-2室 | 邮编 | 当前专利权人邮编：100020 |
| 主IPC国际分类 | H04N7/14 | 所有IPC国际分类 | H04N7/14 ; G08C17/02 ; H04N21/8547 ; H04N21/44 ; H04N21/435 ; H04N21/6437 |
| 专利引用数量 | 2 | 专利被引用数量 | 0 |
| 专利权利要求数量 | 9 | 专利文献类型 | B |
| 专利代理机构 | 北京三聚阳光知识产权代理有限公司 | 专利代理人 | 胡晓静; |
| 摘要 | 本 发明 提供了一种设备的远程控制方法、系统、装置及存储介质，该方法包括：对执行端设备采集到的 视频 帧 进行解析，得到视频帧对应的时间戳；对视频帧加入时间戳，并将带有时间戳的视频帧发送至操控端设备；接收操控端设备发送的控制指令，控制指令为操控端设备对用户在操控端设备基于视频帧发送的用户指令加入时间戳得到的；对控制指令进行解析，以得到时间戳；基于时间戳与当前时间的关系，执行控制指令。通过本发明提供的设备的远程控制方法、系统及装置，通过根据该时间戳和当前时间的关系，确定出当前网络状态，灵活调整执行端设备在不同网络状态对控制指令的执行，避免网络卡顿执行端设备执行控制指令出现失控，增加执行端设备的安全性。 | ||
| 权利要求 | 1.一种设备的远程控制方法，应用于执行端设备，其特征在于，所述方法包括： |
||
| 说明书全文 | 一种设备的远程控制方法、系统、装置及存储介质技术领域[0001] 本发明涉及远程操控领域，具体涉及一种设备的远程控制方法、系统、装置及存储介质。 背景技术[0002] 随着科技技术和人机交互技术的不断发展，远程操控技术在办公及日常生活等领域均得到了广泛的应用。在远程操控过程中，为了提高用户的体验，往往会通过音视频通话，实现远程操控设备和本地执行端设备的双向交互。 [0003] 在现有技术中，对执行端设备进行远程操控过程中，往往会出现网络卡顿等现象。然而当由于网络卡顿等原因导致画面出现卡顿的时候，执行端设备仍然在执行操控指令，导致执行端设备在卡顿过程中出现短暂性失控，影响执行端设备的运行安全。 发明内容[0004] 因此，本发明要解决的技术问题在于克服现有技术中因网络卡顿等原因，导致执行端设备在卡顿过程中出现短暂性失控，安全性低的问题，从而提供一种设备的远程控制方法、系统、装置及存储介质。 [0005] 根据第一方面，本发明提供一种设备的远程控制方法，应用于执行端设备，所述方法包括： [0007] 对所述视频帧加入所述时间戳，并将带有所述时间戳的视频帧发送至操控端设备； [0008] 接收所述操控端设备发送的控制指令，所述控制指令为所述操控端设备对用户在所述操控端设备基于所述视频帧发送的用户指令加入所述时间戳得到的； [0009] 对所述控制指令进行解析，以得到所述时间戳； [0010] 基于所述时间戳与当前时间的关系，执行所述控制指令。 [0011] 在一实施例中，所述对执行端设备采集到的视频帧进行解析，得到所述视频帧对应的时间戳，包括： [0012] 获取执行端设备采集的视频，并提取所述视频的视频帧； [0013] 获取当前系统时间，并将所述当前系统时间确定为该视频帧的时间戳。 [0014] 在一实施例中，所述基于所述时间戳与当前时间的关系，执行所述控制指令，包括： [0015] 计算所述时间戳和当前时间之间的差值； [0016] 判断所述差值是否大于预设差值阈值； [0017] 若所述差值大于所述预设差值阈值，则停止执行所述控制指令； [0018] 若所述差值小于或等于所述预设差值阈值，则继续执行所述控制指令。 [0019] 在一实施例中，在若所述差值大于所述预设差值阈值，则停止执行所述控制指令之后，所述方法还包括： [0020] 在预设时长内没有接收到新的可执行的控制指令时，控制所述执行端设备停止运行。 [0021] 根据第二方面，本发明提供一种设备的远程控制方法，应用于操控端设备，所述方法包括： [0022] 接收执行端设备发送的视频帧； [0023] 对所述视频帧进行解析，得到所述视频帧对应的时间戳； [0024] 将所述视频帧展示给用户，并接收用户发送的用户指令； [0025] 对所述用户指令加入所述时间戳，生成控制指令； [0026] 将所述控制指令发送至所述执行端设备，以使所述执行端设备对所述控制指令进行解析得到所述时间戳后，基于所述时间戳与当前时间的关系，执行所述控制指令。 [0027] 在一实施例中，所述将所述控制指令发送至所述执行端设备，包括： [0028] 对所述用户指令进行解析； [0029] 判断所述用户指令的指令类型是否为停止运行指令； [0030] 在所述用户指令的指令类型为停止运行指令时，将所述控制指令连续多次发送至所述执行端设备。 [0031] 根据第三方面，本发明提供一种设备的远程控制系统，包括执行端设备和操控端设备，其中， [0032] 所述执行端设备用于对采集到的视频帧进行解析，得到所述视频帧对应的时间戳，对所述视频帧加入所述时间戳，并将带有所述时间戳的视频帧发送至操控端设备； [0033] 所述操控端设备用于将视频帧展示给用户，并接收用户发送的用户指令，对所述用户指令加入所述时间戳，生成控制指令，将所述控制指令发送至所述执行端设备； [0034] 所述执行端设备接收所述操控端设备发送的控制指令，对控制执行进行解析，得到时间戳； [0035] 所述执行端设备基于所述时间戳和当前时间的关系，执行所述控制指令。 [0036] 根据第四方面，本发明提供一种设备的远程控制装置，应用于执行端设备，所述装置包括： [0037] 第一得到模块，用于对执行端设备采集到的视频帧进行解析，得到所述视频帧对应的时间戳； [0038] 第一发送模块，用于对所述视频帧加入所述时间戳，并将带有所述时间戳的视频帧发送至操控端设备； [0039] 第一接收模块，用于接收所述操控端设备发送的控制指令，所述控制指令为所述操控端设备对用户在所述操控端设备基于所述视频帧发送的用户指令加入所述时间戳得到的； [0040] 解析模块，用于对所述控制指令进行解析，以得到所述时间戳； [0041] 执行模块，用于基于所述时间戳与当前时间的关系，执行所述控制指令。 [0042] 根据第五方面，本发明提供一种设备的远程控制装置，应用于操控端设备，所述装置包括： [0043] 第二接收模块，用于接收执行端设备发送的视频帧； [0044] 第二得到模块，用于对所述视频帧进行解析，得到所述视频帧对应的时间戳； [0045] 第三接收模块，用于将所述视频帧展示给用户，并接收用户发送的用户指令； [0046] 生成模块，用于对所述用户指令加入所述时间戳，生成控制指令； [0047] 第二发送模块，用于将所述控制指令发送至所述执行端设备，以使所述执行端设备对所述控制指令进行解析得到所述时间戳后，基于所述时间戳与当前时间的关系，执行所述控制指令。 [0048] 根据第六方面，本发明提供一种计算机设备，包括存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面及其可选实施方式中任一项所述的设备的远程控制方法，或第二方面及其可选实施方式中任一项所述的设备的远程控制方法。 [0049] 根据第七方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行第一方面及其可选实施方式中任一项所述的设备的远程控制方法，或第二方面及其可选实施方式中任一项所述的设备的远程控制方法。 [0050] 本发明技术方案，具有如下优点： [0051] 本发明实施例提供了一种设备的远程控制方法，通过对控制指令进行解析得到与控制指令对应视频帧的时间戳，以根据该时间戳和当前时间的关系，确定出当前网络状态，从而灵活调整执行端设备在不同网络状态下对控制指令的执行，避免在网络卡顿时执行端设备执行控制指令出现失控的情况，以增加执行端设备的安全性。 [0052] 本发明实施例提供了一种设备的远程控制方法，通过对控制指令进行解析得到与控制指令对应视频帧的时间戳，以根据该时间戳和当前时间的关系，确定出当前网络状态，从而灵活调整执行端设备在不同网络状态下对控制指令的执行，避免在网络卡顿时执行端设备执行控制指令出现失控的情况，以增加执行端设备的安全性。 [0053] 本发明实施例提供了一种设备的远程控制系统，通过根据该时间戳和当前时间的关系，确定出当前网络状态，从而灵活调整执行端设备在不同网络状态下对控制指令的执行，避免在网络卡顿时执行端设备执行控制指令出现失控的情况，以增加执行端设备的安全性。附图说明 [0054] 为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。 [0055] 图1是本发明实施例设备的远程控制系统的流程图； [0056] 图2是本发明实施例中的设备的远程控制的交互过程示意图； [0057] 图3是本发明实施例中的通信架构示意图； [0058] 图4是本发明实施例中的设备的远程控制装置的结构示意图； [0059] 图5是本发明实施例中的另一设备的远程控制装置的结构示意图； 具体实施方式[0061] 下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。 [0062] 在目前常见的音视频通话场景中，本地的执行端设备往往是不可移动的，或者执行端设备不可被远程的操控端设备主动控制。在远程操控领域，本地执行端设备往往不能和远程操控端设备进行双向的音视频通话。而在音视频通信领域，无法及时关注操控的及时性，而远程遥控领域也无法及时关注音视频通话的双向交互。 [0064] 部分的远程控制摄像头等不可移动的设备难以实现画面和操控的同步，导致画面卡顿的时候执行端设备依然在执行操控，网络恢复后，操控端设备的画面已切换成执行端设备被操作一段时间后的画面，在网络卡顿间隙，执行端设备会存在短时间的失控，导致用户体验差，安全性低。 [0065] 基于上述问题，本发明实施例提供了一种设备的远程控制系统，如图1所示，该控制系统包括：执行端设备1和操控端设备2，其中， [0066] 具体地，执行端设备1用于对采集到的视频帧进行解析，得到视频帧对应的时间戳，对视频帧加入时间戳，并将带有时间戳的视频帧发送至操控端设备2；操控端设备2用于将视频帧展示给用户，并接收用户发送的用户指令，对用户指令加入时间戳，生成控制指令，将控制指令发送至执行端设备1；执行端设备1接收操控端设备2发送的控制指令，对控制指令进行解析，以得到时间戳；执行端设备1基于时间戳和当前时间的关系，执行控制指令。 [0067] 具体地，在本发明实施例中，上述的执行端设备1为本地执行设备，可以为能够进行音视频聊天的陪伴机器人，也可以为带有摄像头的遥控小车，还可以为带有摄像头的无人机等设备，在此不做限定。执行端设备1包括上位机和下位机两部分，上位机负责和各服务器之间通信以获取数据，下位机负责操控和驱动，上位机和下位机采用串口通信，以遥控小车为例，遥控小车中的伺服电机的操控和驱动由下位机完成，下位机和伺服电机采用can或485通信。 [0068] 上述的操控端设备2为可移动的远程操控端设备，操控端设备2可以为手机、平板或计算机电脑等设备。 [0069] 执行端设备1和操控端设备2部分业务相关的低频操作采用http短链接的形式和服务器通信，其使用过程可参照现有技术中互联网产品的使用过程，此处不再赘述。 [0070] 关于上述执行端设备1和操控端设备2更进一步的描述参见下文对应方法实施例的相关描述，在此不再进行赘述。 [0071] 通过上述各个组成部分的协同合作，本发明实施例提供的设备的远程控制系统，通过对执行端设备采集的视频帧进行解析得到时间戳，通过对操控端发送的控制指令进行解析得到时间戳，并判断时间戳和当前时间的关系，对执行端设备进行控制，以在网络卡顿等原因导致画面卡顿的时候，控制执行端设备不执行控制指令，以减小在网络卡顿时执行端设备失控的可能性，从而增加执行端设备的安全性。 [0072] 本发明实施例还提供了一种设备的远程控制方法，该方法应用于如图1所示的执行端设备1和操控端设备2，其中，如图2所示，执行端设备1用于执行步骤S101至步骤S105，操控端设备2用于执行步骤S201至步骤S205。 [0073] 步骤S101：对执行端设备采集到的视频帧进行解析，得到视频帧对应的时间戳。 [0074] 在本发明实施例中，执行端设备包括视频通信模块，视频通信模块能够通过摄像头等设备采集视频，提取视频帧，解析视频帧，并得到视频帧对应的时间戳。 [0075] 确定视频帧的时间戳，通过对执行端设备进行视频采集，得到视频帧，并获取当前系统时间，将当前系统时间确定为视频帧的时间戳；确定视频帧的时间戳，还可以通过读取采集到的视频起始帧的时间戳，从观看视频起始帧的时间，将其转换成unix时间戳，再根据频率计算各个视频帧的时间戳；还可以截取视频帧的时间，利用字符识别(Optical Character Recognition，OCR)技术将其转换成时间字符串，再将时间字符串换算成时间戳。其中，确定视频帧的时间戳的方式为现有技术，此处不再赘述。 [0076] 步骤S102：对视频帧加入时间戳，并将带有时间戳的视频帧发送至操控端设备。 [0077] 在本发明实施例中，如图3所示，音视频传输采用实时通信(Real‑Time Communication，RTC)应用层协议完成，传输层采用用户数据报协议(User Datagram Protocol，UDP)协议，保证数据传输的效率。执行端设备的视频通话模块将视频帧加入时间戳打包，通过实时通信协议将打包好的视频帧下发给操控端设备，实时通信协议能够实现音视频传输，主要处理通信过程中的音视频通话。其中，实时通信过程包含了采集、编码、处理、传输、解码、缓冲及渲染等多个环节，实时通信协议具有低延时和无卡顿的特点，采用实时通信协议下发视频帧的方式，能够减小执行端设备和操控端设备之间通信的延时。 [0078] 步骤S103：接收操控端设备发送的控制指令，控制指令为操控端设备对用户在操控端设备基于视频帧发送的用户指令加入时间戳得到的。 [0079] 在本发明实施例中，操控端设备上设置有供用户操控的操控按钮，操控按钮可以为按键，也可以为移动罗盘，还可以为其他操作按钮，在此不作限定。 [0080] 用户通过操控按钮向操控端设备下发用户指令，操控端设备基于用户指令合成控制指令数据包。执行端设备在合成控制指令数据包时，先将解析出的时间戳存入共享内存变量，再将共享内存变量和用户指令合成控制指令数据包，并间隔预设时长通过消息队列遥测传输协议(Message Queuing Telemetry Transport，MQTT)或无线传输管理协议(Radio Transmission Management，RTM)向执行端设备下发控制指令数据包。 [0081] 消息队列遥测传输协议和无线传输管理协议相结合实现远程操控端设备对执行端设备进行的实时远程操控，还可以获取执行端设备状态和故障信息，并对设备状态和故障信息等数据进行上报。预设时长可以为100ms(毫秒)，也可以根据实际应用场景设置，在此不做限定。 [0082] 消息队列遥测传输协议主要负责处理执行端设备的告警状态上报、电池电量数据上报、操控端设备速度设置等相对高频的业务通信。无线传输管理协议主要处理执行端设备控制指令的传输。 [0083] 步骤S104：对控制指令进行解析，以得到时间戳。 [0084] 在本发明实施例中，执行端设备解析控制指令数据包，得到的时间戳为控制指令对应的时间戳，以便于将控制指令的时间戳和当前时间进行对比，确定实际控制指令和当前时间的时间差，以确定出网络的延时状况。 [0085] 步骤S105：基于时间戳与当前时间的关系，执行控制指令。 [0086] 在本发明实施例中，时间戳和当前时间的关系反应了执行端设备采集画面和操控端下发指令之间的同步性，因此判断时间戳和当前时间的关系，并根据时间戳和当前时间的关系执行控制指令，以在通信同步性能好，延时低时，实时执行控制指令，在通信同步性能差，延时高时，不执行控制指令，以此保证执行端设备的安全性，并提高用户体验感。 [0087] 通过上述实施例，通过对控制指令进行解析得到与控制指令对应视频帧的时间戳，以根据该时间戳和当前时间的关系，确定出当前网络状态，从而灵活调整执行端设备在不同网络状态下对控制指令的执行，避免在网络卡顿时执行端设备执行控制指令出现失控的情况，以增加执行端设备的安全性。 [0088] 在本发明实施例中，操控端设备和执行端设备进行音视频通话时，为了保证执行端设备采集的画面和操控端设备发送的控制指令的同步性，往往根据网络环境调整视频的分辨率。 [0089] 根据网络环境上行下行的速率，将网络环境划分为四档，分别对应最高清1920*1080、高清1280*720、流畅640*480以及标清320*240四档分辨率。预先设置网络环境和分辨率的档位之间的对应关系，获取当前网络环境参数，并根据当前网络环境参数实时调整执行端设备的分辨率，以提高执行端设备采集的画面和操控端设备发送的控制指令的同步性。 [0090] 步骤S202：对视频帧进行解析，得到视频帧对应的时间戳。 [0091] 步骤S203：将视频帧展示给用户，并接收用户发送的用户指令。 [0092] 在本发明实施例中，执行端设备将采集的画面实时传送给操控端设备，操控端设备显示执行端采集的画面，当用户看到执行端设备采集的画面后，下发用户指令，操控端设备接收用户发送的用户指令。 [0093] 步骤S204：对用户指令加入时间戳，生成控制指令。 [0094] 步骤S205：将控制指令发送至执行端设备，以使执行端设备对控制指令进行解析得到时间戳后，基于时间戳与当前时间的关系，执行控制指令。 [0095] 在本发明实施例中，操控端设备响应用户界面操作，每隔预设时长通过信令通道下发指令给执行端设备上位机，执行端设备获取指令后转发给执行端设备下位机，以遥控小车为例，执行端设备下位机根据底盘控制算法下发转速给伺服电机，控制遥控小车移动。各通信环节的读写线程均采用共享内存的方式，保持远程通信的高效。 [0096] 通过上述实施例，通过对控制指令进行解析得到与控制指令对应视频帧的时间戳，以根据该时间戳和当前时间的关系，确定出当前网络状态，从而灵活调整执行端设备在不同网络状态下对控制指令的执行，避免在网络卡顿时执行端设备执行控制指令出现失控的情况，以增加执行端设备的安全性。 [0097] 具体地，在一实施例中，上述步骤S101中对执行端设备采集到的视频帧进行解析，得到视频帧对应的时间戳，具体包括如下步骤： [0098] 步骤S1011：获取执行端设备采集到的视频，并提取执行端设备采集到的视频的视频帧。 [0099] 步骤S1012：获取当前系统时间，并将当前系统时间确定为该视频帧的时间戳。 [0100] 在本发明实施例中，当执行端设备上电后，执行端设备通过消息队列遥测传输协议和EMQX消息服务器建立长连接，并将执行端设备的在线状态同步给业务服务器。操控端设备在获得可连接状态后，通过连接按钮发起连接请求，通过业务服务器与对应设备建立连接，包括实时通信的音视频通话连接和消息队列遥测传输协议、EMQX消息服务器等通信长连接，操控端设备和执行端设备建立音视频通话场景，双方可以通过摄像头看到对方，获取执行端设备采集的视频。确定视频帧的时间戳，可以通过获取当前系统时间，并将当前系统时间确定为该视频帧的时间戳，能够便于将视频帧的时间戳和当前时间进行对比，以判断出实际操控的时间和视频帧的时间之间的差值，以确定网络环境。 [0101] 其中，EMQX消息服务器是一种跨平台服务器，EMQX消息服务器的具体实现方式可参照现有技术中EMQX消息服务器的实现方式方式，此处不再赘述。 [0102] 从执行端设备采集的视频中提取视频帧可以通过FFmpeg提取视频帧，还可以通过OpenCV提取视频帧，其中，提取视频的视频帧为现有技术，此处不再赘述。 [0103] 具体地，在一实施例中，上述步骤S105中基于时间戳和当前时间的关系，执行控制指令，具体包括如下步骤： [0104] 步骤S1051：计算时间戳和当前时间的差值。 [0105] 步骤S1052：判断差值是否大于预设差值阈值。 [0106] 步骤S1053：若差值大于预设差值阈值，则停止执行控制指令。 [0107] 步骤S1054：若差值小于或等于预设差值阈值，则继续执行控制指令。 [0108] 在本发明实施例中，在实际应用中，执行端设备或操控端设备均存在网络上行速率低，下行速率高，或者下行速率低，上行速率高的情况，导致执行端设备的音视频画面传输和操控端设备的控制指令在上行和下行网络状态无法实时保持同步。 [0109] 当执行端设备上行速率低时，传输到操控端设备的画面会产生较高延时，而下行速率高时，下行网络通畅，执行端设备还在执行控制指令，而用户在实际操控过程中，并不会因为视频的卡顿而停止下发用户指令，导致在视频卡顿的情况下，执行端设备还在高速运转而发生不可控风险的可能性。 [0110] 因此，为了保证执行端设备执行操控指令和操控端设备看到的画面具有同步性，在差值大于预设差值阈值时，执行端设备停止执行控制指令，以保证在网络不同步的情况下执行端设备不运转，从而减小执行端设备发生危险的可能性。其中，预设差值阈值可以为1s(秒)，也可以根据实际应用场景设置对应的预设差值阈值，此处不作限定。 [0111] 具体地，在一实施例中，本发明实施例提供的设备的远程控制方法还包括如下步骤： [0112] 步骤S1055：在预设时长内没有接收到新的可执行的控制指令时，控制执行端设备停止运行。 [0113] 在本发明实施例中，若执行端设备在预设时长内没有接收到可执行的控制指令时，停止运行，使得在执行端设备和操控端设备连接不稳定时，减小执行端设备出现失控的可能性，以此保证执行端设备操作的可靠性。 [0114] 其中，预设时长可以为200ms(毫秒)，也可以根据实际应用场景设置，此处不作限定。 [0115] 具体地，在一实施例中，上述步骤S205中将控制指令发送至执行端设备，具体包括如下步骤： [0116] 步骤S2051：对用户指令进行解析。 [0117] 步骤S2052：判断用户指令的指令类型是否为停止运行指令。 [0118] 步骤S2053：在用户指令的指令类型为停止运行指令时，将控制指令连续多次发送至执行端设备。 [0119] 在本发明实施例中，当用户接收到执行端采集的画面时，下发用户指令，操控端设备接收用户指令，并对用户指令进行解析，以判断用户指令的类型是否为停止运行指令。若用户指令的类型为停止运行指令，为了保证停止运行指令不被丢弃，操控端设备连续多次发送停止运行指令，以确保执行端设备能够接收到停止运行指令，从而减小执行端设备发生失控的可能性。 [0120] 基于相同发明构思，本发明还提供一种设备的远程控制装置，应用于如图1所示的执行端设备，如图4所示，该设备的远程控制装置包括： [0121] 第一得到模块101，用于对执行端设备采集到的视频帧进行解析，得到视频帧对应的时间戳。具体内容参见上述步骤S101的相关描述，在此不再进行赘述。 [0122] 第一发送模块102，用于对视频帧加入时间戳，并将带有时间戳的视频帧发送至操控端设备。具体内容参见上述步骤S102的相关描述，在此不再进行赘述。 [0123] 第一接收模块103，用于接收操控端设备发送的控制指令，控制指令为操控端设备对用户在操控端设备基于视频帧发送的用户指令加入时间戳得到的。具体内容参见上述步骤S103的相关描述，在此不再进行赘述。 [0124] 解析模块104，用于对控制指令进行解析，以得到时间戳。具体内容参见上述步骤S104的相关描述，在此不再进行赘述。 [0125] 执行模块105，用于基于时间戳与当前时间的关系，执行控制指令。具体内容参见上述步骤S105的相关描述，在此不再进行赘述。 [0126] 通过上述各个组成部分的协同合作，本发明实施例提供的设备的远程控制装置，通过对控制指令进行解析得到与控制指令对应视频帧的时间戳，以根据该时间戳和当前时间的关系，确定出当前网络状态，从而灵活调整执行端设备在不同网络状态下对控制指令的执行，避免在网络卡顿时执行端设备执行控制指令出现失控的情况，以增加执行端设备的安全性。 [0127] 上述各个模块的更进一步的功能描述与上述对应方法实施例相同，在此不再赘述。 [0128] 本发明实施例还提供了一种设备的远程控制装置，应用于如图1所示的操控端设备，如图5所示，该设备的远程控制装置包括： [0129] 第二接收模块201，用于接收执行端设备发送的视频帧。具体内容参见上述步骤S201的相关描述，在此不再进行赘述。 [0130] 第二得到模块202，用于对视频帧进行解析，得到视频帧对应的时间戳。具体内容参见上述步骤S202的相关描述，在此不再进行赘述。 [0131] 第三接收模块203，用于将视频帧展示给用户，并接收用户发送的用户指令。具体内容参见上述步骤S203的相关描述，在此不再进行赘述。 [0132] 生成模块204，用于对用户指令加入时间戳，生成控制指令。具体内容参见上述步骤S204的相关描述，在此不再进行赘述。 [0133] 第二发送模块205，用于将控制指令发送至执行端设备，以使执行端设备对控制指令进行解析得到时间戳后，基于时间戳与当前时间的关系，执行控制指令。具体内容参见上述步骤S205的相关描述，在此不再进行赘述。 [0134] 通过上述各个组成部分的协同合作，本发明实施例提供的设备的远程控制装置，通过对控制指令进行解析得到与控制指令对应视频帧的时间戳，以根据该时间戳和当前时间的关系，确定出当前网络状态，从而灵活调整执行端设备在不同网络状态下对控制指令的执行，避免在网络卡顿时执行端设备执行控制指令出现失控的情况，以增加执行端设备的安全性。 [0135] 上述基于设备的远程控制装置的具体限定以及有益效果可以参见上文中对于设备的远程控制方法的限定，在此不再赘述。上述各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。 [0136] 图6是根据一示例性实施例提出的一种计算机设备的硬件结构示意图。如图6所示，该设备包括一个或多个处理器1310以及存储器1320，存储器1320包括持久内存、易失内存和硬盘，图6中以一个处理器1310为例。该设备还可以包括：输入装置1330和输出装置1340。 [0137] 处理器1310、存储器1320、输入装置1330和输出装置1340可以通过总线或者其他方式连接，图6中以通过总线连接为例。 [0138] 处理器1310可以为中央处理器(Central Processing Unit，CPU)。处理器1310还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field‑Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。 [0139] 存储器1320作为一种非暂态计算机可读存储介质，包括持久内存、易失内存和硬盘，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的业务管理方法对应的程序指令/模块。处理器1310通过运行存储在存储器1320中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述任意一种设备的远程控制方法。 [0140] 存储器1320可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据、需要使用的数据等。此外，存储器1320可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器1320可选包括相对于处理器1310远程设置的存储器，这些远程存储器可以通过网络连接至数据处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。 [0141] 输入装置1330可接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键信号输入。输出装置1340可包括显示屏等显示设备。 [0142] 一个或者多个模块存储在存储器1320中，当被一个或者多个处理器1310执行时，执行如图1所示的设备的远程控制方法。 [0143] 上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，具体可参见如图1所示的实施例中的相关描述。 [0144] 本发明实施例还提供了一种非暂态计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的方法。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read‑Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid‑State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。 [0145] 显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。 |
||
QQ群二维码
意见反馈
意见反馈