终端装置、UI扩展方法和UI扩展程序专利检索-动作捕捉视听技术与设备专利检索查询-专利查询网

终端装置、UI扩展方法和UI扩展程序

阅读：407发布：2020-05-11

专利汇可以提供终端装置、UI扩展方法和UI扩展程序专利检索，专利查询，专利分析的服务。并且部件指定部(2211)使Web浏览器(22)显示能够指定与构成Web页的部件的显示方式相关的设定内容的部件指定GUI，并经由部件指定GUI受理与显示方式相关的设定内容的指定。此外，动作指定部(2212)使Web浏览器(22)显示能够指定与构成Web页的部件的动作相关的设定内容的动作指定GUI，并经由动作指定GUI受理与动作相关的设定内容的指定。此外，扩展部(222)根据由部件指定部(2211)受理到的与显示方式相关的设定内容和由动作指定部(2212)受理到的与动作相关的设定内容来扩展Web页，使Web浏览器(22)显示该扩展后的Web页。，下面是终端装置、UI扩展方法和UI扩展程序专利的具体信息内容。

权利要求

1.一种终端装置，其特征在于，具有：
部件指定部，其使终端装置显示能够指定与构成Web页的部件的显示方式相关的设定内容的第1GUI，并经由所述第1GUI受理与所述显示方式相关的设定内容的指定，GUI为图形用户接口；
动作指定部，其使终端装置显示能够指定与构成所述Web页的部件的动作相关的设定内容的第2GUI，并经由所述第2GUI受理与所述动作相关的设定内容的指定；以及扩展部，其根据由所述部件指定部受理到的与所述显示方式相关的设定内容和由所述动作指定部受理到的与所述动作相关的设定内容来扩展所述Web页，使终端装置显示该扩展后的Web页。
2.根据权利要求1所述的终端装置，其特征在于，
所述部件指定部使Web浏览器显示所述第1GUI，
所述动作指定部使Web浏览器显示所述第2GUI，
所述扩展部使Web浏览器显示所述Web页。
3.根据权利要求1所述的终端装置，其特征在于，
该终端装置还具有附加部，该附加部针对从所述终端装置向Web服务器发送的请求消息取得从所述Web服务器向所述终端装置发送的响应消息，将使所述终端装置执行所述部件指定部和所述动作指定部的功能的程序的代码附加于所述响应消息。
4.根据权利要求1所述的终端装置，其特征在于，
所述部件指定部以兼具所述第1GUI中的用户的交互式编辑操作的配置作业的背景信息的方式显示所述Web页或所述Web页的捕捉图像。
5.根据权利要求1所述的终端装置，其特征在于，
所述部件指定部受理与构成所述Web页的部件的位置、颜色、标签和注释相关的设定内容的指定。
6.根据权利要求1所述的终端装置，其特征在于，
所述动作指定部使能够通过组合与规定的逻辑对应的块来指定与所述动作相关的设定内容的GUI作为所述第2GUI显示。
7.一种UI扩展方法，通过终端装置执行，该UI为用户接口，该UI扩展方法的特征在于，包含以下工序：
部件指定工序，使终端装置显示能够指定与构成Web页的部件的显示方式相关的设定内容的第1GUI，并经由所述第1GUI受理与所述显示方式相关的设定内容的指定，GUI为图形用户接口；
动作指定工序，使终端装置显示能够指定与构成所述Web页的部件的动作相关的设定内容的第2GUI，并经由所述第2GUI受理与所述动作相关的设定内容的指定；以及扩展工序，根据通过所述部件指定工序受理到的与所述显示方式相关的设定内容和通过所述动作指定工序受理到的与所述动作相关的设定内容来扩展所述Web页，使终端装置显示该扩展后的Web页。
8.一种UI扩展程序，其用于使计算机作为权利要求1～6中的任意一项所述的终端装置进行工作。

说明书全文

终端装置、UI扩展方法和UI扩展程序

技术领域

[0001] 本发明涉及终端装置、UI扩展方法和UI扩展程序。

背景技术

[0002] 系统开发需要诸如需求定义、设计、编码、测试的作业，各作业通常花费较大的开发成本、时间。因此，以往，特别已知有用于容易地进行与用户接口(UI：User Interface)的扩展相关的作业。

[0003] 例如，已知有能够视觉上进行与UI的显示方式相关的设定和安装的综合开发环境(IDE：Integrated Development Environment)。此外，例如，已知有通过能够使用文本编辑等来編集的JSON形式、JavaScript(注册商标)语言记载扩展规则的方式(例如，参照非专利文献1)。

[0004] 现有技术文献

[0005] 非专利文献

[0006] 非特許文献1：西川健一、増田健、足立洋之、土川公雄、井上晃、丸山勉、「Webベースの業務システムのユーザインタフェース拡張方式」信学技報,vol.116,no.124,ICM2016-19,pp.63-68,2016年7月

[0007] 非特許文献2：Google Blockly、[online]、[平成29年7月5日検索]、インターネット(https://developers.google.com/blockly/)

[0008] 非专利文献3：John Maloney，Mitchel Resnick，Natalie Rusk，Brian Silverman，and Evelyn Eastmond"The Scratch Programming Language and Environment",ACM Transactions on Computing Education,Vol.10,No.4,Article 16,Pub.date:November 2010.

[0009] 非专利文献4：野末晴久、横瀬史拓、増田健、「クライアント自律操作エージェントにおけるGUI操作によるシナリオ生成手法」、2009年電子情報通信学会通信ソサイエティ大会B-14-16

[0010] 非专利文献5：堀田健太郎、西川健一、増田健、「クライアント自律操作エージェントの適用事例」、2009年電子情報通信学会通信ソサイエティ大会B-14-17

发明内容

[0011] 发明所要解决的课题

[0012] 但是，在使用现有技术进行与UI的扩展相关的作业的情况下，需要与编程相关的技能和知识。因此，现有技术中存在有时对于不具有与编程相关的技能和知识的人来说难以进行与UI的扩展相关的作业的问题。

[0013] 例如，在现有的IDE中，无法视觉上进行针对UI的事件的动作的安装，因此，在进行这样的动作的安装的情况下，需要基于通常的编程语言的记述。因此，对不具有编程技能的人来说，难以使用现有的IDE进行针对UI的事件的动作的安装。

[0014] 此外，例如，在使用非专利文献1所记载的技术进行扩展规则的编辑的情况下，至少需要与JSON形式、JavaScript语言相关的知识。因此，对于不具有与JSON形式、JavaScript语言相关的知识的人来说，难以使用非专利文献1所记载的技术进行扩展规则的编辑。

[0015] 用于解决问题的手段

[0016] 为了解决上述的课题，达成目的，本发明的终端装置的特征在于，具有：部件指定部，其使终端装置显示能够指定与构成Web页的部件的显示方式相关的设定内容的第1GUI(Graphical User Interface：图形用户接口)，并经由所述第1GUI受理与所述显示方式相关的设定内容的指定；动作指定部，其使终端装置显示能够指定与构成所述Web页的部件的动作相关的设定内容的第2GUI，并经由所述第2GUI受理与所述动作相关的设定内容的指定；扩展部，其根据由所述部件指定部受理到的与所述显示方式相关的设定内容和由所述动作指定部受理到的与所述动作相关的设定内容来扩展所述Web页，使终端装置显示该扩展后的Web页。

[0017] 发明效果

[0018] 根据本发明，不具有与编程相关的技能和知识的人也能够进行与UI的扩展相关的作业。附图说明

[0019] 图1是示出包含第1实施方式的终端装置的UI扩展系统的结构的一例的图。

[0020] 图2是示出第1实施方式的规则DB的数据结构的一例的图。

[0021] 图3是示出第1实施方式的部件指定GUI的一例的图。

[0022] 图4是示出第1实施方式的动作指定GUI的一例的图。

[0023] 图5是示出第1实施方式的扩展后的Web页的一例的图。

[0024] 图6是示出第1实施方式的附加处理的流程的流程图。

[0025] 图7是示出第1实施方式的部件指定装置的处理的流程的流程图。

[0026] 图8是示出第1实施方式的动作指定装置的处理的流程的流程图。

[0027] 图9是示出执行UI扩展程序的计算机的一例的图。

具体实施方式

[0028] 以下，根据附图详细地说明本申请的终端装置、UI扩展方法和UI扩展程序的实施方式。另外，本发明不受以下说明的实施方式限定。

[0029] [第1实施方式的结构]

[0030] 首先，使用图1，对第1实施方式的UI扩展系统和终端装置的结构进行说明。图1是示出包含第1实施方式的终端装置的UI扩展系统的结构的一例的图。如图1所示，UI扩展系统1具有Web服务器10和终端装置20。

[0031] 此外，终端装置20具有附加部21、Web浏览器22、规则DB(数据库)23、代理部24、编辑部221、扩展部222、部件指定部2211和动作指定部2212。终端装置20向Web服务器10发送包含URL等的请求消息，根据针对该请求消息从Web服务器10发送的响应消息，使Web浏览器22显示Web页。

[0032] 此外，附加部21、规则DB23和代理部24也可以设置于除了Web服务器10等的终端装置20以外的装置。特别是，附加部21和代理部24也可以设置于前向型或反向型代理服务器。此外，附加部21和代理部24也可以作为Web浏览器22的附加功能来安装。

[0033] 附加部21针对从终端装置20发送到Web服务器10的请求消息取得从Web服务器10发送到终端装置20的响应消息，将使终端装置20执行部件指定部2211和动作指定部2212的功能的程序的代码附加于响应消息。

[0034] 例如，附加部21将用能够在Web浏览器22中解释并执行的JavaScript等脚本语言记述的代码附加于所取得的响应消息的HTML的BODY部等，返回Web浏览器22。然后，Web浏览器22解释所附加的代码，执行编辑部221的功能。另外，编辑部221的功能中包含部件指定部2211和动作指定部2212的功能。

[0035] 规则DB23存储由编辑部221的各部件受理到的设定内容。另外，之后叙述设定内容。图2是示出第1实施方式的规则DB的数据结构的一例的图。

[0036] 如图2所示，规则DB23与URL相关联地存储各设定内容。此外，在规则DB23中，设定内容被划分为部件指定所包含的设定内容和动作指定所包含的设定内容。部件指定所包含的设定内容例如为元素、偏移、标签、背景颜色、前景颜色和注释。此外，动作指定所包含的设定内容例如为用脚本语言记述的程序的代码。这里，元素是指识别构成Web页的部件的信息。

[0037] 在图2的例子中，规则DB23分别存储“(100，150)”、“客户姓名”、”白色”、“黑色”、“用全角输入”，作为URL“https://example.net/moshikomi”的元素“textbox_02”的偏移、标签、背景颜色、前景颜色和注释。此外，在图2的例子中，规则DB23存储“function check_……”，作为表示URL“https://example.net/moshikomi”的元素“textbox_02”的动作的程序的代码。

[0038] 此外，在图2的例子中，规则DB23分别存储“(250，400)”、”登记”、”白色”、“黑色”、，作为URL“https://example.net/moshikomi”的元素“button_01”的偏移、标签、背景颜色和前景颜色。此外，在图2的例子中，规则DB23存储“function click_……”，作为表示URL“https://example.net/moshikomi”的元素“button_01”的动作的程序的代码。

[0039] 与附加部21同样，代理部24针对从终端装置20发送到Web服务器10的请求消息取得从Web服务器10发送到终端装置20的响应消息。而且，代理部24将使终端装置20执行扩展部222的功能的程序的代码附加于响应消息。此外，在请求消息所包含的URL与规则DB23所保存的URL一致的情况下，代理部24也可以将代码附加于响应消息。

[0040] 部件指定部2211使Web浏览器22显示能够指定与构成Web页的部件的显示方式相关的设定内容的部件指定GUI 2211a，并经由部件指定GUI 2211a受理与显示方式相关的设定内容的指定。另外，部件指定GUI 2211a为第1GUI的一例。

[0041] 图3是示出第1实施方式的部件指定GUI的一例的图。如图3所示，部件指定GUI 2211a为能够指定与各用户接口部件的显示方式相关的设定内容的GUI。部件指定部2211以兼具部件指定GUI 2211a中的用户的交互式编辑操作的配置作业的背景信息的方式显示Web页或Web页的捕捉图像。例如，部件指定部2211也可以将部件指定GUI 2211a显示在重叠到Web页或Web页的捕捉图像上的层上。

[0042] 具体而言，在图3的例子中，部件指定GUI 2211a的画面具有参考用面板2211b和设定用面板2211c。参考用面板2211b根据作为设定对象的已有的系统画面来生成。此外，设定用面板2211c为进行设定操作的编辑独自的设定用面板。在图3中，在参考用面板2211b上显示有将如“订单管理系统”的标题标签配置于上部的Web页。

[0043] 用户接口部件为文本框、按钮、复选框、标签等构成Web页的对象。此外，在以下的说明中，有时将用户接口部件简称作部件。

[0044] 部件指定部2211例如经由部件指定GUI 2211a受理与各部件的位置、颜色、标签和注释相关的设定内容的指定。如图3所示，能够从部件进行GUI 2211a执行按钮、文本、复选框这样的部件的种类的指定。此外，能够从部件指定GUI 2211a指定部件配置的原点、偏移的X和Y的数值、显示在标签上的文本、背景颜色、前景颜色等。

[0045] 这里，例如，以通过对部件指定GUI 2211a进行操作来追加部件的情况为例，对各设定内容进行说明。首先，在选择了“已有部件”作为部件配置模式(部件配置的原点)的情况下，所追加的部件的位置的偏移以已经配置在Web页上的部件的位置为原点。

[0046] 这里，“已有部件”的选择例如相当于在图3中突出显示有参考用面板2211b的“客户姓名”栏的文本字段的状态。该“已有部件”的选择能够通过如等处理方法来实现：在刚刚成为该状态之前，以用户直接点击Web页本身或该捕捉图像的该位置为契机，与在内部所保持的全部已有部件的矩形坐标进行比较。

[0047] 另一方面，在选择了“窗口区域”作为部件配置模式的情况下，所追加的部件的位置的偏移以窗口的左上、左下、右上或右下的角部为原点。此外，偏移是用像素数表示所追加的部件的、从原点起的在X轴方向和Y轴方向上的位置的偏移。

[0048] 部件指定部2211也可以使得能够指定已有部件或窗口框的中心点作为部件配置的原点。此外，部件指定部2211也可以使得能够指定已有部件或窗口框的边界矩形内的X方向和Y方向上的中心点作为部件配置的原点。并且，也可以使得能够指定按照规定比率的分割点，不仅指定中心点(例如，沿X方向的20％：80％的分割点等)。

[0049] 此外，部件指定部2211将预先登记在程序库中的、能够用HTML表现的部件的一览作为可追加的部件的种类显示在部件指定GUI 2211a上。然后，当选择了所显示的可追加的部件的种类中的1个时，将所选择的种类的部件显示在部件指定GUI 2211a上。这时，显示部件的位置为基于所指定的原点和偏移的位置。

[0050] 并且，当在设定用面板2211c上变更偏移设定时，立即反映到参考用面板2211b的显示中。此外，通过在参考用面板2211b上直接通过拖动鼠标移动并调整部件，将该偏移坐标值反映到设定用面板2211c的设定内容中。这样，通过提供双向的编辑单元，用户能够直观上/视觉上变更和确认配置。即，用户能够对部件指定GUI 2211a进行交互式编辑操作。这时，部件指定GUI 2211a中的Web页作为配置作业的背景信息来显示。

[0051] 这里，在采用Web页不是捕捉图像而处理实际上进行动作的实体的结构的情况下，也能够进行原始的Web页原来的动作。由此，即使以动态的Web页结构即标签选择、链接选择为契机而是否存在已有部件、位置坐标发生变化的页，用户也无需重新掌握部件指定GUI 2211a中的特殊的编辑操作。特殊的编辑操作例如是指重新捕捉的作业、保持有多个捕捉信息时的管理、从此处起作为编辑对象而可重新利用的捕捉的检索/选择等编辑操作。另一方面，当要实现这些特殊的编辑功能时，容易产生如下等技术上难以实现的问题：如果已有Web页的内部结构不是所预先设想的范围的内部结构，则无法准确地进行动作。通过以兼具配置作业的背景信息的方式显示实际的Web页，能够根本上避免这些技术问题。

[0052] 而且，当指定了各设定内容时，部件指定部2211将所指定的设定内容保存到规则DB23中。这时，在未将Web页的与已有部件相关的设定内容保存到规则DB23中的情况下，部件指定部2211将与该已有部件相关的设定内容全部保存到规则DB23中。此外，在通过部件指定GUI 2211a的操作变更了规则DB23所保存的设定内容的情况下，部件指定部2211对规则DB23进行更新。

[0053] 动作指定部2212使Web浏览器22显示能够指定与构成Web页的部件的动作相关的设定内容的动作指定GUI 2212a，并经由动作指定GUI 2212a受理与动作相关的设定内容的指定。另外，动作指定GUI 2212a为第2GUI的一例。

[0054] 图4是示出第1实施方式的动作指定GUI的一例的图。如图4所示，动作指定部2212使能够通过组合与规定的逻辑对应的块来指定与动作相关的设定内容的GUI作为动作指定GUI 2212a显示。另外，动作指定GUI 2212a也可以通过已有的可视化程序库来实现(例如，参照非专利文献2)。

[0055] 如图4所示，在动作指定GUI 2212a的项目显示面板2212b上显示有“分支/反复”、“数值”这样的表示逻辑的分类的项目。而且，当点击任意一个项目时，在动作指定GUI 2212a上显示有与该点击的项目所包含的逻辑对应的块。用户能够从显示在动作指定GUI
2212a上的块中选择任意的块，并配置于块配置面板2212c上。这时，用户能够通过鼠标的拖放进行块的配置。

[0056] 这里，作为与块对应的逻辑，“在帧XXX加载时开始处理”、“在假设XXX＝XXX的情况下，开始处理”、“结合字符串XXX与字符串XXX”、“将数值XXX与数值XXX相加”、“将字符串XXX输入到文本框XXX”等。另外，这里，XXX表示能够在配置块时设定任意的值。

[0057] 此外，动作指定部2212根据用户对与块对应的逻辑和块的配置来生成代码，将所生成的代码显示在动作指定GUI 2212a的右侧的代码显示面板2212d上。

[0058] 例如，动作指定部2212以在配置于下侧的块对应的逻辑之前执行与配置于上侧的块对应的逻辑的方式生成代码。此外，例如，在与规定的分支条件判定逻辑对应的块中存在以包含的方式配置的块的情况下，动作指定部2212以在满足分支条件的情况下执行与该以包含的方式配置的块对应的逻辑的方式生成代码。

[0059] 在动作指定对象的Web页的URL与规则DB23所保存的URL一致的情况下，动作指定部2212从规则DB23取得与该URL对应的动作指定的设定内容、即用脚本语言记述的程序的代码。然后，将用块的组合表示所取得的程序的代码的块显示在动作指定GUI 2212a上。此外，在新生成的情况下，动作指定部2212将用块的组合表示空的代码或设定为默认的程序的代码的块显示在动作指定GUI 2212a上。

[0060] 这里，当由用户进行块的组合时，动作指定部2212根据块的组合，生成例如用JavaScript记述的代码。然后，动作指定部2212将所生成的代码保存到规则DB23。

[0061] 此外，这时，动作指定部2212也可以将表示块的组合的规定形式的数据与代码一起保存到规则DB23中。这里，动作指定部2212能够使用按照XML形式、JSON形式等已有的标准保持将块视作对象时的关联、属性作为信息的一般变换方法，作为以规定的形式表示块的组合的方法。

[0062] 扩展部222根据由部件指定部2211受理到的与显示方式相关的设定内容和由动作指定部2212受理到的与动作相关的设定内容来扩展Web页，使Web浏览器22显示该扩展后的Web页。这里，扩展部222能够从规则DB23取得各设定内容。因此，在本实施方式中，能够在不对Web页的提供源即Web服务器10施加变更的情况下，进行UI的扩展。因此，根据本实施方式，消除在对已有的系统施加变更时产生的、无法使变更后的系统复原这样的问题。并且，可通过与已有系统的每个使用部门的期望对应的本地化、与使用用户的技能或要面对的工作场景等相对应的改善等，减轻在UI变化增大时产生的系统改造费用的上升和中长期的维持管理的负担。

[0063] 图5是示出第1实施方式的扩展后的Web页的一例的图。扩展部222使Web浏览器22显示扩展后的Web页300。此外，扩展部222在扩展后的Web页300上显示标注有标签“客户代码”的文本框301和自动输入按钮302。

[0064] 文本框301和自动输入按钮302为通过部件指定部2211追加并通过动作指定部2212设定了动作的部件。即，通过扩展部222在扩展后的Web页300的HTML的BODY部中附加有表示文本框301的元素、表示自动输入按钮302的元素和在对自动输入按钮302进行了操作时执行的程序的代码。

[0065] 当在将值输入到文本框301的状态下点击了自动输入按钮302时，Web浏览器22根据所附加的代码，执行自动输入处理。这里，以客户代码为关键词的顾客信息存储到Web浏览器22可参考的规定的DB中。此外，顾客信息中包含汉字姓名、片假名、邮件住址、电话号码、邮政编码和住址等。

[0066] 例如，在自动输入处理中，Web浏览器22从以客户代码“V001”为关键词的DB取得顾客信息，将所取得的顾客信息输入到各文本框。例如，Web浏览器22在标注有标签“客户姓名”的文本框中输入“電電太郎”，在标注有标签“客户姓名(注音假名)”的文本框中输入“デンデンタロウ”，在标注有标签“邮件住址”的文本框中输入“XXX@XXX”，在标注有标签“电话号码”的文本框中输入“XX-XXXX-XXXX”，在标注有标签“邮政编码”的文本框中输入“XXX―XXXX”，在标注有标签“住址”的文本框中输入“XX県XX市XXX”。

[0067] 这里，假设准备有与如“当点击了按钮XXX时，开始处理”的逻辑对应的第1块和与如“将字符串XXX输入到文本框XXX”的逻辑对应的第2块，作为能够在动作指定GUI 2212a中使用的块。另外，假设能够在XXX中分别设定不同的任意的值。这时，用户通过经由动作指定GUI 2212a将指定了自动输入按钮的1个第1块与指定了各文本框的多个第2块进行组合，能够指定上述的自动输入处理。

[0068] 此外，能够通过动作指定部2212设定的处理不限于上述的自动输入处理。例如，动作指定部2212也可以准备与如“调用可选择日期的下拉菜单”的逻辑或如“调用可选择日期的日历”的逻辑对应的块。在该情况下，用户能够设定经由动作指定GUI 2212a将所选择的日期输入到文本框的处理。

[0069] [第1实施方式的处理]

[0070] 使用图6，对附加处理进行说明。图6是示出第1实施方式的附加处理的流程的流程图。如图6所示，首先，终端装置20在由用户指定了URL时(步骤S101)，将针对指定URL的GET请求发送到Web服务器10(步骤S102)。这里，附加部21等待至来自Web服务器10的响应消息到达终端装置20(步骤S103：否)。

[0071] 然后，当来自Web服务器10的响应消息到达终端装置20时(步骤S103：是)，附加部21将编辑部221附加于响应消息(步骤S104)，返还给用户(步骤S105)。具体而言，附加部21将使终端装置20执行部件指定部2211和动作指定部2212的功能的程序的代码附加于响应消息，返还给用户进行操作的Web浏览器22。

[0072] 接着，使用图7，对部件指定处理进行说明。图7是示出第1实施方式的部件指定装置的处理的流程的流程图。如图7所示，首先，部件指定部2211经由部件指定GUI 2211a受理部件配置模式的选择(步骤S201)。例如，部件选择模式为“已有部件”或“窗口区域”。

[0073] 接着，部件指定部2211经由部件指定GUI 2211a受理原点的指定(步骤S202)。然后，部件指定部2211经由部件指定GUI 2211a受理从原点起的偏移的指定(步骤S203)。然后，部件指定部2211经由部件指定GUI 2211a受理要追加的部件的选择(步骤S204)。并且，部件指定部2211经由部件指定GUI 2211a受理部件的参数的指定(步骤S205)。

[0074] 这里，部件指定部2211将所追加的部件的各设定内容保存到规则DB23中(步骤S206)。并且，部件指定部2211将未保存的已有部件的设定内容保存到规则DB23中(步骤S207)。

[0075] 接着，使用图8，对动作指定处理进行说明。图8是示出第1实施方式的动作指定装置的处理的流程的流程图。如图8所示，首先，在将针对对象的Web页的URL的动作指定规则保存到规则DB23中的情况下，动作指定部2212从规则DB23加载该动作指定规则(步骤S301)。另外，动作指定规则例如为用规定的形式表示用脚本语言记述的代码与动作指定GUI 2212a中的块的组合的数据。

[0076] 这里，动作指定部2212经由动作指定GUI 2212a受理块的组合的指定(步骤S302)。然后，动作指定部2212根据受理到的块的组合，生成用脚本语言记述的程序的代码(步骤S303)。然后，将用规定的形式表示所生成的代码和块的组合的数据以URL为关键字保存到规则DB23中(步骤S304)。

[0077] [第1实施方式的效果]

[0078] 部件指定部2211使Web浏览器22显示能够指定与构成Web页的部件的显示方式相关的设定内容的部件指定GUI 2211a，并经由部件指定GUI 2211a受理与显示方式相关的设定内容的指定。此外，动作指定部2212使Web浏览器22显示能够指定与构成Web页的部件的动作相关的设定内容的动作指定GUI 2212a，并经由动作指定GUI 2212a受理与动作相关的设定内容的指定。此外，扩展部222根据由部件指定部2211受理到的与显示方式相关的设定内容和由动作指定部2212受理到的与动作相关的设定内容来扩展Web页，使Web浏览器22显示该扩展后的Web页。这样，在本实施方式中，能够针对显示方式和动作双方，经由GUI进行UI的扩展。因此，根据本实施方式，即使是不具有与编程相关的技能和知识的人，也能够进行与UI的扩展相关的作业。

[0079] 附加部21针对从终端装置20发送到Web服务器10的请求消息取得从Web服务器10发送到终端装置20的响应消息，将使终端装置20执行部件指定部2211和动作指定部2212的功能的程序的代码附加于响应消息。由此，能够在不变更提供Web页的系统的情况下，实现部件指定部2211和动作指定部2212的功能。此外，这时，能够无需用于使用编辑的新程序的安装。

[0080] 部件指定部2211以兼具部件指定GUI 2211a中的用户的交互式编辑操作的配置作业的背景信息的方式显示Web页或Web页的捕捉图像。由此，用户能够参考扩展前的UI并预先指定部件的显示方式的设定内容，因此，使作业高效，并且，能够无不舒适感地使用扩展后的UI。

[0081] 部件指定部2211受理与构成Web页的部件的位置、颜色、标签和注释相关的设定内容的指定。由此，如果是不伴随动作的追加、变更的UI的扩展，则用户能够使用部件指定GUI 2211a而不使用动作指定GUI 2212a来进行，因此，对用户来说，UI的扩展进一步变得容易。

[0082] 动作指定部2212使能够通过组合与规定的逻辑对应的块来指定与动作相关的设定内容的GUI作为动作指定GUI 2212a显示。由此，用户能够通过视觉的操作进行动作的追加、变更。此外，基于品质、安全性等观点，使得不将存在问题的逻辑预先作为块的功能提供，并且，假设在提供包含该存在问题的逻辑的功能的情况下，能够通过检查功能预先排除，以使无法输入如能够进行成为问题的使用方法的设定，因此，能够防止在扩展后的Web页中产生问题。

[0083] 另外，通过如本实施例那样将设定UI扩展的内容的编辑功能划分为与显示方式相关的设定和与部件动作相关的设定的2个侧面，能够提供分别独立地进行动作的编辑程序，因此，基于实际的业务运用的观点，存在以下的好处。

[0084] 例如，在进行使部件动作的设定专门用于特定的系统、业务区域的专用化、单独化的情况下，能够提供另一动作指定编辑程序，并根据需要改变与部件指定编辑的组合而区分使用。在实施例中，示出了对能够用JavaScript语言记述的内容直接进行成块化的形式的通用编辑，但是，通过提供能够记述专门用于业务区域(例如，设备管理系统、顾客管理系统等)的域名的语言(在UI扩展中提供的专用功能的设定)的编辑，能够实现用户容易理解的、高效的运用。作为已知的域名专用语言，存在机器人控制(参考URL：https://en.wikipedia.org/wiki/RoboBlockly)、3D建模(参考URL：https://makerscad.com/index.html#what)等，还已知多个其他事例。

[0085] 此外，第1GUI和第2GUI无需在相同终端上使用，不同的用户还能够从不同终端的不同Web浏览器上进行作业。并且，也无需同时打开2个GUI画面来使用，技术技能不同的用户也能够以不同的定时、频度使用。例如，擅长生成动作指定的逻辑的样本的少数高技能用户与应用对象系统相对应地按照1个月左右的频率提供或公开必要的逻辑，如果从事实际业务的多个操作用户能够在识别出必要性的当场根据实际的业务画面来适当地进行适当的UI扩展的GUI配置、详细设定(利用样本对最终规则进行定义)，则能够在现实的运用中获得较大的好处。

[0086] 另外，本发明中作为目的的给用户带来的好处为UI扩展系统，但是，在实际的业务场景中，也存在想简单地作为注释系统使用的较多期望。针对这样的用户需求，还能够采用如下等结合运用的最小限度的结构：仅提供部件指定部且不使用动作指定部，或者另行安装仅默认地提供极其简单的动作的动作指定部。通过对部件指定和配置指定在功能上进行分离，将来，能够在进行了共用功能(部件配置功能)的软件质量提高、实现方式的高度化时，通过多个解决方案同时享受这些优点。

[0087] [其他实施方式]

[0088] 在第1实施方式中，在规则DB23中保存URL本身，但是，例如，也可以在规则DB23中保存与URL的字符串匹配的正则表达式或经由GUI而由用户任意地与URL相关联的信息。由此，终端装置20能够将由编辑部221设定的设定内容用于类似的多个Web页的扩展。

[0089] [系统结构等]

[0090] 此外，图示的各装置的各结构要素是功能概念性的各结构要素，不一定需要如物理上所图示地构成。即，各装置的分散/合并的具体方式不限于图示，能够根据各种负荷和使用状况等，以任意的单位在功能或物理上分散/合并构成其全部或一部分。例如，终端装置能够使客户端应用程序显示而不使Web浏览器显示第1GUI和第2GUI中的任意一个或双方。在该情况下，需要安装用于使用编辑的新程序，但是，由于不存在与用户的对话功能中的Web浏览器上的限制，所以能够提高易用性。并且，在各装置中进行的各处理功能的全部或一部分能够通过CPU和由该CPU分析执行的程序来实现，或者作为基于有线逻辑的硬件来实现。

[0091] 此外，还能够手动地进行在本实施方式中所说明的各处理中的、作为自动地进行的处理而说明的处理的全部或一部分，或者，还能够通过公知的方法自动地进行作为手动地进行的处理而说明的处理的全部或一部分。此外，除非另外指定，否则可以任意地变更上述文档中、附图中所示的处理过程、控制过程、具体名称、包含各种数据或参数的信息。

[0092] [程序]

[0093] 作为一个实施方式，终端装置20能够通过将执行上述的UI扩展的UI扩展程序作为封装软件、在线软件安装在期望的计算机中来安装。例如，通过使信息处理装置执行上述的UI扩展程序，能够使信息处理装置作为终端装置20发挥功能。这里所说的信息处理装置中包含台式机或笔记本型个人计算机。此外，除此以外，在信息处理装置的范畴中还包含智能手机、移动电话机、PHS(Personal Handyphone System：个人手机系统)等移动体通信终端、以及PDA(Personal Digital Assistant：个人数字助理)等平板终端等。

[0094] 此外，终端装置20还能够作为设用户所使用的终端装置为客户端并向该客户端提供与上述的UI扩展相关的服务的UI扩展服务器装置来安装。例如，UI扩展服务器装置作为提供设请求消息为输入并设附加有编辑部的响应消息为输出的UI扩展服务的服务器装置来安装。该情况下，UI扩展服务器装置可以作为Web服务器来安装，也可以作为通过外包提供与上述的UI扩展相关的服务的云来安装。

[0095] 图9是示出执行UI扩展程序的计算机的一例的图。计算机1000例如具有存储器1010、CPU 1020。此外，计算机1000具有硬盘驱动器接口1030、盘驱动器接口1040、串行端口接口1050、视频适配器1060和网络接口1070。这些各部件通过总线1080连接。

[0096] 存储器1010包含ROM(Read Only Memory：随机存取存储器)1011和RAM(Random Access Memory：随机存取存储器)1012。ROM 1011存储例如BIOS(Basic Input Output System：基本输入输出系统)等引导程序。硬盘驱动器接口1030与硬盘驱动器1090连接。盘驱动器接口1040与盘驱动器1100连接。例如，磁盘、光盘等可装卸的存储介质插入到盘驱动器1100中。串行端口接口1050例如与鼠标1110、键盘1120连接。视频适配器1060例如与显示器1130连接。

[0097] 硬盘驱动器1090例如存储OS 1091、应用程序1092、程序模块1093和程序数据1094。即，规定终端装置20的各处理的程序被作为记述有可由计算机执行的代码的程序模块1093来安装。程序模块1093例如存储到硬盘驱动器1090中。例如，用于执行与终端装置20中的功能结构相同的处理的程序模块1093存储到硬盘驱动器1090中。另外，硬盘驱动器
1090也可以通过SSD代替。

[0098] 此外，在上述实施方式的处理中使用的设定数据作为程序数据1094存储到例如存储器1010、硬盘驱动器1090中。而且，CPU 1020根据需要将存储器1010、硬盘驱动器1090所存储的程序模块1093、程序数据1094读出到RAM 1012中并执行。

[0099] 另外，程序模块1093、程序数据1094不限于存储到硬盘驱动器1090的情况，例如也可以存储到可装卸的存储介质中，经由盘驱动器1100等被CPU 1020读出。或者，程序模块1093和程序数据1094也可以存储到经由网络(LAN(Local Area Network：局域网)、WAN(Wide Area Network：广域网)等)而连接的其它计算机中。而且，程序模块1093和程序数据
1094也可以从其它计算机中经由网络接口1070被CPU 1020读出。

[0100] 标号说明

[0101] 10：Web服务器；20：终端装置；21：附加部；22：Web浏览器；23：规则DB；24：代理部；221：编辑部；222：扩展部；2211：部件指定部；2211a：部件指定GUI；2212：动作指定部；
2212a：动作指定GUI。

标题	发布/更新时间	阅读量
一种液压支架与刮板输送机浮动连接机构姿态描述方法	2020-05-08	173
基于相似性度量的机械臂仿人运动示教方法	2020-05-12	780
基于5G通信的动作捕捉运动训练方法及系统	2020-05-08	797
一种运动捕捉传感器装置及其制造方法	2020-05-12	430
一种汽车电磁阀的电流响应时间测试装置及测试方法	2020-05-12	582
文件格式中样本分组用信号发送	2020-05-12	883
数据捕捉的智能飞行摇杆及其数据处理方法	2020-05-11	334
一种上肢姿态捕捉装置、系统和方法	2020-05-13	353
一种鱼类捕捉工具及应用该鱼类捕捉工具的捕鱼装置	2020-05-11	268
一种扳机动作捕捉装置	2020-05-08	880

终端装置、UI扩展方法和UI扩展程序

终端装置、UI扩展方法和UI扩展程序

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：