图中的手写识别的系统和方法专利检索-文本分类人工智能专利检索查询-专利查询网

图中的手写识别的系统和方法

阅读：1014发布：2020-11-09

专利汇可以提供图中的手写识别的系统和方法专利检索，专利查询，专利分析的服务。并且提供了一种用于在计算设备上手绘包括文本要素和非文本要素在内的图的系统，计算设备包括处理器以及用于在处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质，至少一个非暂时性计算机可读介质被配置为：使得在与计算设备相关联的显示设备上以交互式数字墨水显示多个输入图要素；根据每个图要素的类别和类型，将所述图要素中一个或多个图要素与所述图要素中其他一个或多个图要素相关联；以及基于接收到的与数字墨水的一个或多个交互，并且根据一个或多个关联，使得重新显示所述图要素。，下面是图中的手写识别的系统和方法专利的具体信息内容。

权利要求

1.一种用于在计算设备上手绘包括文本要素和非文本要素在内的图的系统，所述计算设备包括处理器和用于在所述处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质，所述至少一个非暂时性计算机可读介质被配置为：
使得在与所述计算设备相关联的显示设备上以交互式数字墨水显示多个输入图要素；
根据每个图要素的类别和类型，将所述图要素中一个或多个图要素与所述图要素中其他一个或多个图要素相关联；以及
基于接收到的与所述数字墨水的一个或多个交互，并且根据所述一个或多个关联，使得重新显示所述图要素。
2.根据权利要求1所述的系统，所述至少一个非暂时性计算机可读介质被配置为：
通过对所述手绘输入的笔划进行分类来识别每个图要素的类别。
3.根据权利要求2所述的系统，其中，基于所述输入的空间和时间信息来对笔划进行分组。
4.根据权利要求2或3所述的系统，其中，通过构建和测试笔划组的要素类型概率假设来对笔划进行分类。
5.根据权利要求1至4中任一项所述的系统，其中，所识别的类型包括文本和非文本。
6.根据权利要求1至5中任一项所述的系统，所述至少一个非暂时性计算机可读介质被配置为：
将分类的笔划解析到手写识别系统，以识别分类的笔划的图要素。
7.根据权利要求6所述的系统，所述至少一个非暂时性计算机可读介质被配置为：
基于所识别的图要素和所述图要素之间的位置关系，识别每个图要素的类型。
8.一种用于在计算设备上手绘包括文本要素和非文本要素在内的图的方法，所述计算设备包括处理器和用于在所述处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质，所述方法包括：
在与所述计算设备相关联的显示设备上以交互式数字墨水显示多个输入图要素；
根据每个图要素的类别和类型，将所述图要素中一个或多个图要素与所述图要素中其他一个或多个图要素相关联；以及
基于接收到的与所述数字墨水的一个或多个交互，并且根据所述一个或多个关联，重新显示所述图要素。
9.根据权利要求8所述的方法，包括：通过对所述手绘输入的笔划进行分类来识别每个图要素的类别。
10.根据权利要求9所述的方法，其中，基于所述输入的空间和时间信息来对笔划进行分组。
11.根据权利要求9或10所述的方法，其中，通过构建和测试笔划组的要素类型概率假设来对笔划进行分类。
12.根据权利要求8至11中任一项所述的方法，其中，所识别的类型包括文本和非文本。
13.根据权利要求8至12中任一项所述的方法，包括：将分类的笔划解析到手写识别系统，以识别分类的笔划的图要素。
14.根据权利要求13所述的方法，包括：基于所识别的图要素和所述图要素之间的位置关系，识别每个图要素的类型。
15.一种非暂时性计算机可读介质，其中体现有计算机可读程序代码，所述计算机可读程序代码适合于被执行以实现用于在计算设备上手绘包括文本要素和非文本要素在内的图的方法，所述计算设备包括处理器和用于在所述处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质，所述方法包括：
在与所述计算设备相关联的显示设备上以交互式数字墨水显示多个输入图要素；
根据每个图要素的类别和类型，将所述图要素中一个或多个图要素与所述图要素中其他一个或多个图要素相关联；以及
基于接收到的与所述数字墨水的一个或多个交互，并且根据所述一个或多个关联，重新显示所述图要素。
16.根据权利要求15所述的非暂时性计算机可读介质，所述方法包括：通过对所述手绘输入的笔画进行分类来识别每个图元素的类别。
17.根据权利要求16所述的非暂时性计算机可读介质，其中，基于所述输入的空间和时间信息来对笔划进行分组。
18.根据权利要求16或17所述的非暂时性计算机可读介质，其中，通过构建和测试针对笔划组的要素类型概率假设来对笔划进行分类。
19.根据权利要求15至18中任一项所述的非暂时性计算机可读介质，其中，所识别的类型包括文本和非文本。
20.根据权利要求15至19中任一项所述的非暂时性计算机可读介质，所述方法包括：将分类的笔划解析到手写识别系统，以识别分类的笔划的图要素。
21.根据权利要求20所述的非暂时性计算机可读介质，所述方法包括：基于所识别的图要素和所述图要素之间的位置关系，识别每个图要素的类型。

说明书全文

图中的手写识别的系统和方法

[0001] 相关申请的交叉引用

[0002] 本申请要求于2015年10月19日提交的欧洲申请No.15290271.4和于2015年12月1日提交的、要求欧洲申请No.15290271.4的优先权的美国申请No.14/955,155的优先权，其全部内容通过引用合并于此。

技术领域

[0003] 本公开总体涉及能够识别各种图形和文本的用户输入手写的计算设备接口的领域。具体地，本公开提供了用于检测和识别输入手写图要素以产生数字图文档的系统和方法。

背景技术

[0004] 计算设备在日常生活中不断变得越来越普遍。它们采取如下形式：台式计算机、膝上型计算机、平板计算机、混合式计算机(2合1)、电子书阅读器、移动电话、智能电话、可穿戴计算机(包括智能手表、智能眼镜/头戴设备)、全球定位系统(GPS)单元、企业数字助手(EDA)、个人数字助手(PDA)、游戏机等。此外，计算设备被包括到车辆和设备(比如，汽车、卡车、农场设备、制造设备、建筑环境控制(例如，照明、HVAC)以及家用和商用电器)中。

[0005] 计算设备通常由至少一个处理元件(比如，中央处理单元(CPU)、某种形式的存储器以及输出和输出设备)组成。各种计算设备及它们的后续使用需要各种接口和输入设备。一个这样的输入设备是触敏表面(比如，触摸屏或触摸板)，其中通过用户手指或工具(比如，笔或触写笔)和触敏表面之间的接触来接收用户输入。另一输入设备是感测用户在输入表面上做出的手势的输入表面。另一个输入设备是位置检测系统，其检测触摸或非触摸交互与非触摸物理或虚拟表面的相对位置。这些输入方法中的任何一种都可以普遍用于手写或手绘输入使用手写识别系统或方法来解释其输入的绘画和文本。

[0006] 在计算设备中手写识别的一个应用是创建在计算设备上手绘的、将被转换为排版版本的图。所述图是说明或示出布置和(各部分的)关系的图。图通常包括具有任意或特定含义的形状以及与这些形状有关系的文本。存在许多类型的图，如流程图、组织结构图、概念图、蜘蛛图、块/架构图、思维导图、框图、维恩图和金字塔。图1至图6中示出了可能的图的一些排版和手写示例的描绘。

[0007] 图1A和图1B分别示出了排版和手写的示例概念图10，其具有不同的形状，以不同的方式定义了图块或容器12以及连接或指定图块12之间的关系的不同类型的连接符14(例如，直线箭头、曲线箭头)。此外，在图1B中，容器12包含文本16。通常在概念图中，块之间的连接定义了由这些块中的文本定义的在概念上相关或从属的要素或主题。块之间的关系可以使用连接符上的标签来简述。块本身可以不存在于概念图中，而是可以由连接符来连接文本(例如，在不具有相关联的形状或容器的文本块中定义的)。

[0008] 图2A和图2B分别示出了排版和手写的示例思维导图20，其具有不同的形状，以不同的方式定义了图块或容器12、连接或指定图块12之间的关系的不同类型的连接符14(例如，直线、曲线)、以及到思维导图的某些特征或状态的路径18。此外，在图2B中，容器12和路径18具有相关联的文本16。通常在思维导图中，块之间的连接定义了从由这些块中的文本定义的中心要素或主题出发的可能的备选状态或关联构思，并且路径定义了由这些路径上的文本定义的每个备选状态的关键特征。块本身可以不存在于思维导图中，而是可以由连接符来连接文本(例如，在不具有相关联的形状或容器的文本块中定义的)。

[0009] 图3A和图3B分别示出了排版和手写的示例流程图30，其具有不同的形状，不同地定义了不同类型的图块或容器12(例如，椭圆形、矩形、菱形)和连接或指定图块12之间的关系的不同类型的连接符14(例如，直线箭头、曲线箭头、分支线)。此外，在图3B中，容器12包含文本16；文本也可以与连接符相关联。通常在流程图中，块之间的连接定义了由那些块中的文本定义的在程序上相关或从属的要素或步骤。块本身可以不存在于流程图中，而是可以由连接符来连接文本(例如，在不具有相关联的形状或容器的文本块中定义的)。

[0010] 图4A和图4B分别示出了排版和手写的示例组织结构图或树状图40，其具有不同的形状，不同地定义了图块或容器12以及连接或指定图块12之间的关系的不同类型的连接符14(例如，直线、曲线、分支线)。此外，在图4B中，容器12包含文本16。通常在组织结构图中，块之间的连接定义了由这些块中的文本定义的组织或团体的成员或功能的层次关系。块本身可以不存在于组织结构图中，而是可以由连接符来连接文本(例如，在不具有相关联的形状或容器的文本块中定义的)。

[0011] 图5A和图5B分别示出了排版和手写示例块/架构图50，其具有不同的形状，定义了具有嵌套关系的图块或容器12(例如，容器12在其它容器12内)、以及连接或指定图块12(含嵌套块)之间的关系的连接符14。此外，在图5B中，容器12和连接符具有相关联的文本16。通常在架构图中，嵌套块定义了设备或处理组件的布局或所有权(possession)，并且块之间的连接定义了由这些块中的文本定义的块之间的功能关系。

[0012] 图6A和图6B分别示出了排版和手写示例的蜘蛛图60，其具有不同的形状，定义了图块或容器12以及连接或指定图块12之间的关系的连接符14。此外，在图6B中，容器12和连接符具有相关联的文本16。通常在蜘蛛图中，块和/或文本之间的连接定义了从由文本定义的中心要素或主题出发的从属关系或状态。

[0013] 在图1至图6示出的图仅仅是示例，除了每种图类型所描绘的要素之外，图中还可以附加地或备选地出现其它要素或不同要素、或者所描绘的要素本身的不同类型或形式。此外，这些图类型的其它定义以及它们的组合也是可能的。将图中的形状和文本的基本组件(有容器或无容器的连接)进行组合的这些无数可能变型可能给在计算设备上精确识别作为手绘或手写内容的输入的这些要素带来问题。图具体用于教育和商业环境中，在该环境中，计算设备的用户例如在讲座或会议期间创建图以获得正在讨论的构思、问题或解决方案。图的另一常见用途是创建演示文稿或参考文档。通常通过用户启动计算设备上的手写绘图或草图应用来实现输入，手写绘图或草图应用在设备中本地地或者经由设备的通信链路远程地，接收并解释在触敏表面或由相对位置检测系统监控的表面上的手绘输入。

[0014] 通常，这种手写绘图应用在处理上述绘图的复杂性方面能力限制，并且通常约束用户采取不反映用户原始意图的行为或接受这样的妥协。因此，一些常规的手写绘图应用强制用户导航菜单以选择和绘制形状，并且插入与形状相关的文本。因此，用户无法自然或自由地绘制形状和连接符。其它一些常规的手写绘图应用依赖于用户绘制不同笔划的顺序，从而引导识别解释，符合所期望的行为。例如，用户可能需要先绘制两个块/框，然后才能够定义这些框之间的连接符，或者可能必须先绘制框然后再向其添加文本。然而，这对于用户来说是困难的，因为他们需要学习和实现所需的绘图/书写顺序，而如果不经常使用应用的话，可能需要重新学习，并且这种顺序是非直观的，由此导致不支持快速捕获图的能力。例如，用户可能希望随身携带便携式计算设备(例如，平板电脑)以准备演示，或者用户可能希望在计算设备(比如，具有触摸屏的膝上型电脑)上记下他们的老师在课堂上绘制的流程图，因此用户需要能够绘制包含混合型内容的清晰的图，而无需成为专用且难用的软件的专家。

[0015] 使手写绘图应用变得更智能，可以有助于支持用户。也就是说，应用能够区分不同的形状(例如，区分块和连接符)，并且能够区分形状和文本，从而使用户在创建图时更自由。例如，美国专利No.7,352,902描述了通过使用执行单词分组、书写/绘图分类和绘图分组的墨水解析器来将输入墨水中的书写与绘图区分开来。单词分组被描述为通过将笔划分组为单词、行和块的层次结构来执行。然而，如该专利中所述的，在这种分类期间将笔划分组成单词导致单词组中包括非文本笔划，这在例如单词组被发送到文本识别器时导致错误的文本识别。在单词分组之后，该专利描述了执行书写/绘图分类。这个处理被描述为包括对单词、空间和时间上下文特征的考虑；然而，这些特征被映射到模糊函数以用于分类，这意味着此时做出关于笔划属于文本还是绘画的绝对性判断可能导致错误分类。在分类之后，该专利描述了由图表检测器执行绘图分组，以基于空间关系将绘图笔划分组为独立对象。然而，这种分组的精确性受到分类结果的影响，从而可能形成不正确的对象。

[0016] 即使在常规的应用中，手绘形状和手写文字也能很好地被识别，给用户提供了适当的创建自由，但是在通常情况下，改变已绘制的图的能力(例如，编辑图的要素以添加、省略或替换要素，将图修改为演进的构思，转换图的类型等)受到如下限制：只能用于某些操作，以及只能用于排版版本的图(尤其是，在保持识别的关系(比如，连接的容器等)的情况下，操纵图要素的相对位置)，不能用于手写输入(所谓的数字墨水)；和/或需要将学习的手势或经由如上所述的菜单进行的选择。例如，美国专利No.8,014,607描述了推断模式协议，其允许对数字墨水直接执行某些编辑操作。然而，所描述的操作非常有限。此外，没有提供一种解决方案，其能够在保持识别的关系的情况下对数字墨水中的图要素的相对位置进行操纵。

[0017] 美国专利No.7,394,935描述了关于调整大小和重新定位操作的对数字墨水的相关操纵。然而，在这些操作中，仅仅根据操作来缩放数字墨水，这样的话将要求用户执行进一步交互以使数字墨水回到其原始绘制的尺寸，例如，移动容器远离其连接的容器会导致连接符在x和y两个维度上延伸，或者当连接符被调整大小或改变为不同形式(例如，直的变为弯的)时，通过重新计算对连接符的数字墨水进行近似的主干线(水平线和竖直方向)来“重排”连接符。这需要重新产生数字墨水，这可以通过在高曲率点(尖点)处的分割来对连接符墨水进行归一化来完成，如在相关美国专利No.7,324,691所述。因此，产生的被操纵的数字墨水可能与原始绘制的墨水大不相同，需要用户介入。发明内容

[0018] 在下文中描述的本公开的示例提供了用于在计算设备上通过手写输入来实现创建图的系统、方法和计算机程序产品。该计算机程序产品具有非暂时性计算机可读介质，非暂时性计算机可读介质体现有适合于被执行以实现方法的计算机可读程序代码。

[0019] 计算设备连接到具有输入表面的形式的输入设备。用户能够通过使用他或她的手指或工具(比如，触写笔或笔)向输入表面施加压力或在输入表面上做手势来提供输入。本系统和方法监测输入笔划。

[0020] 计算设备具有处理器以及用于在处理器的控制下检测和识别手写输入的至少一个应用。至少一个系统应用程序被配置为：使得在与计算设备相关联的显示设备上以交互式数字墨水显示多个输入图要素；根据每个图要素的类别和类型将所述图要素中的一个或多个图要素与所述图要素中其他一个或多个图要素相关联；以及基于接收到的与数字墨水的一个或多个交互并且根据一个或多个关联，使得重新显示所述图要素。

[0021] 所公开的系统和方法的另一方面提供了通过对手绘输入的笔划进行分类来识别每个图要素的类别。可以基于输入的空间和时间信息对笔划进行分组，并且可以通过构建和测试笔划组的要素类型概率假设来对笔划进行分类。所识别的类型包括文本和非文本。

[0022] 所公开的系统和方法的另一方面提供了将分类的笔划解析到手写识别系统以识别分类的笔划的图要素。

[0023] 所公开的系统和方法的另一方面提供了基于所识别的图要素和图要素之间的位置关系来识别每个图要素的类型。

[0024] 在一些实现中，本公开提供了一种用于在计算设备上手绘包括文本要素和非文本要素在内的图的系统。计算设备包括处理器以及用于在处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质。所述至少一个非暂时性计算机可读介质被配置为：使得在与计算设备相关联的显示设备上以交互式数字墨水显示多个输入图要素；根据每个图要素的类别和类型将所述图要素中的一个或多个图要素与所述图要素中其他一个或多个图要素相关联；以及基于接收到的与数字墨水的一个或多个交互并且根据一个或多个关联，使得重新显示所述图要素。

[0025] 至少一个非暂时性计算机可读介质可以被配置为通过对手绘输入的笔划进行分类来识别每个图要素的类别。

[0026] 可以基于输入的空间和时间信息来对笔划进行分组。

[0027] 可以通过构建和测试笔划组的要素类型概率假设来对笔划进行分类。

[0028] 所识别的类型可以包括文本和非文本。

[0029] 所述至少一个非暂时性计算机可读介质可以被配置为将分类的笔划解析到手写识别系统以识别分类的笔划的图要素。

[0030] 所述至少一个非暂时性计算机可读介质可以被配置为基于所识别的图要素和图要素之间的位置关系来识别每个图要素的类型。

[0031] 在一些实现中，提供了一种用于在计算设备上手绘包括文本要素和非文本要素在内的图的方法。计算设备包括处理器以及用于在处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质。所述方法包括：在与计算设备相关联的显示设备上以交互式数字墨水显示多个输入图要素；根据每个图要素的类别和类型将所述图要素中的一个或多个图要素与所述图要素中其他一个或多个图要素相关联；以及基于接收到的与数字墨水的一个或多个交互并且根据一个或多个关联，重新显示所述图要素。

[0032] 所述方法可以包括：通过对所述手绘输入的笔划进行分类来识别每个图要素的类别。

[0033] 可以基于输入的空间和时间信息来对笔划进行分组。

[0034] 可以通过构建和测试笔划组的要素类型概率假设来对笔划进行分类。

[0035] 所识别的类型可以包括文本和非文本。

[0036] 所述方法可以包括：将分类的笔划解析到手写识别系统，以识别分类的笔划的图要素。

[0037] 所述方法可以包括：基于所识别的图要素和所述图要素之间的位置关系，识别每个图要素的类型。

[0038] 在一些实现中，提供了一种其中体现有计算机可读程序代码的非暂时性计算机可读介质。所述计算机可读程序代码适用于被执行以实现用于在计算设备上手绘包括文本要素和非文本要素在内的图的方法。计算设备包括处理器以及用于在处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质。所述方法包括：在与计算设备相关联的显示设备上以交互式数字墨水显示多个输入图要素；根据每个图要素的类别和类型将所述图要素中的一个或多个图要素与所述图要素中其他一个或多个图要素相关联；以及基于接收到的与数字墨水的一个或多个交互并且根据一个或多个关联，重新显示所述图要素。

[0039] 所述方法可以包括：通过对所述手绘输入的笔划进行分类来识别每个图要素的类别。

[0040] 可以基于输入的空间和时间信息来对笔划进行分组。

[0041] 可以通过构建和测试笔划组的要素类型概率假设来对笔划进行分类。

[0042] 所识别的类型可以包括文本和非文本。

[0043] 所述方法可以包括：将分类的笔划解析到手写识别系统，以识别分类的笔划的图要素。

[0044] 所述方法可以包括：基于所识别的图要素和所述图要素之间的位置关系，识别每个图要素的类型。附图说明

[0045] 根据以下结合附图对本系统和方法的实施例的详细描述，将更全面地理解本系统和方法。在附图中，相似的附图标记表示相同的要素。附图中：

[0046] 图1A和图1B分别示出了排版和手写的示例概念图；

[0047] 图2A和图2B分别示出了排版和手写的示例思维导图；

[0048] 图3A和图3B分别示出了排版和手写的示例流程图；

[0049] 图4A和图4B分别示出了排版和手写的示例组织结构图；

[0050] 图5A和图5B分别示出了排版和手写的示例块/架构图；

[0051] 图6A和图6B分别示出了排版和手写的示例蜘蛛图；

[0052] 图7示出了根据本系统和方法的示例的计算设备的框图；

[0053] 图8示出了根据本系统和方法的示例的手写识别系统的框图；

[0054] 图9示出了图示根据本系统和方法的示例的图8的手写识别系统的细节的框图；

[0055] 图10A示出了示例的手绘图；

[0056] 图10B是示例非文本和文本消歧系统和方法的流程图；

[0057] 图11A和图11B分别示出了示例手写流程图的数字和排版的墨水呈现；

[0058] 图12示出了图11A的示例手写流程图的初始输入的数字墨水呈现；

[0059] 图13A到图22A示出了在图12的输入之后的示例手写流程图的顺序输入的数字墨水呈现；

[0060] 图13B至图22B示出了在图12的输入之后的示例手写流程图的先前输入的排版墨水呈现和顺序输入的数字墨水呈现；

[0061] 图23示出了在图22B的输入之后的示例手写流程图的先前输入的排版墨水呈现；

[0062] 图24A到图66A示出了在图22A的输入之后的示例手写流程图的顺序输入的数字墨水呈现；

[0063] 图24B至图66B示出了在图23的输入之后的示例手写流程图的先前输入的排版墨水呈现和顺序输入的数字墨水呈现；

[0064] 图67示出了图66B的另一输入的排版墨水呈现；

[0065] 图68A和图68B分别示出了数字墨水形状的选择和选择模式显示；

[0066] 图69A和图69B分别示出了数字墨水形状内的数字墨水文本的选择和选择模式显示；

[0067] 图70A和图70B分别示出了包含数字墨水文本在内的数字墨水形状的选择和选择模式显示；

[0068] 图71A和图71B分别示出了数字墨水形状和数字墨水文本的选择和选择模式显示；

[0069] 图72A和图72B分别示出了数字墨水形状、数字墨水文本和数字墨水涂鸦的选择和选择模式显示；

[0070] 图73A示出了通过连接符连接的框的手绘输入；

[0071] 图73B示出了在对每个框执行了移动操作之后的图73A的手绘输入；

[0072] 图73C是图73A的连接符的臂的放大视图；

[0073] 图73D是图73B的连接符的臂的放大视图；

[0074] 图73E示出了将图73C的臂缩放成长度与图73D的臂相似；

[0075] 图74A和图74B分别示出了在对形状要素进行移动操作之前和之后的示例手绘图；

[0076] 图75A和图75B分别示出了在对形状要素进行移动操作之前和之后的示例手绘图；

[0077] 图76A至图76E分别示出了在对连接符要素进行一系列移动操作之前和之后的示例手绘图；

[0078] 图77A和图77B分别示出了在对形状要素进行移动操作之前和之后的示例手绘图；

[0079] 图78A和图78B分别示出了示例手绘图的数字和排版墨水呈现；

[0080] 图79示出了具有相对于容器太大的文本的示例手绘图的数字墨水呈现；

[0081] 图80示出了自动调整容器大小以包含文本的图79的图的排版墨水呈现；

[0082] 图81示出了自动重排将要包含在容器中的文本的图79的图的排版墨水呈现；

[0083] 图82A示出了包含数字墨水文本在内的数字墨水形状的选择模式显示；

[0084] 图82B示出了图82A的选择的数字墨水形状的调整大小操作；

[0085] 图82C示出了取消选择图82B的调整大小后的数字墨水形状；

[0086] 图82D示出了包含附加数字墨水文本在内的图82C的调整大小后的数字墨水形状；

[0087] 图83A示出了图78A的示例手绘图的选择模式显示；

[0088] 图83B示出了图83A的选择的图的调整大小操作；

[0089] 图83C示出了取消选择图83B的调整大小后的图；

[0090] 图84A和图84B分别示出了具有包含文本的容器的示例手绘图的数字和排版墨水呈现；

[0091] 图84C和图84D分别示出了将文本添加到容器的图84A和图84B的图的数字和排版墨水呈现；

[0092] 图85A示出了包含数字墨水文本在内的数字墨水单元格的选择模式显示；

[0093] 图85B示出了图85A的选择的数字墨水单元格的调整大小操作；

[0094] 图86A示出了具有包含两个文本块的容器的示例手绘图的数字墨水呈现；

[0095] 图86B示出了具有第二文本块的选择模式显示的图86A的图；以及

[0096] 图86C示出了图86A的图的排版墨水呈现。

具体实施方式

[0097] 在以下详细描述中，以示例的方式阐述了大量的特定细节，以提供对相关教导的完全理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些细节的情况下实践本教导。在其它情况下，为了避免不必要地模糊本教导的方面，仅在相对较高的层面上描述了公知的方法、过程、组件和/或电路，而没有详细地描述。

[0098] 对于方向特征(比如，向上、向下、上方、下方、最低、最高、水平、竖直等)的引用和讨论是相对于如应用于在其上进行要被识别的输入的输入表面的笛卡儿坐标系进行的。此外，在查看附图时，诸如左和右之类术语是与读者的参照系有关的。此外，在本描述中使用的术语“文本”应被理解为包括在书面文本中使用的任何书面语言形式的所有字母数字字符及其字符串和常见的非字母数字字符(例如，符号)。此外，本描述中的术语“非文本”被理解为包括在非文本上下文中使用的自由形式的手写或手绘内容和呈现的文本和图像数据、以及非字母数字字符及其字符串、和字母数字字符及其字符串。此外，这些附图中所示的示例处于从左到右书写的语言环境中，因此对位置的任何引用都可以适用于具有不同方向格式的书面语言。

[0099] 本文中描述的各种技术通常涉及以保持输入的内容风格的同时允许将该内容转换为忠实的排版或美化版本的方式、在便携式和非便携式计算设备上捕获、处理和管理手绘和手写内容。本文中所述的系统和方法可以对经由连接到计算设备的或者计算设备中的输入表面(例如，触敏屏幕)、或经由连接到计算设备的输入设备(例如，数字笔或鼠标)、或经由由位置检测系统监控的实体或虚拟表面而输入到计算设备的用户的自然书写和绘画风格进行识别。尽管关于使用所谓的在线识别技术识别手写输入来描述了各种示例，但是应该理解的是，也可以应用其它形式的输入识别，比如识别图像而不是识别数字墨水的离线识别。本文中可互换地使用术语手绘和手写来定义用户通过使用他/她们的手直接在数字介质或数字连接的介质上操作或经由输入工具(比如，手持式触写笔)创建的数字内容。本文中使用术语“手”来提供对输入技术的简要描述，然而，使用用户身体的其它部位(比如，脚、嘴和眼)来进行相似输入也被包括在该定义中。

[0100] 图7示出了示例计算设备100的框图。计算设备可以是台式计算机、膝上型计算机、平板计算机、电子书阅读器、移动电话、智能电话、可穿戴计算机、数字手表、交互式白板、全球定位系统(GPS)单元、企业数字助理(EDA)、个人数字助理(PDA)、游戏机等。计算设备100包括如下组件：至少一个处理元件、某种形式的存储器、以及输入和/或输出(I/O)设备。这些组件通过例如连接器、线路、总线、电缆、缓冲器、电磁链路、网络、调制解调器、换能器、IR端口、天线或本领域普通技术人员已知的其它设备实现的输入和输出来彼此通信。

[0101] 计算设备100具有用于从计算设备输出数据(例如，图像、文本和视频)的至少一个显示器102。显示器102可以使用LCD、等离子体、LED、iOLED、CRT或本领域普通技术人员已知的为触敏的或非触敏的适当的技术。显示器102可以与至少一个输入表面104位于同一位置或与至少一个输入表面104远程连接。输入表面104可以采用如下技术来，以触敏表面或接近敏感表面形式接收用户输入：例如，电阻式、表面声波、电容式、红外网格、红外丙烯酸投影、光学成像、色散信号技术、声学脉冲识别或本领域普通技术人员已知的任何其它适当技术。输入表面104可以由清楚地标识其分界线的永久性的或视频产生的边界限定。输入表面104可以是由位置检测系统监控的非触敏表面。

[0102] 除输入表面104之外，计算设备100可以包括经由本地接口通信地耦接的一个或多个附加I/O设备(或外围设备)。附加I/O设备可以包括输入设备，例如键盘、鼠标、扫描仪、麦克风、触摸板、条形码读取器、激光读取器、射频设备读取器、或本领域普通技术人员已知的任何其它适当的技术。此外，I/O设备可以包括输出设备，例如打印机、条形码打印机或本领域普通技术人员已知的任何其它适当的技术。此外，I/O设备可以包括传送输入和输出两者的通信设备，例如调制器/解调器(调制解调器；用于访问另一设备、系统或网络)、射频(RF)收发机或其它收发机、电话接口、桥接器、路由器或本领域普通技术人员已知的任何其它适当技术。本地接口可以具有用于实现通信的附加元件，比如控制器、缓冲器(高速缓存)、驱动器、中继器和接收机，为了简单起见，省略了这些本领域技术人员熟知的元件。此外，本地接口可以包括地址、控制和/或数据连接，以实现其他计算机组件之间的适当通信。

[0103] 计算设备100还包括处理器106，处理器106是用于执行软件(尤其是存储器108中存储的软件)的硬件设备。处理器可以是任何定制的或商业上可获得的通用处理器、中央处理单元(CPU)、基于半导体的微处理器(微芯片或芯片组形式的)、宏处理器、微控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立硬件组件、状态机或被设计用于执行本领域普通技术人员已知的软件指令的任何组合。合适的商业上可获得的微处理器的示例如下：来自Hewlett-Packard公司的PA-RISC系列微处理器、来自Intel公司的80x86或Pentium系列微处理器、来自IBM的PowerPC微处理器、来自Sun Microsystems有限责任公司的Sparc微处理器、来自摩托罗拉公司的68xxx系列微处理器、DSP微处理器或ARM微处理器。

[0104] 存储器108可以包括如下项中的任何一个或组合：易失性存储元件(例如，随机存取存储器(RAM，比如DRAM、SRAM或SDRAM)和非易失性存储元件(例如，ROM、EPROM、闪存PROM、EEPROM、硬盘、磁盘或光盘、存储寄存器、CD-ROM、WORM、DVD、廉价磁盘冗余阵列(RAID)、另一直接存取存储设备(DASD))。此外，存储器108可以包含电子、磁性、光学和/或其它类型的存储介质。存储器108可以具有分布式架构，在该分布式架构中各种组件彼此远离，但仍可以由处理器106访问。此外，存储器108可以远离所述设备(比如，在服务器或基于云的系统处)，但是存储器108可以由计算设备100远程访问。存储器108与处理器106耦接，因此处理器106可以从存储器108读取信息和向存储器108写入信息。在备选方案中，存储器108可以集成到处理器106。在另一示例中，处理器106和存储器108两者均可以驻留在单个ASIC或其它集成电路中。

[0105] 存储器108中的软件包括操作系统110和应用112。可选地，软件还包括手写识别(HWR)系统114，手写识别(HWR)系统114可以各自包括一个或多个单独的计算机程序。这些程序中的每一个均具有用于实现逻辑功能的可执行指令的有序列表。操作系统110控制应用112(和HWR系统114)的执行。操作系统110可以是任何专有操作系统或商业上可获得的操作系统，例如WEBOS、 MAC和 LINUX和ANDROID。应该理解，也可以利用其它操作系统。

[0106] 应用112包括与对用户输入的手绘形状和手写文本进行的检测、管理和处理相关的一个或多个处理要素(稍后详细讨论)。软件还可以包括与手写识别、不同的功能或这两者相关的一个或多个其它应用。其它应用的一些示例包括文本编辑器、电话拨号器、联系人目录、即时消息发送设施、计算机辅助设计(CAD)程序、电子邮件程序、文字处理程序、web浏览器和相机。应用112和其它应用包括在制造时与计算设备100一起提供的程序，并且还可以包括在制造之后被上传到或下载到计算设备100中的程序。

[0107] 本系统和方法利用HWR系统114来识别对设备100的手写输入，包括手写文本和手绘形状(例如，非文本)具有支持和兼容能力的HWR系统114可以是源程序、可执行程序(目标代码)、脚本、应用或具有要被执行的指令集的任何其它实体。在源程序的情况下，所述程序需要经由可以包括或可以不包括在存储器内的编译器、汇编器、解释器等来翻译，以便结合操作系统正确地操作。此外，具有支持和兼容能力的手写识别系统可以被写为：(a)面向对象的编程语言，其具有数据和方法的类；(b)程序编程语言，其具有例程、子例程和/或函数，例如但不限于C、C++、Pascal、Basic、Fortran、Cobol、Perl、Java、Objective C、Swift和Ada；或(c)函数式编程语言，例如但不限于Hope、Rex、Common Lisp、Scheme、Clojure、Racket、Erlang、OCaml、Haskell、Prolog和F#。备选地，HWR系统114可以是用于与远离所述设备的(比如，服务器或基于云的系统处)、但是可以使用计算设备100的前述通信I/O设备通过通信链路由计算设备100来远程访问的手写识别系统进行通信的方法和系统。此外，应用112和HWR系统114可以一起操作访问存储器108中存储的并在存储器108中处理的信息，例如通过每个系统、或者被组合为单个应用。

[0108] 在输入表面104上输入的或经由输入表面104输入的笔划由处理器106处理为数字墨水。用户可以用手指或适合于与输入表面一起使用的某种工具(比如，笔或触写笔)来输入笔划。如果正在使用感测输入表面104附近的运动的技术，则用户还可以通过在输入表面104上方做出手势来输入笔划，或者利用计算设备100的外围设备(比如，鼠标或操纵杆)来输入笔划。笔划是至少由笔划开始位置、笔划终止位置和连接笔划开始位置和笔划终止位置的路径来表征的。由于不同的用户自然书写相同对象(例如，字母、形状或符号)会具有轻微变化，因此HWR系统适应可以在输入每个对象的同时对象被识别为正确或预期的对象的各种方式。

[0109] 图8是本地(即，加载在设备100上)或远程(即，可由设备100远程访问)形式的HWR系统114的示例的示意图。HWR系统114包括诸如预处理116、识别118和输出120之类的阶段。预处理阶段116处理数字墨水，以在识别阶段118期间实现更高的精确度并减少处理时间。
该预处理可以包括：通过应用大小归一化和/或诸如B样条逼近的方法来对连接笔划开始位置和笔划终止位置的路径进行归一化，以平滑输入。然后，将预处理后的笔划传送到识别阶段118，识别阶段118处理该预处理后的笔划以识别由此形成的对象。然后，将被识别的对象输出120到存储器108和显示器102，作为数字墨水或者手写要素/字符和手绘形状的排版墨水版本。

[0110] 识别阶段118可以包括不同的处理要素或专家。图9是示出了识别阶段118的示意细节的图8的示例的示意图。示出了分割专家122、识别专家124和语言专家126这三个专家，这三个专家通过动态编程进行协作以产生输出120。

[0111] 分割专家122定义不同的方式来将输入笔划分割成各个要素假设(例如，字母数字字符和数学运算符、文本字符、独特的形状或子表达式)，以便形成表示(例如，词语、数学公式或形状组)。例如，分割专家122可以通过对原始输入的连贯笔划进行分组来形成要素假设以获得分割图，在该分割图中每个节点与至少一个要素假设相对应，并且要素之间的邻接约束由节点连接处理。备选地，分割专家122可以针对不同的输入类型(比如，文本、绘画、表格、图表、方程式和音乐符号)而采用单独的专家。

[0112] 识别专家124提供由分类器128提取的特征的分类，并且针对分割图的每个节点输出具有可能性或识别分数的要素候选项列表。存在可以用于解决该识别任务的许多类型的分类器，例如支持向量机、隐马尔可夫模型或神经网络(比如，多层感知器、深度卷积或递归神经网络)。选择取决于任务所需的复杂度、精确度和速度。

[0113] 语言专家126使用语言模型(例如，语法或语义)为分割图中的不同路径产生语言学含义。专家126根据语言学信息130来检查由其它专家建议的候选项。语言学信息130可以包括词典、正则表达式等。语言专家126旨在找到最优识别路径。在一个示例中，语言专家126通过探索语言模型(比如，表示语言学信息130的内容的最终状态自动机(决定论FSA))来实现该目的。除了词典约束之外，语言专家126可以使用统计信息建模来确定给定的要素序列出现在指定语言中或者被特定用户使用的频度如何，以评估分段图的给定路径的解释的语言学似然性。

[0114] 由本系统和方法提供的应用112允许用户(比如，学生、学术和工作专业人员)创建手写图，并且使用HWR系统114如实地识别那些图，而与所创建的图的类型(例如，流程图、组织架构图、概念图、蜘蛛图、块/架构图、思维导图、框图、维恩图和金字塔)无关。该列表是非穷尽的，其它类型或非类型的图也是可能的。例如，图1B、图2B、图3B、图4B、图5B和图6B中所示的手绘图的不同要素可以分别被识别，并且还识别这些要素之间的任何空间和上下文关系，而不考虑图的类型。如前所述，这些图表要素包括形状和文本要素。形状或绘画要素是定义线性或非线性配置的图形或几何形态的要素，包括容器、连接符和自由形式的绘画。文本要素是包含文本字符、并且包括文本块和针对文本块和形状要素的标签在内的要素。文本块和标签都可以包含沿一条或多条竖直线提供的和/或作为带有编号/项目符号的列表而提供的一个或多个字符、单词、句子或段落的文本。文本块可以被容器包含(内部文本块)，也可以设置在容器外部(外部文本块)。外部文本块可以与图的容器或其它要素无关，也可以与某些其它图要素直接相关。

[0115] 此外，由本系统和方法提供的应用112允许用户手绘这种形状和文本，而不需要为了正确识别的任何预定的或所需的绘画顺序。本系统和方法的手写识别允许用户像在纸上那样绘制他们想到的内容(自由地，而不会被技术拖慢)，同时受益于数字工具的能力。示例使用包括：

[0116] 创建：对图形和文本进行高级识别并区分，允许用户画出形状和书写文本，而无需选择或使用预指派的工具、在模式之间切换和缩放到特定区域，

[0117] 编辑：对形状特征和点进行识别使得能够为了给新想法创建空间而移动和操作形状、改变连接或形状类型、以及处理编辑手势，并且对文本特征和点进行识别使得能够处理编辑手势和定义文本布局，

[0118] 搜索：用户可以利用他们的图中包含的信息来搜索文档，

[0119] 排版：当创建图时，可以向用户提供选项以用于立即识别反馈，

[0120] 导入和导出：对形状特征和点以及文本进行识别，使得能够使用合适的数据模型来从处理和演示工具导入对象和向处理和演示工具导出所创建的文档。

[0121] 稍后详细描述本系统和方法的这些和其它特征。

[0122] 对手绘图要素的精确内容识别由应用112通过对手绘形状和手写文本的准确和有效区分来实现。此外，由应用112来提供对特征(比如，形状中的颜色填充)的快速和精确识别和提供，应用112维持关于由HWR系统114识别出的识别的形状类型(例如，矩形、圆形等)的信息，而不仅仅维持在手写识别处理期间使用的、构成形状的笔划的分段信息(例如，应用112不将矩形存储为被分解为4条线)。

[0123] 此外，应用112提供手绘图的如实呈现。这是因为，数字墨水被保持(例如，在存储器108中)，所识别的形状没有被归一化，从而维持用户定义的手绘形状的大小、方位和形式，并且形状和文本能够被识别，不管是基于图的其它要素被重新识别还是被分类。也就是说，应用112将单独手绘的形状(例如，没有相关联的连接符或文本)识别为闭合的形状或多边形(例如，圆形、椭圆形、正方形、矩形和菱形)和开放形状(例如，可以在绘画多边形时被组合的线)。应用112还识别围绕一个或多个现有的非文本和/或文本要素手绘的形状(例如，创建轮廓或容器)、创建容器、以及在其它非文本和文本要素之间创建连接符。也识别包含其它形状(包括其它容器)或文本(例如，通过采用要素的自动分组)在内的容器。应用112还识别单独手写(例如，没有轮廓或容器)的文本、在现有形状内(例如，在容器内)的文本、以及在其它要素附近的文本。也识别包含单行文本(一个或若干个单词)或多行文本(有或没有回车、编号列表、项目符号点等)在内的文本要素。应用112还允许将文本直接写入形状中，而不需要来自用户的明确动作或使用特定工具来触发专用输入方法。还可以使用非手写技术(例如，使用连接到计算设备的键盘)来输入文本。

[0124] 在编辑时，可以对数字墨水和排版墨水执行手写操作(比如，覆写、擦除和布局控制)。例如，覆写包括将形状从一种类型或形式改变为另一种类型或形式(例如，通过在矩形上手绘椭圆来将矩形变为椭圆形)、在连接符上添加装饰、以及围绕文本创建形状。可以对形状和文本使用已知的手写手势(例如，划掉或删去手势)来执行擦除。可以执行布局控制来移动形状和调整形状大小，将图形和文本彼此对齐或将图形和文本彼此分配。通过本系统和方法使用的消歧处理来增强对这些操作中的至少一些以及其它操作的检测。现在来描述消歧处理。

[0125] 本系统和方法自动检测并区分形状和文本的不同手写对象的输入，使得由HWR系统114用合适的识别技术处理这些输入，例如，使用形状语言模型来处理检测到的形状的笔划，并且使用文本语言模型来处理检测到的文本的笔划。然而，应该注意的是，由于许多手写形状和文本字符可以共享共同的特征(例如，圆形和字母“o”、箭头和字母“v”)，用户具有使用应用112的用户接口(UI)来校正错误的区分决定的能力。

[0126] 消歧处理允许识别包含文本和非文本(即，形状)的混合内容在内的手写输入，并且自动地(例如，即时(on-the-fly)地)或根据需要将这样的手写输入转换为美化的数字墨水和排版墨水。数字墨水通过使手写输入成为数字图像格式而形成。美化(数字)墨水通过使数字墨水比原始手写显得更整齐划一、同时保持相似的式样或观感而形成。排版墨水通过将数字墨水转换成排版或字体化(fontified)的图像格式而形成。美化的排版墨水通过使排版墨水在输入位置和样式上发生改变而形成。HWR系统114的预处理阶段116被配置为执行消歧处理。预处理器116通过将数字墨水的要素分类为不同的类别或种类(非文本(即，形状)、文本、以及形状和文本的混合)来做到这一点。然后，将分类后的数字墨水解析到识别器118，以根据分类进行合适的识别处理。

[0127] 例如，当处理被分类为文本的数字墨水时，识别器118采用分割专家122来分割文本的各个笔划以确定分割图，采用识别专家124来使用分类器128向图节点指派概率，并且采用语言专家126使用例如语言学信息130的基于文本的词典来找到通过图的最佳路径。另一方面，当处理被分类为非文本的数字墨水时，识别器118采用分割专家122来分割形状的笔划，采用识别专家124使用分类器128确定分割图，以及采用语言专家126使用语言学信息130的基于形状的词典找到通过图的最佳路径。混合内容分类被视为“垃圾”，并且在被解析到识别器118时将导致低概率的识别。被解析到识别器、并且由于例如不属于词典形状而不被识别的形状被视为涂鸦，这是无法识别的内容(稍后介绍)。

[0128] 图10A示出了示例手绘图1000。类似于背景技术中描述的示例图，图1000具有形状要素和文本要素，所述形状要素和文本要素包括不同类型的图块或容器(矩形和圆形)、连接或指定图块之间的关系的不同类型的连接符(直箭头和弯曲箭头)、在容器内的不同构成要素(包括单个单词、符号和多个单词)的文本。

[0129] 图10B是现在参照示例手绘图1000描述的示例消歧系统和方法的流程图。在步骤1处，消歧器116接收图1000的手绘输入的笔划，例如笔划S1至S10。

[0130] 在步骤2处，使用空间和时间考虑因素将笔划分组，以建立哪些笔划可能属于图1000的非文本或文本要素的假设。空间考虑因素包括笔划之间的距离、笔划的几何图形、笔划的重叠、以及笔划的相对位置。例如，笔划S1和S2彼此靠近，笔划S1和S2围绕笔划S3到S89，笔划S10重叠在笔划S9的一端上。时间考虑因素包括笔划输入的时间顺序。例如，笔划具有S1、S2、S9、S10、S3、S4、S5、S7、S6和S8的时间顺序。使用组合的空间和时间考虑因素为每个笔划分组提供概率分数。概率分数可以是分别针对文本、非文本和垃圾这三个类别的三个概率分数的向量。高概率分数表示该笔划组可能属于与该分数相关联的类别的一个对象，低概率分数表示该笔划组可能属于分开的对象或至少不属于与该分数相关联的类别的一个对象，在高概率分数和低概率分数之间的分数表示分类的相对似然性。通过这种方式，在此步骤处取到低或非常低的概率分数的组被丢弃，从而不会不必要地构建假设以用于下一步处的测试，由此优化了处理。这种评分定义了假设的“粗”分类，以筛除那些不应该被测试的分类。备选地，可以针对笔划的每个系统组的每个分类来构建假设，其中笔划的分类是对取得最高分数的类别执行的。

[0131] 空间和时间信息也用于构建假设本身。例如，对于包含笔划S1和S2在内的第一组以及包含笔划S3至S8在内的第二组，因为空间信息是第一组围绕第二组，并且时间信息是第一组的笔划是按时间顺序输入的，第二组的笔划也是按时间顺序输入的，因此第一假设被构建为第一组属于一个对象，因为第一组包含其它要素，第二假设被构建为第二组术语一个对象，因为第二组被包含在另一要素中，第三假设被构建为第一组和第二组属于不同的对象。第三假设不仅仅是第一假设和第二假设的组合，因为第三假设并不排除第一组或第二组本身具有多于一个的对象。

[0132] 对于笔划S1至S10的示例，下面的其它组具有高概率分数，因此假设被构建为：

[0133] S3和S4；因为它们是按时间顺序排列的，并且S4比S5更靠近S3，

[0134] S5至S8；因为它们是按时间顺序排列的，

[0135] S2和S9；因为它们是按时间顺序排列的并且在空间上靠近，

[0136] S9和S10；因为它们是按时间顺序排列的，并且S10重叠在S9的一端上。

[0137] 另一方面，具有中间概率分数(例如，既不是可能也不是不可能)、由此可能用于构建假设的组包含笔划S1和S9，因为笔划S1和S9的空间范围上接近但不是特别靠近，但笔划S1和S9在时间上靠近，具有低概率分数、由此可能不用于构建假设的组包含笔划S1和S10，因为笔划S1和S10在空间上远离，它们之间存在许多其它笔划，以及具有非常低的概率分数、由此不用于构建假设的组包含笔划S5和S10，因为笔划S5和S10在空间上和时间上都远离。

[0138] 在步骤3处，提取所构建的假设的每个笔划组的特征。例如，考虑形状和文本语言模型来提取这些特征，所述形状和文本语言模型可以是例如由识别器118实现的或者作为存储器108中存储的预处理器116的一部分而单独提供的那些模型。这些特征包括间隔距离、笔划内的方向的改变、重叠、笔划图案的方向、相对几何范围、组合的相对位置和时间顺序、曲率、线性和环形。该列表并非穷尽的，并且本系统和方法提取了大约100个不同的特征，因为提取的特征数量越多，整体分类的精确度就越高。

[0139] 例如，对于上述第一组，笔划S1的提取的特征包括两个大的方向改变、三个大致线性的分段和部分闭合的构形，笔划S2的提取的特征包括单个方向，大致是线性的，并且笔划S1和S2的提取的相对特征包括S2的水平范围在S1的水平范围内，并且S2大致与S1的两个竖直分段的端部对齐。对于上述第二组，所有笔划的提取的相对特征包括具有一些位置上延迟的笔划(例如，可以表示字符“t”的横或者字符“i”的点)的大致单向笔划图案，笔划S5和S6的提取的相对特征包括重叠，笔划S5到S8的提取的相对特征包括S6和S8在位置上与笔划S5和S7时间顺序错乱，笔划S7的提取的特征包括许多方向变化(例如，这可以表示潦草的文本)。

[0140] 在步骤4中，通过基于收集到的全部信息测试假设将笔划分类为文本、非文本和垃圾，收集到的全部信息包括在这些假设内的笔划组的提取特征以及这些组内的笔划的空间和时间信息，该空间和时间信息用于为每个假设组提供概率分数，该概率分数为分别针对文本、非文本和垃圾这三个类别的三个概率分数的向量。例如，对于上述第一假设和第二假设，上述提取的特征和空间和时间信息导致第一组相比于文本和垃圾的其它分类具有更高的非文本概率分数，并且第二组相比于非文本和垃圾的其它分类具有更高的文本概率分数。可以针对每个笔划进行概率分数的分析，使得包含某个笔划的所有假设/组的概率分数向量被组合以提供该笔划为文本或非文本的总概率。这个评分定义了每个笔划的“细”分类以用于识别。

[0141] 在步骤5处，将分类结果解析到识别器，以便由适当的识别模块对笔划进行手写识别。

[0142] 此外，采用简单启发法的其它消歧技术可以用于补充和增加上述技术。这些技术包括例如阈值、书写速度和笔划之间的时间。消歧系统和方法可以对已经输入的手写执行，或者在进行手写输入时逐步地执行。对于逐步执行，分类置信度所需的概率分数可以被设置为高于非逐步执行的情况，从而提供在识别之前输入对象的全部笔划的时间。备选地，可以基于新的输入重新识别先前识别的对象，从而形成新的分组和假设，但是需要注意的是，不要不合需要地增加处理复杂度和时间(例如，重新测试所有先前识别的要素)或导致在创建或编辑图时发生令人烦乱的重新识别。例如，测试在新输入的笔划之前输入的全部识别的笔划(即，按照时间顺序)，可以迅速导致过度处理，这会影响识别速度，从而不利地影响应用112的用户体验。通过限制对某些笔划的重新分类，例如，基于时间顺序仅测试有限数量的先前输入的笔划(例如，一个至约五个笔划)，或者仅测试在空间上靠近新输入的笔划的、有可能形成新分组的先前识别的笔划，或者仅测试当对这些笔划进行分类时与当前输入的笔划属于相同类型(即，文本或非文本)的识别的笔划，这些非有益效果可以被最小化，同时还提供对(由于新的输入)可能改变的要素的良好识别。

[0143] 因此，本系统和方法的非文本/文本区分与背景技术中提到的先前技术不同之处在于：包含非文本和文本笔划在内的任何组被赋予低分类分数，因此不被解析到识别器；在识别之前不执行绝对分类，而是建立和测试假设；以及被分段的笔划本身不被分类为属于非文本以便重新形成为可检测的形状，而是针对形状识别来分类和测试笔划组。结果，本系统和方法不会遭受可能的错误的文本和形状识别以及先前技术的错误分类。

[0144] 因此，本系统的文本/非文本消歧器116能够识别形状和文本、以及文本内的文本行、被定义为文本行的连贯集合的段落、被定义为具有初始项目符号或编号的竖直文本行集合的带有项目符号和带有编号的列表、被定义为包含文本的一组单元格的表格、带下划线的文本等。此外，消歧器116能够识别图的布局，包括形状和位于形状内的文本、位于表格单元格内的文本和单个文本块的对齐。此外，消歧器116能够识别校正后的文本，包括被定义为在一段文本或形状上做出的涂写线的涂掉(scratch-out)、被定义为在一段文本上做出的单条线的删除线(strikethrough)、以及被定义为在一段文本上做出的一对交叉线的叉掉(cross-out)。此外，消歧器116能够提供美化信息，因此可以调整不同要素的识别位置和大小，以允许以更整齐划一的形式输出识别的数字墨水。

[0145] 现在参照图的示例手写输入来描绘根据本系统和方法的应用112的操作和特征。图11A描绘了使用应用112在计算设备100的输入表面104上输入的手写流程图1100的数字墨水呈现，图11B描绘了在HWR系统114进行识别处理之后的排版墨水形式的流程图1100。类似于背景技术中描述的示例图，图1100具有形状要素和文本要素，这些要素包括：不同类型的图块或容器12(椭圆形、圆形和菱形)；以及连接或指定图块12之间的关系的不同类型的连接符14(直箭头、弯曲箭头、头部开口的箭头和头部闭合的箭头)；在一些容器12内的、在一些容器12外的、与一些容器12相关联的、以及与一些连接符14相关联的文本16。

[0146] 现在参照图12至图67来描述本系统和方法的应用112检测和识别图1100的手写要素、并且以数字墨水形式和排版墨水形式来显示所识别和认出的要素的方式。图12至图67以逐步方式示出了计算设备100的界面104，所述界面104具有根据用户利用例如他们的手指或触写笔向应用112输入的手绘输入而呈现的数字墨水和排版墨水(在HWR系统114进行消歧和识别之后)。

[0147] 在图13至图22和图24至图66中的每一个呈现在“A”版本示例和“B”版本示例中，其中，在“A”版本示例中，不对手绘输入自动执行排版，使得输入被显示为(未美化或美化的)数字墨水，并且在“B”版本示例中，对手绘输入执行逐步排版，使得输入首先被显示为数字墨水，然后被显示为排版墨水。也就是说，本系统和方法的识别处理可以在接收手写输入时以逐步方式执行，或者可以作为对已输入内容的批处理来执行。在后一种情况下，应用112能够通过用户的选择(例如，通过UI菜单、按钮或手势的执行)来配置，以随着逐步识别的进行而呈现排版(或美化)墨水，如图13至图22和图24至图66的“B”版本示例中所描绘的。在前一种情况下，数字(或美化)墨水的显示被保持，直到用户选择执行(美化或)排版为止，如图13至图22和图24至图66的“A”版本示例中所描绘的。

[0148] 在图12中，手绘形状1100被显示为数字墨水形状1101a。形状1101是由单个连续笔划手绘而成的，其被检测为非文本，并且被识别为椭圆形或卵形。当被识别为闭合形状时，可以通过特定的呈现(例如，数字墨水形状中的填色)向用户提供视觉反馈(在其他情况下，如果不使用逐步排版，则仅当进行排版时才可以确定)。

[0149] 在图13A中，在数字墨水椭圆形1101a内输入的手写文本1102被显示为数字墨水文本1102a。在图13B中，图12的识别结果被显示为排版椭圆形1101b，并且手绘椭圆形1101的尺寸被维持，并且在椭圆形1101内输入的手写文本1102被显示为排版椭圆形1101b内的数字墨水文本1102a。文本1102被检测为文本并被识别为单词“Ideation”，并且由于输入1101和1102的相对位置和特性，椭圆形1101被识别为包含所识别的单词1102的容器。容器和其包含的文本彼此相关联，以便对这些要素之一执行的一些动作会使得另一要素有反应。例如，当用户选择并移动容器时，所包含的文本将随容器一起移动，并且当用户选择并放大或添加文本时，调整容器的大小以容纳更大的文本大小或块。稍后将更详细地描述这样的操作。

[0150] 在图14A中，在椭圆形容器1101a下方输入的手绘形状1103被显示为数字墨水形状1103a。在图14B中，图13B的识别结果被显示为排版椭圆形容器1102b内的排版单词1102b，并且手写单词1102的尺寸和与椭圆形1101的间隔被维持，并且在排版椭圆形容器1101b下方输入的手绘形状1103被显示为数字墨水形状1103a。形状1103是是两个笔划手绘而成的，由于形状1103的特性(即，线的一端切开三角形的一条边和相对的点)，分组的笔划被检测为非文本并被识别为头部闭合的箭头。箭头被定义为由在一个或两个开口的(例如，V形的)或闭合的(例如，三角形的)“箭头头部”处终止的直的或弯曲的“主干”而形成。此时，由于输入1101和1103的相对位置(例如，应用112使用预先设置的空间间隔阈值，其中线性形状的端部与非线性形状的间隔低于该阈值表示连接关系的高似然性；空间阈值可以被定义为笔划的平均点或重心之间的、以像素为单位的距离，例如，设置为大约5个像素至大约100个像素)和特性(例如，箭头一端接近或邻接容器表示连接关系的高似然性；接近被定义为与空间阈值类似的距离范围)，箭头1103可以被识别为椭圆形1101的连接符。

[0151] 备选地，可以推迟该识别，直到输入另一连接形状(即，与箭头的另一端邻接的形状)为止。另外备选地或者附加地，可以向箭头1103指派作为连接符的特定概率，使得例如当输入了连接形状时或者当用户选择并移动容器1101时，快速地做出识别决定，从而所识别的连接符1103随容器1101一起移动。稍后将更详细地描述这样的操作。当被识别为连接符时，可以向用户提供视觉反馈(例如，连接符的连接端上的简短动画或数字和排版墨水的呈现)，使得连接符端部“接触”连接符所连接到的形状的边界。

[0152] 在图15A中，在连接符1104a下方输入的手绘形状1104被显示为数字墨水形状1104a。在图15B中，图14B的识别结果被显示为排版连接符箭头1103b，并且手绘箭头1103的近端重新定位在排版椭圆形1103b的边界上，以提供所识别的连接符状态的视觉反馈，并且维持手绘箭头1103的远端与排版椭圆形1101的距离，并且在连接符1103下方输入的手绘形状1104被显示为数字墨水形状1104a。形状1104是由单个连续笔划手绘而成的，被检测为非文本，被识别为菱形，并且由于输入1103和1104的相对位置和/或特性，形状1104被识别为其一个点连接到连接符1103。如上所述，该识别可以用于决定连接符1103的识别。连接符
1103的排版箭头头部可以呈现为大小与手绘箭头头部相似，或者可以使用随连接符的尺寸(例如，以像素为单位定义的长度、宽度或墨水重量)进行缩放(例如，相称的)的标准箭头头部。

[0153] 在图34A中，在菱形1119a内输入的手写文本1124被显示为数字墨水文本1124a。在图16B中，图15B的识别结果被显示为排版菱形1104b，并且手绘菱形1104的尺寸被维持，并且将上面的点重新定位在排版连接符1103b的(相对)近端处，并且在菱形1104内输入的手写文本1105被显示为在排版菱形1104b内的数字墨水文本1105a。文本1105被检测为文本并被识别为符号“？”，并且由于输入1104和1105的相对位置和特性，菱形1105被识别为包含所识别的符号1105在内的容器。

[0154] 在图17A中，在菱形1104a的左侧输入的手写文本1106被显示为数字墨水文本1106a。在图17B中，图16B的识别结果被显示为排版符号1105b，并且手绘符号1105的尺寸和与菱形1104的间隔被维持，并在排版菱形1104b的左侧输入的手写文本1106被显示为数字墨水文本1106a。文本1106被检测为文本并被识别为单词“No Go”。此时，由于文本1106和容器1104的相对位置，文本1106被识别为与容器1104相关联(例如，应用112使用预先设置的和可重新设置的空间间隔阈值，其中所检测的文本和非文本的几何特征(比如，文本和非文本块的平均中心或重心(由文本和非文本的x空间范围和y空间范围定义)、块的相邻或相同位置(例如，顶部)边界)的间隔低于该阈值表示相关联的对象(比如，多个相关联的形状、多个相关联的文本块、以及相关联的形状和文本块)的高似然性。所识别的关联意味着如果用户选择并移动或编辑(例如，调整大小)要素1104或1106中的一个要素，则通过相对移动或编辑影响另一要素。稍后将更详细地描述这样的操作。

[0155] 在图18A中，在单词1106a下方、从菱形1104a的另一点起输入的手绘形状1107被显示为数字墨水形状1107a。在图18B中，图17B的识别结果被显示为排版单词1106b，并且手绘单词1106的尺寸和相对于菱形1104的位置被维持，并且在排版单词1106b下方以及从排版菱形1104b的另一点输入的手绘形状1107被显示为数字墨水形状1107a。形状1107是由两个笔划手绘而成的；由于形状1107的特性，分组的笔划被检测为非文本并被识别为头部闭合的箭头。此时，如箭头1103那样，箭头1107可以被识别为菱形1104的连接符。此外，此时，由于输入1106和1107的相对位置(通过如上所述的预先设置的间隔阈值来确定)和/或特性(例如，单词位于箭头上方)，箭头1107可以被进一步识别为与单词1106相关联，使得文本1106被定义为连接符1107的标签。

[0156] 所识别的这种关联可以用于使容器1104和单词1106分离，例如，因为文本1106与连接符1108的相对间隔小于文本1106与容器1104的相对间隔，和/或因为与附近的其他形状类型相比，不被包含的文本(即，文本不被形状围绕)被认为更可能与附近的连接符相关联。备选地或附加地，箭头1107和单词1106可以被指派彼此相关联的特定概率，使得例如在用户选择和调整箭头的大小时快速做出识别决定，从而移动单词1106以保持单词1106相对于箭头1107的相对位置。稍后将更详细地描述这样的操作。

[0157] 在图19A中，在连接符1107a左侧输入的手绘形状1108被显示为数字墨水形状1108a。在图19B中，图18B的识别结果被显示为排版连接符箭头1107b，并且手绘箭头1107的近端重新定位在排版菱形1104b的点上，手绘箭头1107的远端与菱形1104相距的距离以及手绘箭头1107与相关联的单词1106相距的距离被维持，并且在排版连接符1107b的左侧输入的手绘形状1108被显示为数字墨水形状1108a。形状1108是由单个连续笔划手绘而成的，被检测为非文本，被识别为圆形，并且由于输入1107和1108的相对位置和特性，形状1108被识别为其边界与连接符1107连接。如上面所讨论的，该识别结果可以用于决定或确认箭头
1107的连接符状态。请注意，由于圆形与字母“o”的相似性，圆形1108可能容易被检测为文本而不是非文本。如之前所讨论的，通过消歧器116所采用的、由于形状1107和1108的相对位置(以及可能的时间输入)而对形状1107和1108进行分组和概率评分、或者通过向用户提供的校正机制来避免这样的问题。

[0158] 在图20A中，在圆形1108a的左侧输入的手写文本1109被显示为数字墨水文本1109a。在图20B中，图19B的识别结果被显示为排版圆形1108b，并且手绘圆形1108的尺寸被维持，并且近侧边界点重新定位在排版连接符1107b的(相对)近端处，并且在排版圆形
1108b的左侧输入的手写文本1109被显示为数字墨水文本1109a。文本1109被检测为文本，并被识别为单词“Stop”。此时，由于文本1106和形状1108的相对位置，文本1106可能被识别为与形状1108相关联，在这点上与图17中的容器1104和单词1106类似，并且因此文本1109被定义为容器1108的标签。

[0159] 在图21A中，在形状1101a和1104a的右侧输入的、从菱形1104a的另一点到椭圆形1101a的边界上的另一点的手绘形状1110被显示为数字墨水形状1110a。在图21B中，图20B的识别结果被显示为排版单词1109b，并且手绘单词1109的尺寸和手绘单词1109与排版圆形1108b的相对位置被维持，并且在排版形状1101b和1104b的右侧输入的、从排版菱形
1104b的另一点到排版椭圆形1101b的边界上的另一点的手绘形状1110被显示为数字墨水形状1110a。形状1110是由单个连续笔划手绘而成的，被检测为非文本，并且由于形状1110的特性被识别为弯曲线。此时，因为该线的端部分别邻接容器1101和1104，因此弯曲线1110被识别为连接这些容器的连接符。该识别结果是在没有诸如箭头头部之类的连接符要素的情况下做出的。这是因为，无论是否存在这样的连接符要素，都满足上述用于连接符检测的高似然性的空间阈值。

[0160] 在图22A中，在连接符1110a的接近椭圆形1101a的端部上输入的手绘形状111被显示为数字墨水形状111a。在图22B中，图21B的识别结果被显示为排版弯曲连接符1110b，并且手绘连接符1110的一端重新定位在排版菱形1104b的点上，并且手绘连接符1110的另一端重新定位在排版椭圆形1101b的边界上，并且手绘线1110内的弯曲的尺寸被维持，并且在排版连接符1110b中接近排版椭圆形1101b的一端上输入的手绘形状1111被显示为数字墨水形状1111a。形状1111是由单个连续笔划手绘而成的，被检测为非文本，并且由于形状1111的特性(即，三角形，其一条边和相对的点与线1110的一端相交)而被识别为闭合的箭头头部。在线1110上添加箭头头部的确定可以用于通过例如增加总概率分数来确认线1110的连接符状态，如下所述。

[0161] 箭头1103、1107和1110中的每个箭头是使用两个笔划手绘而成的。然而，每个箭头的各个笔划的输入时序不同，使得HWR系统114关于输入的排版所返回的识别不同。也就是说，箭头1103和1107的笔划在相对较短的时间间隔内(例如，在一秒钟内)绘制，使得箭头1103和1107被消歧器116一起分类为非文本以用于解析到识别器118(例如，应用112使用预先设置的和可重新设置的时间间隔阈值，其中绘制笔划之间的时间间隔低于该阈值表示笔划是单个形状的一部分的高似然性)，并且由此HWR系统114输出箭头1103b和1107b。另一方面，箭头1110的笔划1110和1111是在相对较长的时间间隔内(例如，多于一秒(例如，大于时间间隔阈值))绘制的，从而笔划1110被单独解析到识别器118，并且被输出为排版线1110b。
然而，通过根据输入笔划的空间和时间分数以及度量或特性计算出的总概率分数，提供了完整的连接符箭头1110的正确识别。也就是说，尽管作为相同对象的一部分的笔划1110和
1111的时间分数较低，但基于特性(即，线1110与形状1111相交)，结合笔划1110和1111是相同对象的一部分的高空间分数，使得笔划1110和1111属于一个形状的总概率较高。

[0162] 图23中示出了逐步排版示例，在该示例中，图22B的识别结果被显示为排版连接符箭头头部1111b，并且手绘箭头头部1111的点重新定位在排版线1110b的端部和排版椭圆形1101b的边界上，从而作为上述处理的结果，将排版连接符1110b重新形成为连接符箭头。

[0163] 在图24A中，在连接符箭头1110a下方输入的手写文本1112被显示为数字墨水文本1112a。在图24B中，在图23的识别结果的排版连接符箭头1110b下方输入的手写文本1112被显示为数字墨水文本1112a。文本1112被检测为文本并被识别为单词“REDIRECT”。由于文本
1112和连接符1110的相对位置，文本1112被识别为与连接符1110相关联。

[0164] 在图25A中，在连接符1103a的右侧输入的手写文本1113被显示为数字墨水文本1113a。在图25B中，图24B的识别结果被显示为排版单词1112b，并且手绘单词1112的尺寸以及手绘单词1112与排版连接符1110b的相对位置被维持。因此，从图17和图18以及图24和图
25中的检测到的输入和关联可以看出，无论这些要素的输入顺序如何，本系统和方法都识别出了连接符和相关联的文本(例如，连接符标签)。此外，在图25B中，在排版连接符1103a的右侧输入的手写文本1113被显示为数字墨水文本1113a。文本1113被检测为文本并被识别为单词“S-Gate”。由于文本1113和连接符1103的相对位置(例如，文本1113不包含在形状中，并且比图1100的任何其它要素更靠近连接符1103)，文本1113被识别为与连接符1103相关联。

[0165] 在图26A中，在菱形1104a下方、从菱形1104a的另一点起输入的手绘形状1114被显示为数字墨水形状1114a。在图26B中，图25B的识别结果被显示为排版项1113b，并且手绘项1113的尺寸和相对于排版连接符1103b的相对位置被维持，并且在排版菱形1104b下方、从排版菱形1104b的另一点起输入的手绘形状1114被显示为数字墨水形状1114a。形状1110是由两个笔划手绘而成的；由于形状1114的特性，分组的笔划被检测为非文本并被识别为头部开口的箭头。如前所述，由于箭头1114与容器1104的关系及箭头1114的箭头特性，此时可以将箭头114确定为连接符。

[0166] 在图27A中，在连接符箭头1114a的左侧输入的手写文本1115被显示为数字墨水文本1115a。在图27B中，图26B的识别结果被显示为排版连接符箭头1114b，并且手绘箭头1114的近端重新定位在排版菱形1104b的点上，手绘箭头1114的远端与排版菱形1104b相距的距离被维持，并且在排版连接符箭头1114b的左侧输入的手写文本1115被显示为数字墨水文本1115a。文本1115被检测为文本并被识别为单词“Go”。由于文本1115和连接符1114的相对位置，文本1115被识别为与连接符1114相关联。

[0167] 在图28A中，在连接符1114a下方输入的手写文本1116被显示为数字墨水文本1116a。在图28B中，图27B的识别结果被显示为排版单词1115b，并且手绘单词1115的尺寸和手绘单词1115相对于排版连接符1114b的相对位置被维持，并且在排版连接符1114b下方输入的手写文本1116被显示为数字墨水文本1116a。文本1116被检测为文本并被识别为单词“Initialization”。此时，由于输入1116和1114的相对位置(例如，由间隔阈值确定)和/或输入1114和1116的特性(例如，单词位于箭头的头部的下方)，文本1116可以被识别为与连接符1114相关联。所检测到的关联是在不存在针对文本1116的容器的情况下执行的。

[0168] 在图29A中，围绕单词1116a输入的手绘形状1117被显示为数字墨水形状1117a。在图29B中，图28B的识别结果被显示为排版单词1116b，并且手绘单词1116的尺寸以及手绘单词1116与排版连接符1114b的相对位置被维持。因此，从图12和图13以及图28和图29中的检测到的输入和关联可以看出，无论这些要素的输入顺序，本系统和方法都识别出了容器和包含的文本。此外，围绕排版单词1116b输入的手绘形状1117被显示为数字墨水形状1117a。形状1117由单个连续笔划手绘而成，被检测为非文本，由于输入1116和1117的相对位置和特性而被识别为包含单词1116的容器，并且被识别为椭圆形。容器1117的确定可以用于确认箭头1114的连接符状态，例如由于箭头1114位于容器1104和1117之间，通过增加总概率分数来确认。

[0169] 在图30A中，在容器1117a下方输入的手绘形状1118被显示为数字墨水形状1118a。在图30B中，图29B的识别结果被显示为排版椭圆形1117b，并且手绘椭圆形1117的尺寸被维持，并且椭圆形1117与排版箭头1116的头部的间隔被维持(在这里这样做表明：所有不同类型的连接符的呈现(例如，头部闭合的箭头与头部开口的箭头)不需要被调整与连接形状实际上“连接”以便被认为是连接符)，并且在排版容器1117下方输入的手绘形状1118被显示为数字墨水形状1118a。形状1118是由单个连续笔划手绘而成的，被检测为非文本，并且由于形状1118的特性被识别为头部开口的箭头。如前所述，由于箭头1118的箭头特性及与容器1117的关系，此时可以将箭头1118确定为连接符。

[0170] 在图31A中，在连接符1104a下方输入的、与箭头1118a的一部分重叠的手绘形状1119被显示为数字墨水形状1119a。在图31B中，图30B的识别结果被显示为排版连接符箭头
1118b，并且手绘箭头1118的近端重新定位在排版椭圆形1117上，并且手绘箭头1118的远端与排版椭圆形1117相距的距离被维持，并且在排版连接符1104下方输入的、与排版箭头
1118的一部分重叠的手绘形状1119被显示为数字墨水形状1119a。形状1119是由单个连续笔划手绘而成的，被检测为非文本，被识别为菱形，并且由于输入1118和1119的相对位置和/或特性，形状1119被识别为其上点和下点与连接符1118相交。此时，由于菱形1119没有位于连接符的“自由”端附近处(例如，在箭头头部处)，因此，对菱形1119作为(可能的)容器以及菱形1119和(可能的)连接符箭头1118之间的连接关联的确定可以被指派一个低概率分数。

[0171] 在图32A中，在菱形1119a内的、与连接符1118a在菱形1119内的一部分重叠的手绘输入1120被显示为数字墨水1120a。在图32B中，图31B的识别结果被显示为排版菱形1119b，并且手绘菱形1119的尺寸被维持，并且上点和下点重新定位在排版连接符1118上，并且在排版菱形1119a内的、与排版连接符1118a在排版菱形1119内的一部分重叠的手绘输入1120被显示为排版菱形1119b内的数字墨水1120a。输入1120被检测为手写编辑手势，并且被识别为划掉箭头1118在菱形1119内的主干部分。该划掉编辑操作被应用112解释为擦除箭头1118在菱形1119b内的一部分。结果，箭头1118被分成两个形状，一个形状是容器1117与菱形1119的顶点之间的线，另一个形状是从菱形1119的底点伸出的箭头。此时，线被识别为容器1117和菱形1119之间的连接符，并且由于箭头的箭头特性及箭头与形状1119的关系，箭头可能被识别为连接符，因此，菱形1119可能被检测为容器。

[0172] 在图33A中，擦除识别使得数字墨水箭头1118a被分成：显示为容器1117a和1119a之间的数字墨水线1121a的线连接符1121以及显示为从容器1119a的底部伸出的数字墨水箭头1122a的箭头1122。此外，在连接符1121a的接近菱形1119a的端部上输入的手绘形状1123被显示为数字墨水形状1123a。在图33B中，擦除识别使得排版箭头1118b被分成：显示为排版容器1117b和1119b之间的排版线连接符1121b的线连接符1121以及显示为从排版容器1119b的底部伸出的排版箭头1122b的箭头1122。此外，在排版连接符1121的接近排版菱形1119b的端部上输入的手绘形状1123被显示为数字墨水形状1123a。形状1123是由单个连续笔划手绘而成的，被检测为非文本，并且由于形状1123的特性被识别为闭合的箭头头部。
在线1121上添加箭头头部的确定可以用于以前述方式来确认线1121的连接符状态。此外，此时，由于箭头1122与容器1119的关系及其箭头特性，新分割的箭头1122可以被确定为连接符。

[0173] 在图34A中，在菱形1119a内输入的手写文本1124被显示为数字墨水文本1124a。在图34B中，图33B的识别结果被显示为排版连接符箭头头部1123b，并且手绘箭头头部1123的点重新定位在排版线1121b的端部上和排版菱形1119b的顶点上，从而作为上述处理的结果，将排版连接符1121b重新形成为连接符箭头。此外，在排版菱形1119b内输入的手写文本1124被显示为排版菱形1119b内的数字墨水文本1124a。文本1124被检测为文本并被识别为符号“？”，并且由于菱形1119包含识别的符号1124，因此确认菱形1119被识别为容器。

[0174] 在图35A中，从菱形1119a的另一点起输入的手绘形状1125被显示为数字墨水形状1125a。在图35B中，图34B的识别结果被显示为排版符号1124b，并且手绘符号1124的尺寸和与排版菱形1119b的间隔被维持，并且从排版菱形1104b的一个点起输入的手绘形状1125被显示为数字墨水形状1125a。形状1125是由多个笔划手绘而成的，被检测为非文本，并且由于形状1125的特性被识别为头部闭合的箭头。如前所述，由于箭头1125的箭头特性及与容器1119的关系，此时可以将箭头1118确定为连接符。

[0175] 在图36A中，在连接符1125a左侧输入的手绘形状1126被显示为数字墨水形状1126a。在图36B中，图35B的识别结果被显示为排版连接符箭头1125b，并且手绘箭头1125的近端重新定位在排版菱形1119b的接近点上，手绘箭头1125的远端与排版容器1119b相距的距离被维持，并且在排版连接符1125b的左侧输入的手绘形状1126被显示为数字墨水形状
1126a。形状1126是由单个连续笔划手绘而成的，被检测为非文本，被识别为正方形，并且由于输入1125和1126的相对位置和特性，形状1126被识别为其边界与连接符1125连接。如前所述，该识别结果可以用于确认箭头1125的连接符状态。

[0176] 先前描述的所识别的头部闭合的箭头包括：作为箭头头部的手绘的未填充或无填充三角形，其被应用112呈现为数字墨水形式的未填充闭合箭头头部和排版墨水形式的已填充闭合箭头头部(参见例如图14和图15)。相比之下，头部闭合的箭头1125包括：作为箭头头部的手绘的填充三角形(使用多个笔划，或方向多次改变的单个连续笔划)，其被应用112呈现为数字墨水形式的填充的闭合箭头头部(参见图35A)以及排版墨水形式的填充的闭合箭头头部(参见图36B)。因此，排版结果是相同的。备选地，未填充的箭头头部可以保持为排版墨水形式，用户可以通过应用112的UI进行这样的选择。

[0177] 在图37A中，手绘形状1127被显示为与正方形1126a重叠的数字墨水形状1127a。在图37B中，图36B的识别结果被显示为排版正方形1126b，并且手绘正方形1126的尺寸被维持，并且近侧边界点重新定位在排版连接符1125b的(相对)近端处，并且手绘形状1127被显示为与排版正方形1126b重叠的数字墨水形状1127a。形状1127是由单个连续笔划手绘而成的，被检测为非文本，并且被识别为圆形。与先前识别的形状大致重叠的形状的检测被应用112解释为覆写或替代手势。例如，应用112使用预先设置的和可重新设置的几何阈值，其中重叠的几何形状的线性点、边界或周边之间的平均距离小于该阈值表示覆写手势的高似然性。因此，从显示中删除或省略被覆写的形状(例如，该形状包含的文本一起被删除/省略，或者不被删除/省略)，并用新的形状替代该被覆写的形状。

[0178] 在图38A中，检测到的覆写手势使得利用被显示为数字墨水圆形1127a的圆形1127替代正方形1126a，并且在连接符箭头1125a上方输入的手写文本1128被显示为数字墨水文本1128a。在图38B中，检测到的覆写手势使得利用被显示为排版圆形1127b的圆形1127替代排版正方形1126b，并且手绘圆形1127的尺寸被维持，并且近侧边界点重新定位在排版连接符1125b的(相对)近端处，并且在排版连接符箭头1125b上方输入的手写文本1128被显示为数字墨水文本1128a。文本1128被检测为文本并被识别为单词“No Go”。由于文本1128和连接符1125的相对位置，文本1128被识别为与连接符1125相关联。

[0179] 在图39A中，手绘输入1129被显示为与单词1128a重叠的数字墨水1129a。在图39B中，图38B的识别结果被显示为排版单词1128b，并且手绘单词1128的尺寸和手绘单词1128与排版连接符1125b的相对位置被维持，并且手绘输入1129被显示为与排版单词1128b重叠的数字墨水1129a。输入1129被检测为手写编辑手势，并且被识别为划掉单词1128。该划掉编辑操作被应用112解释为擦除单词1116。

[0180] 在图40A中，检测到的擦除使得从显示中去除数字墨水单词1128a，并且在图40B中，检测到的擦除使得从显示中去除排版单词1128b。

[0181] 在图41A中，手势输入1130被检测并被识别为对连接符1107a的标签1106a的选择，从而使围绕标签1106a的选择框1131的显示被替代为所选择的排版标签1106c的显示，其具有下面描述的选择模式性质，由此向用户提供所识别的手势的视觉反馈。手势1130例如是在计算设备100的界面表面104上的长按，如图41所示。本领域的普通技术人员很容易理解这种手势及其“长”的相对时间。

[0182] 在图41B中，对选择手势的检测使得围绕排版标签1106b的选择框1131的显示也被替代为所选择的排版标签1106c的显示。选择框1131与控键1131a一起显示，用于提供对内容的交互操作。根据所采用的选择手势，可以启动不同的选择模式。例如，图40中所示的长按选择手势被应用112检测为启动多选模式，即选择多个要素，使得应用112期望后续选择其它图要素。

[0183] 因此，在图41A中，后续的手势输入1132被检测并被识别为对容器1108a的标签1109a的选择，并且在图41B中，被检测并被识别为对排版容器1108b的排版标签1109b的选择。手势1132例如是在计算设备100的界面表面104上的短按，如图41所示。本领域的普通技术人员很容易理解这种手势及其“短”的相对时间。当选择模式激活时，图1110的所选择的要素被显示为具有与未选择的排版版本不同的性质(例如，不同颜色和/或更大墨水重量)的排版版本。此外，图1100的未被选择的要素可以被显示为与正常呈现不同(例如，具有减少的不透明度或墨水重量，例如约20％至约50％，如图41中所示)。

[0184] 如上所述，在选择形状(包括容器和连接符)期间，实现文本暂时选择模式显示，以向用户提供检测到的选择的视觉反馈。可以通过多种方式来呈现选择模式显示。例如，数字墨水和排版墨水两者都可以被显示为具有上述选择模式性质的选择排版墨水。备选地，排版墨水可以被显示为选择的排版墨水，并且对于数字墨水，数字墨水和对应的排版墨水可以一起显示，并且排版墨水被显示为选择的排版墨水，而数字墨水被显示为具有减小的强调，如上述的未选择性质。在图68至图72中示出了这种选择模式呈现的若干个示例。

[0185] 在图68A中，手绘形状被显示为数字墨水形状680而没有其它形状或文本内容。形状680被检测为非文本并被识别为三角形。此外，在三角形680内做出的手势输入682被检测并被识别为对三角形680的选择。手势682例如是在计算设备100的界面表面104上的长按，如图68A所示。

[0186] 在图68B中，选择手势的检测使得数字墨水三角形680a显示成具有减小的强调(例如，变灰)，并且与高亮强调呈现的(例如，具有不同的颜色且三角形内填色)选择的排版墨水三角形684重叠，并且以界定(选择)框686为边界(颜色填充可以在整个界定框内而不是仅限于有界形状)。以这种方式，向用户提供选择检测的反馈和手绘形状的排版程度的感觉，以例如引导移动和重新调整大小操作，同时维持原始输入内容的显示。

[0187] 在图70A中，手绘形状和文本分别被显示为数字墨水形状700和数字墨水文本702。形状690被检测为非文本并被识别为圆形，文本692被检测为文本并被识别为单词“Text”，并且形状690被识别为包含单词692的容器。此外，对单词692做出的手势输入694被检测并被识别为对单词692的选择。手势694例如是在计算设备100的界面表面104上的长按，如图
69A所示。

[0188] 在图69B中，选择手势的检测使得数字墨水单词692a显示成具有减小的强调(例如，变灰)，并且与高亮强调呈现(例如，具有不同的颜色)的选择的排版墨水单词696重叠，并且以界定(选择)框698(有颜色填充)为边界，同时维持数字墨水圆形690的显示。以这种方式，向用户提供选择检测的反馈和手写文本的排版程度的感觉，以例如引导移动和重新调整大小操作，同时维持原始输入内容的显示。

[0189] 在图70A中，手绘形状和文本分别被显示为数字墨水形状700和数字墨水文本702。形状700被检测为非文本并被识别为椭圆形，文本702被检测为文本并被识别为单词“Initialization”，并且形状700被识别为包含单词702的容器。此外，对椭圆形700的边界或周边做出的手势输入704被检测并被识别为对椭圆形700的选择。手势704例如是在计算设备100的界面表面104上的长按，如图70A所示。

[0190] 在图70B中，选择手势的检测使得数字墨水椭圆形700a显示成具有减小的强调(例如，变灰)，并且与高亮强调(例如，具有不同的颜色和椭圆形内颜色填充)呈现的选择的排版墨水椭圆形706重叠，并且以界定(选择)框708为边界，同时维持数字墨水单词702的显示。以这种方式，向用户提供选择检测的反馈和手写形状的排版程度的感觉，以例如引导移动和重新调整大小操作，同时维持原始输入内容的显示。

[0191] 在图71A中，显示了图69A的数字墨水圆形690和数字墨水单词692。在容器690内做出的、但不是对单词692做出的手势输入710被检测并被识别为对整个容器的选择，即对圆形690和文本692两者的选择。手势710例如是在计算设备100的界面表面104上的长按，如图71A所示。

[0192] 在图71B中，选择手势的检测使得数字墨水圆形690a和数字墨水单词692a显示成具有减少的强调，并且与高亮强调呈现的选择的排版墨水圆形712和选择的排版墨水单词696重叠，并且以界定(选择)框714为边界。以这种方式，向用户提供选择检测的反馈和对整个手写容器的排版程度的感觉，以例如引导移动和重新调整大小操作，同时维持原始输入内容的显示。

[0193] 在图72A中，手绘形状被显示为数字墨水形状720，手写文本被显示为数字墨水文本721，并且手绘输入被显示为数字墨水输入722。形状720被检测为非文本并被识别为椭圆形，文本721被检测为文本并被识别为单词“Idea”，输入722被检测为非文本或垃圾，并且形状720是被识别为包含单词721和输入722在内的容器。在容器720内做出的、但不是对单词721或输入722做出的手势输入723被检测并被识别为对整个容器的选择，即对椭圆形700、文本721和输入722的选择。手势723例如是在计算设备100的界面表面104上的长按，如图
72A所示。

[0194] 在图72B中，选择手势的检测使得数字墨水椭圆形720a和数字墨水单词721a显示成具有减少的强调，并且与高亮强调呈现的选择的排版墨水椭圆形724和选择的排版墨水单词725重叠，并且以界定(选择)框726为边界。然而，如果被分类为非文本，则输入722不被识别器118识别，或者如果被分类为垃圾，则输入722不被解析到识别器。因此，未识别的输入721被显示为选择的数字墨水727，即，高亮强调呈现的、作为涂鸦的数字墨水输入722。以这种方式，向用户提供选择检测的反馈和对整个手写容器的排版程度的感觉，以例如引导移动和重新调整大小操作，同时维持原始输入内容的显示。

[0195] 在图69至图72中，检测到的对图要素的选择的类型取决于检测到的选择手势相对于图要素的位置。也就是说，对于这些示例中的包含文本的容器，根据手势位置，选择仅容器、仅文本、或容器及其包含的要素(非文本和文本中的任一个或两者)。然而，其它选择行为也是可能的。例如，在容器内的任何位置处做出的或对容器及其包含的要素做出的选择手势可以实现对整个容器的选择。此外，可以对可能包含其它形状的容器和作为仅包含文本的容器的单元格之间进行区分。使得在单元格内的任何位置处做出的或对单元格及其包含的文本做出的选择手势可以实现对整个单元格的选择，而对容器做出的类似选择则实现图69至图72中所示的选择。

[0196] 上述在数字墨水显示上重叠选择的排版墨水也可应用于其它选择的图要素，特别是连接符。备选地或除了这些选择模式示例之外，可以提供数字墨水和排版墨水的类似重叠显示，尽管没有选择模式呈现，但允许用户预览数字墨水的排版版本而不需要对图要素本身进行排版。例如在检测到预览手势(例如，用户的手指或触写笔在图要素上的短按或“悬停”)时启动预览模式。

[0197] 回到示例输入，在图42A中，后续的选择手势的检测使得围绕所选择的排版标签1106c和标签1109a的选择框1131的延伸显示被替代为具有选择模式性质的选择的排版标签1109c的显示，由此向用户提供所识别的手势的视觉反馈。在图42B中，后续选择手势的检测使得围绕所选择的排版标签1106c和排版标签1109b的选择框1131的延伸显示也被替代为所选择的排版标签1109c的显示。在图42A中，另外的手势输入1132被检测并被识别为对连接符1103a的标签1113a、连接符箭头1110a的标签1112a和连接符箭头1110a本身的选择，在图42B中，则被检测并被识别为对排版连接符箭头1110b的排版标签1112b和排版连接符箭头1110b本身的选择。

[0198] 在图43A中，另外的选择手势的检测使得选择框1131进一步延伸选择框1131，其围绕多选要素1103a、1106a、1109a、1110a、1112a和1113a、以及分别针对标签1112a和1113a和连接符1110a的所选择的排版标签1112c、所选择的排版标签1113c和所选择的排版连接符1110c，具有选择模式性质，由此向用户提供识别的视觉反馈。在图43B中，另外的选择手势的检测使得选择框1131进一步延伸选择框1131，其围绕多选的排版要素1103b、1106b、
1109b、1110b、1112b和1113b、以及分别针对排版标签1112b、1113b和排版连接符1110b的所选择的排版标签1112c和1113c以及连接符1110c。

[0199] 在图44A和图44B中，手势输入1133被检测为对选择框1131的选择。手势1147例如是在计算设备100的界面表面104上在选择框1145内做出、但不在选择框1131中的任何图要素上做出的长按，如图57中所描绘的。响应于该识别的手势，应用112显示选择菜单1134，选择菜单1134显示可以对选择框1131内的所选择的要素执行的某些编辑选项。例如，菜单提供重复、复制和粘贴的选项。提供“弹出”菜单或按需菜单仅仅是示例，并且可以使用用于提供编辑操作的其它机制，例如用于不同操作的不同手势或者仅通过使用手势来选择的默认操作。

[0200] 在图45A和图45B中，手势输入1135被检测为从菜单1134中选择重复操作，使得图45A中的所选择的要素标签1106a、1109a、1112a和1113a和连接符箭头1110a，以及图45B中的排版标签1106b、1109b、1112b和1113b以及排版连接符箭头1110b被重复。在选择模式下，重复的要素保持在选择框1131中，并且呈现为与重复的原始要素相同的位置关系，然而，已被重复的要素的显示回到正常呈现，或者恢复到未选择呈现，具有减少的强调，如图47中的那样。手势1148例如是在计算设备100的界面表面104上的按压，如图57所描绘的。此外，重复操作可以被配置为省略任何被选择的文本，使得例如可以复制图的结构而无需擦除/替代标签。

[0201] 在图46A和图46B中，手势输入1136被检测为将选择框1131沿箭头A的方向移动的移动操作。手势1136例如是在计算设备100的界面表面104上在选择框1131内做出、但不在选择框1131中的任何图要素上做出的按住滑动(比如，拖动或推动)，如图46中所描绘的。

[0202] 在图47A和图47B中，检测到移动操作完成，并且分别显示位于容器1129a或1129b附近的所选择的排版标签1106c、位于连接符1125a或1125b附近的所选择的排版标签1109c、位于连接符1103a或1103b附近的所选择的排版标签1112c、位于连接符箭头1110a或
1110b附近的所选择的排版标签1113c、被定位为连接容器1117a和1119a或1117b和1119b的所选择的排版连接符箭头1110c。因此，已经绘制和识别的图要素可以被重新使用或移动到图的其它部分，或者可以在创建其他图时移动到其他图中。在此处理中，由于原始连接符箭头1110的连接符状态、容器1117和1119的容器状态，以及由于这些要素的相对位置和特性，以前述方式将重复的箭头1110识别为连接容器1117和1119的连接符。

[0203] 在图48A和图48B中，手势输入1137被检测为取消选择手势，并且作为响应，省略了选择框1131的显示，并且省略了所取消选择的图要素的选择模式排版显示，其中，显示恢复到正常数字墨水或排版显示版本，并且如果适用于多选模式，则其它未选择的图要素的显示回到正常呈现。手势1137例如是在计算设备100的界面表面104上的、在选择框1131的外部的短按，如图48所示。

[0204] 在图49A中，手势输入1138被检测为对重复的连接符箭头1110a的选择。在图49B中，手势输入1138被检测为对重复的排版连接符箭头1110b的选择。手势1133例如是在计算设备100的界面表面104上的短按，如图49所描绘的。因此，短按选择手势被应用112识别为启动单选模式，即选择如图68的示例中所示的单个图要素，使得应用112期望对所选择的要素执行后续操作。

[0205] 在图50A中，根据选择检测，连接符箭头1110a被替代为所选择的排版箭头1110c的显示，从而具有选择模式性质，由此向用户提供检测的视觉反馈。在图50B中，根据选择检测，排版连接符箭头1110b被替代为所选择的排版箭头11 10c的显示。与上述多选模式不同，在连接符选择模式下也不使用选择框，以便在用户对选择符进行操作期间提供连接符的清晰显示。

[0206] 在图51A和图51B中，手势输入1139被检测为对弯曲连接符箭头1110c上的、箭头头部和/或具有箭头头部的连接符箭头主干的一部分进行的沿箭头B的方向的移动操作。手势1139例如是在计算设备100的界面表面104上的长按滑动，如图51所描绘的。因为连接符箭头1110c是连接到容器1117和1119的连接符，因此移动手势被识别为仅与连接到容器1117的箭头头部主干部分有关，使得在移动操作期间，连接符1110c中的连接到或锚定到容器
1119的端部不受影响。因此，在移动操作期间，连接符箭头1110与容器1117分离，并且重新调整弯曲的连接符箭头1110c的某些部分的大小并重新显示，主要是将连接到各个容器的、与竖直主干部分连接的水平主干部分的大小调整为适应箭头头部主干的移动。在这种移动操作期间，可以显示特定的视觉反馈(例如，“透镜”)，以引导与对象的交互，特别是在使用用户手指的情况下。

[0207] 在图52A和图52B中，检测到移动操作完成，并且显示弯曲的连接符箭头1110c的箭头头部在容器1110的边界处的连接点或锚定点，其中所述容器1110重定位为更加居中，并且检测到手势输入1140，且被识别为取消选择手势。手势1140例如是在计算设备100的界面表面104上的远离连接符1110处的短按。该移动操作示出了用户如何能够容易地调整由应用112实现的连接点的呈现和重定位。应用112试图通过在美化所识别的图的同时，尽可能少地改变用户的原始手绘输入，以实现平衡，使得该图可以最终成为已经使用用于产生数字图的许多可用技术创建的排版形式的文档的一部分。

[0208] 在图53A中，取消选择的检测使得所选择的排版连接符1110c被省略，并且将该连接符显示为数字墨水连接符1110a′。在图53B中，取消选择的检测使得所选择的排版连接符1110c被省略，并且将该连接符显示为排版墨水连接符1110b′。新显示的连接符1110a’和
1110b’分别是先前显示的数字墨水连接符1110a和排版墨水连接符1110b的调整大小后的版本。排版墨水连接符的调整大小操作是直接的，并且是使用本领域普通技术人员熟知的技术来实现的。然而，如果像常规技术那样，不执行数字墨水的缩放或归一化，则数字墨水的调整大小操作就不是直接的，以避免由此产生的被操纵的数字墨水与原始绘制的墨水大不相同，从而避免不必要的用于进一步操纵数字墨水的用户交互。现在参考图73至图77来描述在本系统和方法的调整大小操作中操纵连接符的数字墨水和其它要素的方式。

[0209] 图73A示出了通过弯曲或u型连接符734连接的框730和框732的手绘输入。图73B示出了在对框730和732中的每一个框执行移动操作之后的图73A的手绘输入，执行移动操作使得连接符734调整大小，由此被显示为连接符734’。特别地，框730向右移动，使得连接符734中的连接在框730处的臂734a缩短，显示为连接符734’的734a’，框732向左移动，使得连接符734中的连接在框732处的臂734b加长，显示为连接符734’的臂734b’。移动操作不影响被识别为连接符734中的将臂734a和734b(以及因此连接符734′的臂743a′和743b′)相连的臂734c。也就是说，本系统和方法将弯曲连接符或其它多臂连接符视为是由多个连接部分或子连接符形成的，其中每个子连接符或者连接到诸如容器之类的形状和另一子连接符，或者连接到两个(或更多个)其它子连接符。以这种方式，子连接符可以独立于其它子连接符被操纵，而连接符的连接作为整体(例如，组合的子连接符)被维持时，。可以看出，连接符
734的数字墨水呈现特性(包括墨水重量和总体形状)实质上被维持在调整大小后的连接符
734’的数字墨水呈现中。现在参照图73C至图73E来描述实现这样的结果的方式，其中连接符734的臂734b用于说明本系统和方法的操作。

[0210] 图73C是图73A的连接符734的臂734b的放大视图(也具有框732和臂734c的一些部分)。图73D是图73B的连接符734’的臂734b’的放大视图(也具有框732和臂734c的相同部分)。图73C和图73D的放大视图量级相同，使得臂734b和734b’的放大尺寸相同。图73E是如图73C中所描绘的臂734b以某一量级放大而形成的进一步放大视图，以匹配图73D的臂734b’的更大长度。因此，图73E示出了臂734b的缩放以提供臂734b′的调整大小后的长度。
可以看出，缩放后的臂734b的数字墨水与未缩放的数字墨水明显不同，因此是不期望的。

[0211] 常规归一化利用两种不同的技术来处理这个问题，现在参照图73E来描述这两种技术。在第一种技术中，沿着缩放后的臂734b的水平方向截取平均中心线，并且使用原始墨水重量(即，水平边缘与未缩放的臂734b的平均中心线相距的平均距离)来围绕该平均中心线重新产生数字墨水，从而丢弃缩放后的臂734b的水平边缘。该操作消除了放大的呈现，但是通常导致调整大小后的数字墨水要素的边缘比原始数字墨水的边缘具有更大的均匀性，从而显著改变外观。在第二种技术中，取缩放后的臂734b的水平边缘，并且使用原始墨水重量来重新产生与边缘相距的数字墨水，从而丢弃缩放后的臂734b的中心墨水。该操作消除了放大的呈现，但是通常导致调整大小后的数字墨水要素的边缘比原始数字墨水的边缘具有更差的均匀性，从而显著改变外观。当调整大小操作是减少大小时，这些问题同样适用。

[0212] 在本系统和方法中，数字墨水的未缩放和缩放版本的方面被组合以提供具有原始数字墨水要素的保持特征的调整大小后的数字墨水要素。也就是说，臂734b的端部处的部分A以未缩放的形式保持在调整大小后的臂734b’中，如图73C和图73D所示。这些部分的长度被定义为使得特性和明显的特征(例如，弯曲的连接符的拐角(如图73)、箭头连接符的箭头头部、以及与其它形状的接合处)维持在调整大小后的连接符中。以这种方式，特别是箭头头部不会被调整大小。在端部A之间的臂734b的部分中，具有相对均匀性的区域(即，在中心平均线和水平边缘处的沿着水平方向的竖直偏移的逐渐改变)(例如，图73C中的部分B)以及具有相对较大变化性的区域(即，在中心平均线和水平边缘处的沿着水平方向的竖直偏移的突然改变)(例如，图73C中的部分C)被确定。

[0213] 对于具有相对均匀性的区域，取缩放后的臂的水平边缘，其中墨水重量被调整为未调整大小的墨水重量，并且中央水平部分被丢弃，并且呈现为调整大小后的臂734b′中的部分B′(如图73D)。由于相对均匀性，因此可以看出，调整大小后的数字墨水的这部分实质上与原始未调整大小的数字墨水相似。对于具有较高可变性的区域，取缩放后的臂的中心平均线，其中墨水重量被调整为未调整大小后的墨水重量，并且丢弃边缘，并且被呈现为调整大小后的臂734b’中的部分C’(如图73D所示)。由于保留了一些可变性，因此可以看出，调整大小后的数字墨水的这部分实质上与原始未调整大小的数字墨水相似，特别是在图73A和图73B的非缩放视图中。所有图要素(包括非文本和文本)的数字墨水都可以用相同的方式处理以进行调整大小操作。这种处理也可以用于其它操作，例如方位、方向等的改变。

[0214] 例如，图74和图75示出了对数字墨水框的移动操作，并因此对与该数字墨水框相关联的数字墨水连接符造成的相应影响。在图74A中，响应于检测到选择手势741而选择框740，并且将框1400沿箭头F的方向移动。框具有两个相关联的连接符，弯曲的头部开口的箭头连接符742和直的头部开口的箭头连接符743。图74B中示出了移动操作完成时的调整后的显示，其中连接符742和743分别被显示为调整后的连接符742′和743′。弯曲的连接符742被调整，其中，分开的臂中的每个臂以上述方式被加长。可以看出，在调整后的连接符742′中，连接符743的箭头头部的尺寸被保持。

[0215] 在图74A中被显示为大致竖直的连接符743以上述方式被调整为缩短，并且被显示为与竖直方向成倾斜角度，如图74B中的调整后的连接符743’。可以看出，在调整后的连接符743′中，连接符743的箭头头部的尺寸被保持。对连接符的角度进行改变，以便保持连接符的几何图形不变，例如，调整后的连接符743’被呈现为如原始连接符743那样是大致直的，并且并不会由于框740的移动而形成为弯曲的。例如，如果维持连接符743与框740和另一框744的连接点或锚定点不动，则对于调整后的连接符743’，将需要这种弯曲。然而，调整连接点是为了保持连接符的几何图形，并且在移动操作期间和之后提供合理的重新显示。这在本系统和方法中通过考虑每个连接形状的几何中心来实现。

[0216] 从图74A中可以看出，通过应用112确定了框740和744以及其它连接框745和746的几何中心，如交叉标记G所示。还确定了考虑连接符的几何图形的、在每个几何中心和相关联的连接符之间的连接路径，例如，针对框740和745之间的连接符742所示出的、在弯曲连接符742的弯头处弯曲的虚线747。当移动框740时，所确定的在连接框的几何中心之间的连接路径被调整，以保持在几何中心之间，同时保持路径的几何图形不变，例如，如图74B所示，连接路径747保持其弯曲的几何图形，并且直线连接符743的连接路径748保持其在框740和744的重心之间的直线几何图形，以致连接路径1008变得与竖直方向成角度。因此，调整后的弯曲连接符742’沿着调整后的连接路径747呈现，并且调整后的连接符743′沿着调整后的连接路径748呈现。应注意的是，在附图中提供针对几何图形的中心的描绘标记和连接路径仅用于说明目的，并且应用112通常不向用户显示这些描绘标记和连接路径。然而，应用112的UI可以向用户提供显示这种标记以供参考的能力，例如在编辑操作期间。

[0217] 在图75A中，响应检测到选择手势751而选择框750，并且将框1400沿箭头H的方向移动。框具有两个相关联的连接符(但在本示例中可以具有更多)，第一头部开口的箭头连接符752和第二头部开口的箭头连接符753，这两个连接符都具有大致直线的几何图形并且大致彼此平行。图75B中示出了移动操作完成时的调整后的显示，其中连接符752和753显示为调整后的连接符752′和753′。在图75A中显示为大致水平的连接符752和753以前述方式被调整为加长，并且显示为与水平线成倾斜角度(如调整后的连接符752’和753’所示)，同时保持大致平行的对齐。可以看出，在调整后的连接符752’和753′中，连接符752和753的箭头头部的尺寸被保持。

[0218] 与图74的示例不同，从框750的几何中心(G)到连接框754的几何中心的路径不经过平行对齐的连接符752和753。因此，在移动操作中，通过确定平行连接符的公共连接路径来遵守连接符的大致平行对齐，该公共连接路径大致平行于大致在平行连接符之间中部的连接符延伸。当移动框750时，公共连接路径被调整为保持在几何中心之间同时保持路径的几何图形不变，例如如图75B中所示，公共连接路径755保持其在框750和754的几何中心之间的直线几何图形，由此其变得与水平线成角度。调整后的连接符752′和753′沿着调整后的公共连接路径755呈现，以保持原始连接符752和753彼此之间的平行分隔。

[0219] 此外，图76示出了对数字墨水连接符的移动操作，并因此对与该数字墨水连接符相关联的数字墨水连接符标签造成的相应影响。图76A示出了以数字墨水呈现的手绘图760。在图76B中，通过上述选择模式排版显示来显示连接符761的选择。此外，通过显示在连接符761的端部处的连接点762和763来指示所选择的连接符761的连接符状态。所选择的连接符应在端部763处沿箭头I的方向移动，并且在移动期间连接区域764被显示。在图76的示例中，连接区域被显示为用选择模式颜色进行了颜色填充的圆形，在用户与连接符交互期间，该圆形对用户进行引导，指示当连接符的一个或多个端部处于与其它图要素接近的合适区域(如前述所确定的)内时，如果与连接符的交互在该点处停止，则使得连接到这些要素。因此，如果连接符761的端部763被移动地离容器765和766太远，则停止显示连接区域
764，直到该端部再次接近另一个要素为止。可以看出，连接符可以连接到容器(包括子容器)内的形状和文本。

[0220] 在图76C中，连接符761已经移动，使得端部763在新的连接点763′处连接到容器765。结果，随着以前述方式调整连接符761的大小和将连接符761重新显示为调整后的连接符761’，连接符761相对于容器765和端部762连接到的容器767的角度被调整。可以看出，对连接符761的位置和取向的这种调整使得与连接符761相关联的文本标签768的位置得到相应调整，其中所述关联是以前述方式确定的。例如，对标签768进行调整，以维持文本和连接符761之间的平均距离(比如，与所识别的文本的质心相距的距离)。因此，通过移动操作来遵守用户对连接符761的标记。此外，在图76C中，试图在端部762处沿箭头J的方向再次移动连接符761’，并且在移动期间，再次显示连接区域764。

[0221] 在图76D中，连接符761’已经移动，使得端部762在新的连接点762′处连接到容器767。结果，随着以前述方式调整连接符761’的大小和将连接符761’重新显示为调整后的连接符761”，连接符761’相对于容器765和767的角度被调整。可以看出，连接符761’的位置和取向的这种调整再次使得文本标签768的位置得到相应调整。手势769被检测为取消选择手势，并且因此图760被显示为如图76E所示的那样，具有移动后的连接符761和相关联的文本标签768。

[0222] 本系统和方法还提供了以保持手绘图的用户的意图的方式对数字墨水形式的复杂连接符(比如，特别用于组织结构图中的分枝连接符(参见图4))的编辑操作的处理或影响复杂连接符的编辑操作的处理。图77A示出了以数字墨水呈现为具有三个层级的层次结构的图的手绘图770。响应于检测到选择手势772而选择图的第二层级中的框771，并且将框771沿箭头K的方向移动。框有四个相关联的连接符，连接到图的第一层级的分支连接符773和连接到图的第三层级的三个“直线”连接符774。如上所述，本系统和方法将分支连接符
773检测为复杂的或多连接符，其中子连接符由沿水平方向设置的主干773a、从主干773a竖直向上延伸到在第一层级中的框775的上分枝773b、从主干773a竖直向下延伸到在第二层级中的框771和两个框776的下分枝773c形成。框771和框776分别经由连接符774和连接符
777连接到第三层级中的文本块778。

[0223] 图77B中示出了移动操作完成时的调整后的显示，其中连接符773和774分别显示为调整后的连接符773’和774’。可以看出，直线连接符774以上述方式被调整为加长，并且分支连接符773被调整为使得分支773b缩短为调整后的分支773b’，连接到框776的分支773c被加长为调整后的分支773c’，连接到移动的框771的分支773c缩短为调整后的分支
773c”，并且尽管主干773a的相对竖直位置向上移动以适应下方的框771的移动，但主干
773a不调整保持不变。以这种方式，由于第一层级的框和第二层级的框的相对位置被保持，同时第三层级的文本块的相对位置也被保持，因此手绘图的层次结构得以遵守。备选地，如果层次结构未被确定为重要的，则可以通过不调整连接符774将经由连接符774连接到移动的框771的文本块778随框771一起移动，和/或通过不调整主干773a的相对位置将框771和其相关联的连接符和文本块移动到分枝连接符的主干的上方。此外，如果移动操作使得框彼此进一步或更靠近，则主干本身可以减小或增加长度。

[0224] 根据对这些图的形状要素和文本要素的这些示例编辑操作，可以理解的是，本系统和方法提供了与手绘图的数字墨水要素的大范围交互，其中这些交互的影响和结果维持在数字墨水本身上。因此，向用户提供对其手绘内容的连续控制，而不需要转换为图的排版版本以允许执行编辑。

[0225] 回到示例输入，在图53A和图53B中，手势输入1141被检测为选择手势。手势1141例如是在计算设备100的界面表面104上的不在任何图要素上的长按。因此，应用112将长按选择手势识别为启动自由选择模式，例如一个或多个图要素的自由形式的选择或所谓的“套索(lasso)”手势，使得应用112期望对所选择的要素执行后续操作。响应于该识别，可以显示自由选择图标1142，由此向用户提供检测的视觉反馈。

[0226] 在图54A和图54B中，手势输入1143被检测为沿箭头C的方向的选择操作。手势1143例如是在计算设备100的界面表面104上的滑动，如图54所描绘的。响应于该检测，以选择模式呈现来显示选择区域1144，由此向用户提供检测的视觉反馈。

[0227] 在图55A和图55B中，检测到自由选择手势1143的持续，并且该持续被识别为选择区域1144的扩展显示。

[0228] 在图56A和图56B中，由于自由选择手势1143完成了围绕图1100的某些要素的大致圆形形式，因此检测到选择操作完成，并且选择框1145被显示为围绕完成的选择区域1144内的图要素的结果，即重复的文本1106、1109、1112和1113、文本1116和1124、重复的形状1103以及形状1110、1114、1117、1119、1122、1125和1129的相应数字墨水形式和排版墨水形式。这些选择的要素被显示为具有选择模式性质的选择排版墨水1103c、1106c、1109c、
1110c、1112c、1113c、1114c、1116c、1117c、1119c、1122c、1124c、1125c和1129c，并且未选择的要素被显示为具有多选模式的未选择性质，由此向用户提供检测的视觉反馈。因此，可以快速选择多个识别的图要素。

[0229] 在图56所示的示例中，自由形式选择模式被配置为使得被选择区域完全包围和仅部分地在选择区域内的两种要素(即，连接符箭头1114)被识别为被选择。备选地，自由形式选择模式可以被配置为使得仅被选择区域完全包围的那些要素被识别为被选择。对于后一种情况，用户可以通过选择手势来选择被部分包围的要素以包括在多项选择中，例如前面所述的那些要素。在任何情况下，在自由形式和多选模式下，可以通过相同的手势取消选择所选择的要素。例如，在图56A和图56B中，手势输入1146被检测并被识别为取消选择所选择的排版连接符1114c。手势1146例如是在计算设备100的界面表面104上的在选择框1145内的在连接符1114上的短按，如图56所描绘的。

[0230] 在图57A和图57B中，检测结果使得取消选择的连接符1114的选择模式排版显示被省略，并且显示恢复到相应的正常数字和排版墨水，并且选择框1145相应收缩而不再围绕被取消选择的连接符1114。此外，手势输入1147被检测为对选择框1145的选择。手势1147例如是在计算设备100的界面表面104上在选择框1145内做出、但不在选择框1131中的任何图要素上做出的长按，如图57中所描绘的。响应于该识别的手势，应用112显示选择菜单1134。另一手势输入1148被检测为从菜单1134中选择重复操作，使得所选择的要素被重复。在选择模式下，重复的要素保持在选择框1145中，并且呈现为与重复的原始要素相同的位置关系，然而，已被重复的要素的显示回到正常呈现，或者恢复到未选择呈现，具有减少的强调，如图57中的那样。手势1148例如是在计算设备100的界面表面104上的按压，如图57所描绘的。

[0231] 在图58A和图58B中，手势输入1149被检测和被识别为对选择框1145沿箭头A的方向进行的移动操作。手势1149例如是在计算设备100的界面表面104上在选择框1145内做出、但不在选择框1145中的任何图要素上做出的长按滑动，如图58中所描绘的。

[0232] 在图59A和图59B中，手势输入1149被持续检测到，并被识别为选择框1145和其中包含的重复要素一起的移动显示、以及沿着选择框1145的左边界和右边界向选择框1145上方和下方延伸的如虚线竖直线所示的对齐引导1150的显示。这种对齐要素的显示的使用、呈现和时间是本领域普通技术人员可理解的，并且可以相对于显示接口下方的对齐网格进行，该网格还可以用来定义选择框的一个或多个范围，如图59所示。对齐引导1150被设置为引导用户相对于图1100的非移动要素放置移动要素。例如，在图59中，通过滑动手势输入1149对选择框1145的移动操作被识别为沿箭头E的方向，由此用户试图相对于未被选择的要素来定位重复的要素。在完成移动操作时，手势输入1151被检测为取消选择手势。手势
1151例如是在计算设备100的界面表面104上的在选择框的外部的短按，如图59所示。

[0233] 在图60A和图60B中，响应于移动操作完成，选择框1145的显示被省略，并且取消选择的图要素的选择模式排版显示被省略，并且，显示恢复到相应的正常数字和排版墨水，并且其它未选择的图要素的显示回到相应的正常数字和排版墨水。由于完成的移动操作，在图60A中，显示重复容器1117a位于原始箭头1122附近处，并且在图60B中，显示重复排版墨水容器1117b位于原始排版箭头1122b的附近。在该处理中，由于在原始容器1119与重复容器1117之间的原始箭头1122的连接，确认原始箭头1122的连接符状态。

[0234] 此外，在图60A中，在重复箭头1122a的开口的箭头头部上输入的手绘形状1152被显示为数字墨水形状1152a。在图60B中，在重复排版箭头1122b的开口的箭头头部上输入的手绘形状1152被显示为数字墨水形状1152a。形状1152是由单个连续笔划手绘而成的，被检测为非文本，并且由于形状1152的特性被识别为闭合的箭头头部。如之前所描述的，与先前识别的形状大致重叠的该形状的检测被应用112解释为覆写手势。因此，从显示中删除或省略被覆写的形状，并用新形状替代该被覆写的形状。

[0235] 在图61A中，覆写使得从显示中去除头部开口的重复箭头1122a，并且将头部闭合的箭头1153显示为数字墨水头部闭合的箭头1153a，并且手绘箭头头部1152的点重定位在重复箭头1122a的“主干”的端部上，由此将头部开口的重复箭头1122a大致重新形成为头部闭合的箭头。在图61B中，覆写使得从显示中去除排版的头部开口的重复箭头1122b，并且将头部闭合的箭头1153显示为排版的头部闭合的箭头1153b，并且手绘箭头头部1152的点重定位在重复排版箭头1122b的“主干”的端部上，由此将重复的头部开口的排版箭头1122b大致重新形成为头部闭合的箭头。

[0236] 此外，在图61A中，手绘输入1154被显示为与重复单词1116a重叠的数字墨水1154a。在图61B中，手绘输入1154被显示为与重复排版单词1116b重叠的数字墨水1154a。输入1154被检测为手写编辑手势，并且被识别为划掉重复容器1117内包含的单词1116(擦除标记)。该划掉编辑操作被应用112解释为擦除单词1116。

[0237] 在图62A中，所识别的编辑操作使得从显示中去除重复单词1116a，使得重复容器1117a为空。在图62B中，所识别的编辑操作使得从显示中去除重复排版单词1116b，使得重复排版容器1117b为空。

[0238] 在图63A中，在重复菱形1117a内输入的手写文本1155被显示为数字墨水文本1155a。在图63B中，在重复排版椭圆形1117b内输入的手写文本1155被显示为在重复排版椭圆形1117b内的数字墨水文本1155a。文本1155被检测为文本，并被识别为短语“Planning&Spec”，并且由于要素1117和1155的相对位置和特性，重复椭圆形1117被确认为包含所识别的短语1155在内的容器。在图63B中，可以看出，由于容器的排版大小，手写文本1155a未完全包含在排版容器1117b中。例如，尽管一些手写输入与容器的边界重叠，但是本系统和方法的应用112检测到文本1155旨在作为被包含的文本或容器标签。在将文本或形状写入或希望将其写入不能完全容纳于数字墨水容器中的情况下，这种情况也可以发生。然而，如图
78至图83的示例中所描述的那样来处理这些情况。

[0239] 图78示出了文本已被手写在容器内但不能容纳在该框内的示例。在图78A中，形状780和文本781的手写输入被显示为将数字墨水文本781a的大部分包含于其中的数字墨水框780a。文本781被检测为文本并被识别为短语“This is a too long text”。框780被检测为非文本并被识别为矩形。为了将矩形780识别为包含所识别的短语781的容器，考虑输入
780和781的相对位置和特性。例如，应用112使用预先设置的和可设置的空间阈值，其中矩形780和文本块781的几何特征相对于该阈值的比较度量指示文本块被包含在矩形中的似然性。例如，将矩形780和文本块781的平均中心或质心(如上所述)之间的距离与距离阈值(如前所述)进行比较，或者将矩形780和文本块781的区域的重叠的比例与重叠阈值进行比较，其中当可能的容器中写入了更多的文本而不是没有内容时，指示包含的高似然性。

[0240] 容器状态的确定是一个考虑因素，并且提供了不同图要素的可靠和直观的关联。另一个考虑因素是手绘图的呈现显示。如前所述，本系统和方法试图尽可能地对用户输入执行最小量的自动操纵。然而，通过实现某一程度的细化(即所谓的美化)，支持数字墨水和排版墨水形式的输入的可读性和合理显示。在图63中，可以看出，由于逐步排版期间应用
112所采用的排版略微地缩小了数字墨水印迹，因此在排版容器1117b而不是数字墨水容器
1117a上输入文本1155时会问题，例如，排版或字体化使得排版墨水的尺寸(略微)小于数字墨水的尺寸。然而，如果排版放大了数字墨水印迹，则会发生类似问题，例如，排版导致排版墨水的尺寸(略微)大于数字墨水的尺寸。然而，以这种方式排版的影响在其它情况下可能是有益的。例如，在图78B中，与图78A中的数字墨水版本不同，图78A的识别结果被显示为完全包含在排版容器780b内。

[0241] 也可以对排版墨水执行美化。例如，在图79中，形状790、文本791和附加形状792和793的手写输入被显示为将数字墨水文本791a的大部分包含在其中的数字墨水框790a、具有在框790和792之间的数字墨水箭头793a的数字墨水框792a。文本791被检测为文本并且被识别为短语“This is a way too too too too too long text”。框790和792以及箭头
793被检测为非文本，并且分别被识别为矩形和箭头。此外，框790被识别为包含所识别的短语791在内的容器790，并且箭头793被识别为连接容器790和矩形792的连接符。然而，由于例如通过相应几何区域的比较而得知文本791的文本块的大小与容器790的大小相当，因此当排版时，应用112还检测到排版文本将不能容纳于排版容器内，这导致不期望的呈现。例如，可以通过减小排版文本的字体的大小或改变排版文本的字体的类型来处理这种情况，然而这可能导致图的不同部分中的文本具有不同的字体大小或类型(例如，本系统和方法可以实现针对文本的默认的、用户可设置的字体样式)，这是不期望的。图80和图81示出了用于自动处理这种情况的不同机制，并且图82和图83示出了手动机制。

[0242] 在图80中，应用112将容器790的竖直范围(即高度)沿着箭头L延伸，以将容器790显示为其中完全包含被显示为排版短语791b的短语791在内的排版容器790b。这是通过应用112确定排版容器所需的范围来包含文本的排版尺寸来实现的。可以看出，显示为排版矩形792b和连接符793b的矩形792和连接符793相应地向下移动以适应放大的容器790b。因此，排版墨水的这种美化提供了图要素的清晰显示，同时保持关系不变。

[0243] 备选地，在图81中，容器790被显示为排版容器790b’，没有进行图80中的那样的延伸，而是通过如箭头M所示的重排排版墨水，来将短语791显示为完全在未调整大小的容器790内的排版短语791b’。这通过应用112确定这种重排文本相对于容器的排版尺寸的相对范围来实现。因此，排版矩形792b和连接符793b的显示不移动。因此，排版墨水的这种美化提供了图要素的清晰显示，同时保持绝对位置不变。

[0244] 作为上述通过调整排版墨水大小和重排排版墨水的自动美化的备选或补充，本系统和方法还提供了手动美化所输入的手绘图的能力。在图82A中，与图1100分开示出的包含文本1116的容器1117被显示为选择模式下的容器1117，即所选择的排版容器1117c包含数字墨水单词1116a，并且具有围绕容器1117c的选择框820。在图82B中，在选择框820的调整大小控键820a上的手势输入821被检测为沿箭头N的方向对该调整大小控键820a的移动操作。该操作使得将所选择的排版容器1117c的显示调整大小为调整大小后的选择的排版容器1117c’，如图82B中所描绘的。然而，如可以看到的，在对容器1117调整大小期间，未被选择的文本1116不移动。这是因为应用112以可以独立处理容器及其包含的内容、同时保持容器/包含关系不变的方法来定义容器。

[0245] 在图82C中，取消选择手势822的检测使容器1117显示为数字墨水容器1117a’，该数字墨水容器1117a’是数字墨水容器1117a的调整大小后的版本。在图82D中，在容器1117a’内、在文本1116a下方输入的手写文本823被显示为数字墨水文本823a。由于输入
1116、1117和823的相对位置和特性(例如，应用112使用预先设置的和可设置的空间阈值，其中文本1116和823彼此接近度小于阈值提供了文本属于文本块的高似然性)，应用112检测到文本1116和823是相关的。

[0246] 备选地，在图83A中，以选择模式来示出图78A中的容器780和文本781，即如包含所选择的排版短语781c的所选择的排版矩形780c那样。由于容器780c是矩形，因此其被显示为具有选择框手控键830。此外，在调整大小控键830中的一个上的手势输入831被检测为沿箭头O的方向对该调整大小控键830的移动操作。

[0247] 在图83B中，调整大小操作使得对容器及其内容进行了调整大小，并且显示所选择的排版矩形780c’和作为文本781的重排文本块的所选择的排版短语781c’。因此，当容器和文本都被选择时，在对容器调整大小期间，文本移动。在图83C中，取消选择的调整大小后的要素被显示为数字墨水容器780a’和数字墨水文本781a′。

[0248] 在图82的示例中，在对容器调整大小之后，向包含数字墨水文本的容器添加手写文本。然而，向容器添加文本的能力也可以在对已经包含的文本进行排版后执行，无论是否调整容器的大小。这可以在已经创建的已经排版的图中完成或者在如针对示例图1100所描绘的在图创建时的逐步排版期间完成。图84中示出了逐步排版的示例。在图84A中，在形状841内输入的手写文本840分别被显示为数字墨水文本840a和数字墨水形状841a。文本840被检测为文本并被识别为单词“This is”，并且形状841被检测为非文本并被识别为矩形。
在图84B中，识别结果被显示为包含排版单词840b的排版矩形841b，并且相对位置和尺寸实质上维持不变。在图84C中，在排版矩形841b内、在排版单词840b的右侧输入的手写文本842被显示为数字墨水文本842a。附加文本842被检测为文本并被识别为单词“a cell”。在图
84D中，识别结果被显示为排版单词842b，并且所有要素的相对位置和尺寸实质上维持不变。如在图82的示例中的那样，由于输入840、841和842的相对位置和特性，应用112检测到文本840和842相关，由此将文本840和842分组为文本843，并且使得组合的文本840和842被识别为短语“This is a cell”。

[0249] 在图84中，尽管容器中的文本右侧有可用空间，但容器内的排版文本以与数字墨水文本相同的相对位置保持在容器内，即保持在左手边或左侧对齐，由此遵守用户的手写输入。备选地，本系统和方法可以在容器内存在空间时调整文本位置，例如使文本居中，如图78B所示。例如，这种美化可以针对排版墨水文本和数字墨水文本中的一种或两种进行，也可以针对包含的形状进行，并且被提供为用于用户选择的设置。通常，如前所述，针对容器和单元格不同地执行这样的美化。特别地，对于仅包含文本的单元格，单元格内的文本可以被视为单元格的标签。因此，例如数字墨水和排版墨水形式的输入文本都被美化，以在单元格中居中(水平地和竖直地)。这在图85A中示出了，其中，数字墨水标签850在数字墨水单元格851中居中。在图85B中，单元格851是在选择模式下示出的，并且被显示为调整大小后的，在图85B中，数字墨水标签850仍显示在中间，例如如针对单元格标签所定义的。

[0250] 备选地，对单元格的这种调整大小(例如，超出预先设置的和可设置的尺寸阈值)可以使得单元格失去其作为单元格的定义，在这种情况下，所包含的文本不再被定义为调整大小后的容器中的标签，并且被视为文本块而不是标签，而与相关联的美化无关。这允许将其它文本块和形状轻松地输入到调整大小后的容器中。备选地或附加地，当以应用112不自动将文本链接到(美化的)文本标签(例如，添加的文本在针对相关文本使用的上述阈值之外)的方式在调整大小(或原始绘制大小)的单元格内手绘附加文本或形状时，可能发生单元格定义的丢失。可以使用相反的条件将容器重新分类为单元格。

[0251] 图86示出了容器内的多个文本块的示例。在图86A中，其中具有文本861和862的输入形状860被显示为包含数字墨水文本861a和数字墨水文本862a在内的数字墨水容器860a。在图86B中，在检测到选择手势863时，文本块862被显示为在选择模式下，作为选择的排版文本块862’。这说明文本861和862被识别为容器中的单个文本块。在图86C中，输入
860、861和862已被排版并被显示为排版容器860b和排版文本块861b和862b。

[0252] 回到示例输入，在图64B中，识别结果被显示为排版短语1155b，并且重复排版容器1117b被自动调整大小为包含排版短语1155b在内的、被显示为排版椭圆形容器1156b的容器1156，其中自动调整大小如以上关于图80所述的那样执行。此外，在图64A中，手绘输入
1157被显示为与重复项1113a的一部分重叠的数字墨水1157a。在图64B中，手绘输入1157被显示为与重复排版项1113b的一部分重叠的数字墨水1157a。输入1157被检测为手写编辑手势，并且被识别为划掉重复连接符1103上的重复标签1113的一部分。该划掉编辑操作被应用112解释为擦除重复项1113的“S-Gate”中的字符“S”。

[0253] 在图65A和图65B中，擦除操作分别从显示中去除重复项1113a和排版项1113b，并且分别将项1158显示为数字墨水项1158a和排版项1158b，即“-Gate”。

[0254] 在图66中，在文本1158a的左侧输入的手写文本1159被显示为数字墨水文本1159a。在图66B中，在排版文本1158b的左侧输入的手写文本1159被显示为数字墨水文本
1159a。文本1159被检测为文本并被识别为字符“I”。由于文本1159和标签1157的文本相对位置和特性(例如，两者都是文本对象)，文本1159被识别为与标签1157的文本相关联，使得识别项“I-Gate”。

[0255] 在图67中，识别结果使得从显示中去除排版项1158b，并且将项1160显示为排版项1160b，即“I-Gate”。当检测到与已经描述过的那些输入类似的其它少数输入时，应用112提供图11B中示出的图1100的完全排版版本。

[0256] 本系统和方法所提供的应用112如实地允许以数字墨水形式和排版墨水形式来显示手写图。识别手绘要素，使用手写识别来识别手绘要素的内容，并检测其空间和上下文关系，而且与创建的图类型和绘制要素的顺序无关。可以使用手写和计算设备手势对数字墨水形式和排版墨水形式的图进行编辑。

[0257] 尽管前文已经描述了被视为是最佳实施方式的内容和/或其它示例，但是应当理解：可以在本发明中进行各种修改，并且可以以各种形式和示例来实现本文中所公开的主题，并且最佳实施方式的内容和/或其它示例可以应用于多个其它应用、组合和环境中，这里仅描述了其中的一些。本领域普通技术人员将认识到，在不脱离本主题的真实精神和范围的情况下，可以改变或修改所公开的方案。因此，主题不限于本说明书中的具体细节、展示和示例。本文旨在保护落入本文所公开的优势概念的真实范围内的任何和所有修改和变化。

标题	发布/更新时间	阅读量
一种短文本主题确定方法	2020-05-08	650
一种图像识别的英语作文跑题判断方法	2020-05-08	167
一种基于TextCNN网络的信道编码识别方法	2020-05-08	81
一种扫描试卷中作文区域图像文本块精准定位方法	2020-05-08	524
文本信息识别方法、装置、存储介质和计算机设备	2020-05-11	863
一种情感词语文本信息分类方法	2020-05-08	748
基于语音的评分方法及相关装置	2020-05-08	295
一种基于拍照的商品价格智能查询系统及方法	2020-05-08	963
一种文本分类方法、装置及电子设备	2020-05-08	560
文本识别方法、装置、计算机可读介质及电子设备	2020-05-11	803

图中的手写识别的系统和方法

图中的手写识别的系统和方法

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：