扩增并呈现捕获的数据专利检索-用户界面软件专利检索查询-专利查询网

扩增并呈现捕获的数据

阅读：1048发布：2020-06-19

专利汇可以提供扩增并呈现捕获的数据专利检索，专利查询，专利分析的服务。并且基于捕获的数据的已识别的实体，可以将所捕获的数据进行转换和扩增以用于在文档中的特定呈现，诸如笔记本应用中的笔记。可以基于实体检测、提取以及知识库解析和检索来提供对所捕获的数据的特定呈现。提供了这样的方法、系统和服务：识别输入到笔记本应用的项目的首要实体，并且至少根据针对与所述项目相关联的内容的一个或多个结构化呈现针对所述项目的首要实体创建实体对象。根据所述首要实体确定用于呈现实体对象的模板，其中，所述模板是从对应于不同的首要实体的一组模板中选择的，以使得针对一个首要实体的布置和呈现与针对另一个首要实体的布置和呈现不同。，下面是扩增并呈现捕获的数据专利的具体信息内容。

权利要求

1.一种用于对捕获的数据进行扩增和呈现的方法，包括：
接收针对与输入到笔记本应用中的项目相关联的内容的一个或多个结构化呈现；
识别所述项目的首要实体，其中，所述首要实体定义了与所述项目相关联的所述内容；
根据至少所述一个或多个结构化呈现，创建针对所述项目的所述首要实体的实体对象，其中，所述实体对象包括与输入到所述笔记本应用中的所述项目相关联的另外的信息，所述另外的信息是从与所述项目的源不同的一个或多个源检索的；
根据所述首要实体而确定用于呈现所述实体对象的模板，所述模板是从一组模板中选择的，其中，所述一组模板中的每个模板对应于不同的首要实体，使得针对一个首要实体的布置和呈现不同于针对另一个首要实体的布置和呈现；以及
根据所选择的模板，在到所述笔记本应用的用户界面中提供所述实体对象。
2.根据权利要求1所述的方法，其中，所述项目包括统一资源定位符(URL)，所述方法还包括：
从网络数据服务中请求针对与所述URL相关联的所述内容的所述一个或多个结构化呈现；以及
从所述网络数据服务中，接收与由所述URL所引用的文档的内容相关联的一个或多个模型，所述一个或多个模型提供对所述项目的所述一个或多个结构化呈现。
3.根据权利要求1所述的方法，其中，所述项目包括图像，所述方法还包括：
对来自所述图像和与所述图像相关联的元数据的信息进行提取和分类；以及通过使用所提取和分类的来自所述图像和与所述图像相关联的元数据的信息，生成所述一个或多个结构化呈现中的至少一个，
其中，识别所述项目的所述首要实体包括使用所提取和分类的来自所述图像和与所述图像相关联的元数据的信息。
4.根据权利要求3所述的方法，还包括：从知识库或网络数据服务请求与关联于所述首要实体的至少一个属性相对应的详细信息。
5.一种用于对捕获的数据进行扩增和呈现的系统，包括：
一个或多个计算机可读存储介质；以及
存储在所述一个或多个计算机可读存储介质上的、用于呈现针对笔记本应用所捕获的内容的程序指令，当被处理系统执行时，所述程序指令引导所述处理系统进行以下操作：
请求针对与输入到笔记本应用服务的项目相关联的内容的首要实体的实体对象，其中，所述首要实体定义了与所述项目相关联的所述内容；
根据所述首要实体而确定用于呈现所述实体对象的模板，所述模板是从一组模板中选择的，其中，所述一组模板中的每个模板对应于不同的首要实体，使得针对一个首要实体的布置和呈现不同于针对另一个首要实体的布置和呈现；以及
在到所述笔记本应用服务的用户界面中，显现针对与输入到所述笔记本应用服务的所述项目相关联的所述内容的所述实体对象的实体特定的呈现，其中，针对所述实体对象的所述实体特定的呈现的布置是由对应于所述首要实体的模板控制的，其中，所述实体对象包括来自针对与所述项目相关联的所述内容的一个或多个结构化呈现的属性以及与所述项目相关联的另外的信息，所述另外的信息是从与所述项目的源不同的一个或多个源检索的。
6.根据权利要求5所述的系统，其中，所述项目包括URL、图像、和剪辑中的一个或多个。
7.一个或多个计算机可读存储介质，其具有存储在其上的、用于对所捕获的数据进行扩增和呈现的程序指令，当被处理系统执行时，所述程序指令引导所述处理系统进行以下操作：
识别输入到笔记本应用中的项目的首要实体，其中，所述首要实体定义了与所述项目相关联的内容；
至少根据针对与所述项目相关联的内容的一个或多个结构化呈现，创建针对所述项目的所述首要实体的实体对象，其中，所述实体对象包括与所述项目相关联的另外的信息，所述另外的信息是从能够通过互联网访问的源或者一个或多个知识库获得的；
根据所述首要实体而确定用于呈现所述实体对象的模板，所述模板是从一组模板中选择的，其中，所述一组模板中的每个模板对应于不同的首要实体，使得针对一个首要实体的布置和呈现不同于针对另一个首要实体的布置和呈现；以及
根据所选择的模板，在到所述笔记本应用的用户界面中提供所述实体对象。
8.根据权利要求7所述的介质，其中，所述项目包括URL，其中，所述程序指令进一步引导所述处理系统进行以下操作：
从网络数据服务中请求针对与所述URL相关联的所述内容的所述一个或多个结构化呈现；以及
从所述网络数据服务中，接收与由所述URL所引用的文档的内容相关联的一个或多个模型，所述一个或多个模型提供对所述项目的所述一个或多个结构化呈现。
9.根据权利要求7或8所述的介质，其中，所述项目包括图像，其中，所述程序指令进一步引导所述处理系统进行以下操作：
对来自所述图像和与所述图像相关联的元数据的信息进行提取和分类；以及通过使用所提取和分类的来自所述图像和与所述图像相关联的元数据的信息，生成所述一个或多个结构化呈现中的至少一个，
其中，所述项目的所述首要实体是通过使用所提取和分类的来自所述图像和与所述图像相关联的元数据的信息来识别的。

说明书全文

扩增并呈现捕获的数据

[0001] 相关申请的交叉引用

[0002] 本申请要求享有于2013年8月7日提交的序列号为61/863,241的美国临时申请的优先权。

背景技术

[0003] 通过多种网页和用户生成内容捕获工具及其相关联的收集和积酿(curation)应用(诸如Microsoft 和笔记本应用)，促进了对内容的收集以便之后的访问、组织和修改。“网络剪辑器(web clipper)”是这样一种工具：它通常运行在客户端处的网络浏览器上，以使得能够对来自网络浏览器所显示的网页的内容进行剪辑。其它工具和输入机制可以用于聚集并且存储内容。例如，可以通过麦克风和摄像头捕获音频或视频，且可以通过键盘、键板、触摸屏或鼠标来捕获某些文本。

[0004] 当在笔记本应用中时用户可以对捕获到笔记本中的内容进行注释、加标签以及以其它方式进行组织。通常，将内容的基本拷贝/粘贴或截屏/照片捕获到笔记本中。例如，网页的捕获通常可以包括广告，且在一些案例中包括网页的导航条以及其它元素。相似地，其它输入(例如照片)也可以被笔记本应用照原样直接捕获。发明内容

[0005] 基于针对所捕获的数据的已识别的实体，可以将所捕获的数据进行转换和扩增以用于在文档中的特定呈现(例如，笔记本应用中的笔记)。可以基于实体检测、提取以及知识库解析与检索来提供对所捕获的数据的特定呈现。

[0006] 对输入到笔记本应用中的信息进行呈现与扩增的方法可以包括：接收针对与输入到笔记本应用中的项目相关联的内容的一个或多个结构化呈现，识别所述项目的首要实体(primary entity)，并且至少根据所述项目的一个或多个结构化呈现为该项目的首要实体创建实体对象。可以根据针对所述首要实体的模板来将所述实体对象呈现在到笔记本应用的用户界面中。模板可以选自对应于不同的首要实体的一组模板，以使得针对一个首要实体的布置和呈现与针对另一个首要实体的不同。

[0007] 可以提供便于对所捕获的数据进行的实体特定的呈现的系统和服务。所述系统可以包括支持笔记本应用捕获服务的一个或多个服务器，所述笔记本应用捕获服务能够基于所捕获的内容的已确定的首要实体来增强对所捕获的内容的呈现。所述服务能够根据针对与输入到笔记本应用中的项目相关联的内容的至少一个或多个结构化呈现为所述项目的首要实体创建实体对象。实体对象可以包括从所述项目提取的内容，以及为了对从所述项目中捕获的数据进行扩增而检索的另外的内容。

[0008] 还可以提供这样的系统，其中能够根据实体特定的模板显示与输入到笔记本应用中的项目相关联的内容的实体对象。该系统可以为与输入到笔记本应用中的项目相关联的内容请求实体对象，并且，在所述笔记本应用的用户界面中，能够显现对所述实体内容的实体特定的呈现。

[0009] 所述项目可以是统一资源定位符(URL)、音频、视频、图像(照片、图形等)、字处理文档、超文本标记语言(HTML)文档、演示文稿文档(presentation document)、可移植文档格式(PDF)等。所述项目的首要实体可以通过对笔记本应用所捕获的或以其他方式输入到笔记本应用的内容(或数据)进行的实体确定(entity determination)来识别。可以根据所述项目的至少一个或多个结构化呈现来创建实体对象。在一些案例中，所述内容的一个或多个结构化呈现(例如，来自内容源、知识库或两者)，可以用于便于对所述项目的首要实体的识别。

[0010] 提供本发明内容是为了以简化形式引入各式各样的概念，这些概念在下文中在具体实施方式中进一步描述。本发明内容并不是想要标识所要求保护的主题的关键特征或本质特征，也不是想要用于限定所要求保护的主题的范围。附图说明

[0011] 图1示出了用于捕获数据的操作环境。

[0012] 图2示出了一种实施方式的过程流程图。

[0013] 图3示出了示例捕获服务的功能图。

[0014] 图4示出了根据多个模型进行的实体对象创建。

[0015] 图5示出了针对具有用户界面的系统的功能图。

[0016] 图6示出了根据一种实施方式的捕获服务的示例过程流程。

[0017] 图7A和7B示出了其中在网络剪辑中已辨识的实体被分配了实体容器的示例场景。

[0018] 图8A-8E示出了根据一种实施方式的示例场景的过程流程的用户界面。

[0019] 图9A-9G示出了根据一种实施方式的示例场景。

[0020] 图10A-10D示出了用于捕获和呈现图像项目的场景。

[0021] 图11A-11C示出了用于捕获和呈现图像项目的另一个场景。

[0022] 图12示出了用于捕获和呈现图像项目的又一个场景。

[0023] 图13A-13C示出了捕获与URL相关联的内容的场景

[0024] 图14示出了对所捕获的URL的经扩增的呈现。

[0025] 图15A-15C示出了具有针对某种实施方式的过程流程的系统架构图。

[0026] 图16示出了可以被实现用于捕获服务的实体挖掘引擎(entity mining engine)的系统架构。

[0027] 图17是示出了在一些实施例中使用的计算设备的组件的方框图。

[0028] 图18示出了可以用于实现本文中所描述的方法和服务的计算系统的组件。

具体实施方式

[0029] 基于针对所捕获的数据的已识别的实体，可以将所捕获的数据转换和扩增，以用于在文档中的特定的呈现，诸如笔记本应用的笔记。能够基于实体检测、提取以及知识库解析与检索来提供对所捕获的数据的特定呈现。

[0030] 所述项目可以是URL、音频、视频、图像(照片、图形等)、字处理文档、HTML文档、演示文稿文档、PDF等。所述项目的首要实体可以通过对与所述项目相关联的内容(或其它数据)进行的实体确定来识别，并且通过笔记本应用来捕获或者以其他方式输入到笔记本应用。所述内容可以是例如来自网页或其他文档文件类型(包括HTML、PDF、Microsoft文档(DOC)、办公室开放可扩展标记语言(OOXML)格式(DOCX)等文件格式)的音频、照片、视频、格式、风格、布局和/或文本。

[0031] 在一些案例中，文档理解技术可以用于解析所述内容，以便于识别和理解页面上的对象(例如，实体类型确定)。以此方式，有可能理解在页面上的是什么，例如，在该内容是关于电影、书、食谱、商业合同等的情况下。

[0032] 实体可以指的是人物、地点、事物、事件、任务或概念。实体的对象涉及的是该实体的有形的形式。如果实体具有至少一个特定属性并且不依赖于另一实体，则该实体是强实体类型。例如，“指环王”命名了“书”实体类型的一个对象，该对象可以利用可包括标题、作者以及国际标准书号(ISBM)号码的属性来限定。“书”实体可以被视为强实体类型，而“ISBN”是依赖于书的而将不被视为强实体类型。

[0033] 由于可以有许多从内容中识别的实体，因此“首要实体(primary entity)”指的是可以用于定义内容的主要的占主导地位的实体。例如，首要实体可以是“书”、“食谱”、“商务名片”或其它特定实体，其当被确定存在于所捕获的内容中时，便于对用于呈现针对所述内容创建的所述实体对象的模板的选择。没有必要让所有实体都具有一个对应的模板。在一些案例中，可以针对不具有(一个或多个)特定的相关联的模板的那些首要实体使用缺省模板。

[0034] 在一些方法中，服务根据与输入到笔记本应用中的项目相关联的内容来进行实体确定，并且创建由结构化数据构成的实体对象，例如本文中描述的实体容器，其提供了一个对象以及该对象的一个或多个属性(属性元素)。在一些实施方式中，实体容器还包括服务元素。服务元素可以使得用户能够采取与该实体相关的行动(例如，购买项目、设定日历事件、分享以及推荐项目)。可以使得对于服务元素可用的服务从多种在线服务中可用。对象的属性可以从互联网上的多个源获得。

[0035] 实体对象可以利用项目的一个或多个结构化呈现来创建。术语“实体对象”和“实体容器”在本文可以互换地使用，以用于指代将所捕获的内容扩增到与已识别的首要实体关联的特定的结构化格式。一个或多个结构化呈现可以包括由网络数据服务所创建的模型(或专题卡片)，其用来描述(并且存储信息关于)一个网站和/或一个或多个网页。除了由网络数据服务提供的那些以外，结构化呈现可以在知识库中发现或可以从内容源中得到(例如，内建到网页或其它文档中，该网页或其它文档由输入到笔记本应用中的项目所引用或者作为输入到笔记本应用中的项目被包括)。在一些案例中，所述内容的一个或多个结构化呈现(例如，来自内容源、知识库或两者)可以用于便于对该项目的首要实体的识别。

[0036] 在某些实施方式中，页面上的(或从各个不同位置处的源检索的)元素可以被布置成结构化数据，以使得信息可以以上下文适当(contextual appropriate)的方式被示出(例如，渲染(render))。可以提供模板，以使得为输入到笔记本应用中的项目而创建的实体对象可以基于已识别的首要实体来呈现。也即，用户试图捕获的事物(也即，实体)的经转换的视图可以被呈现并被存储。这也可以针对设备而调整(例如，取决于可用带宽、显示器屏幕尺寸、用来查看的应用、以及其它客户端特定的特性)。

[0037] 对于URL，网站页面(或其它文档)可以被转换，以用于基于根据该网站页面识别的首要实体而进行的呈现。可以针对网站页面(或其它文档)的内容创建实体对象，并且根据与该首要实体相关联的模板而呈现。例如，食谱的首要实体可以使得选择用于呈现为该食谱创建的实体对象的食谱模板，该食谱模板使得用户能够根据配料的列表来核对配料的使用或购买。

[0038] 对于图像，如果图像能够具有待提取的信息并且能够被分类为可识别的实体，则可以为该图像的内容创建实体对象，并且可以将该图像的内容进行转换以用于基于已识别的首要实体来进行呈现。例如，被识别为具有商务名片的首要实体的图像，可以被转换成由关于该商务名片所提供的联系信息的个人的信息构成的表格。在图像中(或网站页面或其它文档的内容)未发现但却与所述首要实体相关的另外的信息，可以通过知识库来获得。对于商务名片的例子，关于该个人的补充信息可以通过社交媒体网站例如来获得。

[0039] 有利地，某些实施方式提供了以下能力：捕获结构化内容，并且在经过捕获、召回(recall)以及再利用的过程中自始至终维持其语义。这使得用户能够捕获用户真正感兴趣的信息，并且以优选的位置和格式将其存储。此外，相关的信息一旦被召回，就可以在正确的时间和地点成为可以访问的。

[0040] 描述了对被收集、授权、消费或剪辑的内容进行的扩增或其它增强。对于给内容提供扩增的服务入口点(entry point)可以是，例如，来自剪辑器、阅读器、文档或图像察看器、文字处理以及其它生产力应用、收集和积酿应用、以及消息收发应用。

[0041] 描述了给用户提供内容捕获选项的技术，所述技术辨识所捕获的内容的主题并且供应与所捕获的主题相关的另外的信息(原本该信息在捕获的时刻不是立即提供给用户的)。此扩增，连同其它增强一起，可以是自动的，或响应于用户的请求而执行。扩增服务被呈现为可以作为捕获服务(例如，与笔记本应用相关联的服务，例如Microsoft或 )的一部分而提供。

[0042] 在一些案例中，扩增是在收集的时刻(例如，当用户从网页剪辑内容时，或紧接着将项目输入到笔记之后)进行的。在一些案例中，扩增可以在当用户对在文档中(例如，在笔记本应用的笔记中)的内容进行修改或操纵时执行。在一些案例中，所述扩增可以当该内容正在被保存到文档中时执行。其它案例也可以适合于自动的或用户请求的扩增。

[0043] 扩增的内容可以包括比在项目中所提供的更为特定和/或相关的内容。捕获服务通过访问与所述内容相关的另外的信息和/或以定制的且便利的方式操纵所述内容，来便于对内容的扩增。

[0044] 对内容的扩增还可以便于利用项目、首要实体、首要实体的对象、实体对象或实体对象的属性来采取的行动。此外，可以通过对正被收集的主体(实体)进行理解，来促进增强的用户体验。某些实施方式将结构和语义应用到用户的笔记，以便于.增强整体体验。

[0045] 图1示出了用于捕获数据的操作环境。参考图1，捕获服务115可以促进对输入到笔记本应用中的剪辑或其它项目进行的实体确定与扩增，以包括与实体相关的特征和/或功能。作为实体确定的一部分，可以关于正在捕获的内容执行实体辨识。此过程可以在客户端100处本地执行或是作为捕获服务115的一部分执行。

[0046] 根据一个实施例的捕获服务115执行一些处理以针对应用对剪辑(clipping)进行定制或扩增。捕获服务115可以提供扩增服务(无论是直接地或间接地)，并且可以提供用于扩增服务的应用编程接口。扩增服务可以与捕获集成地或相独立地提供。

[0047] 捕获服务115可以是这样的网络服务，其可以托管(host)于云中或者通过一个或多个由提供笔记本服务或捕获服务的实体分配的服务器运行。

[0048] 云服务一般指的是提供可以扩展的(scalable)处理和存储功能的托管服务。云计算通常可以包括虚拟化的资源。通过云计算呈现的资源以它们本身作为服务提供，其中云计算顾客租赁使用来自拥有物理基础设施的第三方提供商的资源。网络服务可以由云服务提供和/或托管(例如，作为大规模分布式计算环境的一部分)。网络服务是这样的软件系统：其支持在网络上的可以互通的机器到机器的交互，并且使得软件能够连接到其它软件应用。

[0049] 网络服务提供了一批技术标准和协议。例如，网络服务提供了可以通过发送和接收消息的软件代理或硬件代理来实现的功能(例如，计算平台请求和提供特定服务)。应用可以通过普遍存在的网络协议和数据格式来访问网络服务，例如超文本传输协议(HTTP)、XML、JavaScript对象注释(JavaScript object Notation，JSON)、以及SOAP(起初是简单对象访问协议(simple object access protocol)的缩略词)。本文中描述的系统、应用和服务可以根据一个或多个应用编程接口(API)来交换通信。

[0050] (一个或多个)客户端100可以用于浏览网络和运行应用例如消息收发应用102、浏览器104，以及在一些案例中，生产力应用或阅读器或笔记本应用106。

[0051] 消息收发应用102可以是但不限于：电子邮件应用、支持短消息服务(SMS)通信的应用、或者支持多媒体消息服务(MMS)通信的应用。消息收发应用102的例子包括：本机应用，其可用性是通过操作系统(例如 iOS消息收发、 IMessage、消息收发、消息收发)，消息收发App(WhatsApp、
Messanger，Microsoft SkypeTM、 Live Messanger、 Hangouts、
Handcent SMS、Hello SMS、Go SMS、KaKao Talk、 Messanger)，以及电子邮件应用(Microsoft Google App for AndroidTM、
MailDroidTM、TouchDownTM、 Mail)。在一些案例中，可以将内容发送到捕获服务
115，该捕获服务作为从消息收发应用102发送的消息的收件人。例如，用户可以发送消息给“me@onenote.com”以将消息的内容添加到其笔记本账户。

[0052] 浏览器104的例子包括 Internet Explorer、Google Apple以及Mozilla 生产力应用、阅读器以及笔记本应用106的例子包括：
Office、Microsoft Google DriveTM、
Reader、 OpenOffice， Office、 Reader以及Apple

[0053] 剪辑器108是本地运行的应用，其可以用于为用户收集并且捕获内容(包括经扩增的内容)。通过剪辑器108，用户可以选择剪辑整个页面、整个页面的经提取的部分、页面的一个或多个区域和/或所述页面的已辨识的对象/实体(以实体容器的形式)。作为一些示例，剪辑器108可以是网络剪辑器、运行在操作系统上的剪辑工具、具有剪辑特征(clipping feature)的应用、或笔记本应用的扩增特征。剪辑器108也可以用作用于分享客户端100上的照片的选项。剪辑器108可以是也可以不是与用于内容的目标应用直接相关联的。

[0054] 网络剪辑器通常将来自网站的内容进行剪辑，并且将该内容插入到与该剪辑器相关联的笔记或其它应用内。网络剪辑器通常运行在客户端100处的网络浏览器104上。网络剪辑器例如可以用JavaScript实现，并且可以是与网络浏览器104可互通的(且在一些案例中是集成的)。因为每种网络浏览器具有不同的能力，网络剪辑器可以基于网络浏览器而被配置。

[0055] 在一些例子中，剪辑器108可以包括与计算设备(例如平板电脑)上的操作系统相关联的软件工具，其可以被调用以确定当时在屏幕上最占主导地位的实体。例如，可以使用触摸或非触摸手势触击来调用该工具并且获取该实体(且在进一步的实施方式中为占主导地位的实体获取实体容器)。作为另一个例子，可以按下键盘按钮(例如截屏键)来调用该工具并且获取该实体。

[0056] 在一些案例中，剪辑器108作为浏览器104的外挂(add-on)、插件(plug-in)或小书签(bookmarklet)而被包括，以对在浏览器104内渲染的内容进行剪辑。小书签是网络浏览器的扩展功能，通常是以作为网络浏览器中的书签(bookmark)的一部分(或作为网页上的超链接)而存储的JavaScript程序的形式。在一些案例中，剪辑器可以作为操作系统(未示出)的用于捕获被渲染在显示器上的任何内容(与截屏功能相似)的特征而被包括。在一些案例中，剪辑器可以作为生产力应用或笔记本应用106的网络功能或外挂而被包括。

[0057] 在各种实施例中，剪辑器108可以收集并且捕获内容，该内容接下来被存储在“云”存储设备110或者在另一个远程(非本地)目的地。“云”指的是这样的存储设备和系统，其作为托管服务的一部分在互联网上对用户可用。所捕获的内容也可以本地存储在客户端处。

[0058] 可以通过消息收发应用102和/或剪辑器108而将内容发送到用户的笔记或其它应用文档。笔记或其它应用文档可以被存储在云(例如，存储设备110)中。在一些案例中，笔记或其它应用的本地副本是可用的。该笔记或其它应用文档可以被访问或与在客户端上运行的应用106相关联。剪辑器108可以将来自浏览器104(或某个其它应用)的内容提供给多个笔记和/或其它应用文档，以及通过捕获服务115呈现另外的功能和增强。捕获服务115还可以为通过消息收发应用102发送的内容提供功能和增强。

[0059] 当使用捕获服务115来从所述内容中辨识一个实体(或多于一个实体)时，该捕获服务115可以与云存储设备110和/或目的地存储设备(例如，企业服务器或其它特定远程存储设备)(未示出)相接，例如通过给云存储设备110和/或目的地存储设备提供该内容(以及对该内容的任何增强或扩增)。

[0060] 在一些实施方式中，作为扩增(以及对象实体创建)的一部分，捕获服务可以与网络数据服务125相通信，以从相关的结构化内容(也称为“结构化知识”或“知识图”)的数据库130获得信息。数据库130可以是由搜索引擎提供商诸如和聚合并且托管的，然而也可以使用在互联网上可以访问的、在其它网络(私有的和/或公共的)上可以访问的、或甚至在用户的本地机器上可以访问的其它知识库数据库。在一种实施方式中，捕获服务115可以直接从数据库130获得结构化内容。

[0061] 在一些案例中，可以现场地(on-the-spot)生成相关的结构化内容。在一个这样的例子中，捕获服务115可以和搜索引擎服务相通信以执行搜索。搜索引擎服务可以从互联网上的各种各样的源检索信息(例如，源140、142和144)。在一些案例中，搜索引擎服务可以是由与网络数据服务125的相同的提供商提供的分立的功能。在其它案例中，该搜索引擎服务可以是由不同的提供商来执行的。

[0062] 该捕获服务可以包括API，以使得任何应用能够：捕获页面上的实体、获取实体封装(包括相关联的模板)，并且甚至存储针对指定的应用的实体封装(或者在这样的存储位置，该存储位置与用户相关联并且可以由一个或多个应用访问)。在一些案例中，其中该页面是网页(或网页的一部分)，可以由该捕获服务从搜索引擎服务获得卡片。捕获服务可以根据该卡片检测该页面的(一个或多个)实体。

[0063] 该应用或剪辑器可以向所述服务请求，对于页面或文档是否存在可以辨识的实体。所述服务可以确定占主导地位的(一个或多个)对象，并且为该对象提供实体容器。可以确定首要实体(基于占主导地位的一个或多个对象)，并且可以针对实体容器创建实体对象。实体对象可以根据对应于首要实体的模板来呈现。

[0064] 捕获服务115可以使用在网络上通信的一个或多个物理的和/或虚拟的服务器来实现。在一些案例中，捕获服务115可以在存储设备110中存储或维持从剪辑器108所提供的剪辑的地址。所捕获的内容(包括实体容器)可以从存储设备110直接访问或通过捕获服务115访问，以便插入到不同类型的文档中。在一些实现方式中，其它客户端和服务器可以与捕获服务相通信，以便于在不使用剪辑器108的情况下利用可从捕获服务得到的功能。

[0065] 作为在图1中所示的环境的一部分而描述和/或示出的各种网络，可以包括但不限于，互联网，内联网或外联网，并且可以是任何适当的通信网络，包括但不限于：蜂窝(例如，无线电话)网络、互联网、局域网(LAN)、广域网(WAN)、WiFi网络、自组织(ad hoc)网络或上述各项的组合。这样的网络可以涉及网络元件的连接，网络元件例如集线器、桥接器、路由器、交换机、服务器、和网关。网络可以包括一个或多个连接的网络(例如，多网络环境)，包括公共网络(例如互联网)，和/或私用网络，例如安全的企业私用网络。对网络的访问可以经由一个或多个有线的或无线的访问网络来提供，如本领域技术人员将会理解的。

[0066] 图2示出了根据一种实施方式便于自动扩增的处理流程。参考图2，响应于接收到输入到笔记本应用中的剪辑或其它项目(例如，URL、图像)(200)，可以执行实体确定(210)。

[0067] 该实体可以被自动分辨(resolve)，或用户可以选择该实体的类型。在一些案例中，组合可能是适合的，例如当没有足够的信息以用于以在阈值之上的置信度确定占主导地位的对象是特定的对象时。

[0068] 在一些案例中，剪辑包括指示实体类型的标记(marker)或标签(tag)。当剪辑包括对实体类型的指示时，实体确定可以包括读取标签或标记。

[0069] 在一些案例中，实体确定包括对剪辑的内容进行分析以确定剪辑的实体。可以响应于接收剪辑而识别文档或网页的实体。被识别为用于在此案例中使用的实体，是强类型的实体。为识别占主导地位的实体，可以使用任何适当的技术。例如，分类、图像识别、文本挖掘、语义、以及本体框架(ontology framework)，可以用于从字符串或其他内容格式中识别占主导地位的(以及不占主导地位的)实体。

[0070] 在一些案例中，实体确定涉及联系搜索引擎服务(或其它网络数据服务)来请求关于URL的信息，例如，以“专题卡片”(在这里定义为关于实体的结构化的和非结构化的信息)的形式，其可以包括对与网页相关联的(一个或多个)实体的指示。在一些案例中，对于一个URL，多个“专题卡片”或模型可以是可用的。

[0071] 在实体被确定(210)之后，然后可以以标记(marker)形式将所收集(“剪辑”)或以其它方式输入到笔记本中的内容与强类型的实体相关联(215)。虽然该步骤被示出是在执行扩增(220)之前进行的，但对标记进行的分配可以在实体被确定之后任何时间执行，包括在执行扩增之后、在存储该剪辑的时刻、以及甚至在提供对该剪辑的预览之后。

[0072] “标记”类似于可以作为文档或页面的元数据的一部分来存储的“标签”。标记甚至可以作为标签来使用。然而，标记可以与在文档或页面内的元素或对象以及页面本身的元数据相关联。此外，标记促进了另外的功能，该功能特定于成为可以辨识的实体，并且在一些案例中包括这样的模式(schema)：提供针对正在被标记的对象的属性的特定的结构。也即，与标签不同，实体标记呈现了关于如何存储与该实体相关的信息的标准模式。虽然为描述页面可以添加任何元数据，但加标签倾向于不是统一的。

[0073] 在一些案例中，在同一页面上可以有多个实体。例如，搜索结果页面可以具有多种葡萄酒。作为另一个例子，一个博客帖子可以包括食谱(一个实体)和关于作者访问过的地区的一篇文章(另一个实体)。同一实体类型的多个对象，或不同实体类型的多个对象，可以被辨认并且存储在它们的对应的结构(也即，实体对象)中。

[0074] 在一些案例中，与内容相关联的实体每一个均可以具有置信值，且该内容可以被标记为具有在某一阈值以上的置信值的实体。在一些案例中，多个强实体可以存在于一个页面或文档上。各个区段可以以它们的对应的实体来标记，而页面或文档作为一个整体可以以多个实体来标记。

[0075] 在一些案例中，其中所捕获的内容可以包括多个实体(或这样的情形：其中基于所捕获的内容不可能或不容易实现将结果窄化到单个实体)，实体确定可以包括：输出由捕获服务理解的可用实体的列表，并且响应于接收到对可用实体中的一个的选择来确定实体。在一些案例中，其中对象可以以不同的实体形式(例如书和电影)存在，可以包括特征以使得用户能够对正被提及的实体进行校正或选择。此情况可能发生在当有两个或更多个实体类型适用于相同的一般主题内容时。

[0076] 一旦确定了实体(210)，就可以根据该实体执行扩增(220)。扩增可以是：实体容器(也被称为“实体对象”)的创建、与实体相关的处理、或两者的组合。

[0077] “实体容器”(或“实体对象”)指的是，具有特定于实体类型的结构化模式的信息的封装。可以响应于从应用(或剪辑器)接收对于实体容器的请求来生成实体容器，或者响应于对剪辑或对调用扩增的某种其它特定事件的接收来自动地生成实体容器。实体容器呈现了数据的结构化收集，这基于对剪辑(其可以是整个页面或是对页面进行的区域选择)中的(一个或多个)占主导地位的实体的确定。当在一个页面上发现多个实体时，可以识别每个实体，并且对它们的对应的结构化数据收集进行呈现(和/或存储)。

[0078] 强类型的实体容器不仅仅是对对象进行描述的一个(或多个)关键词。相反地，实体容器提供了该事物/对象是“什么”(例如，“书”)；提供可以在该实体上采取的(一个或多个)行动(例如，阅读关于“书”的评论)；使能到实体容器访问(例如，使得对于具有访问“书”的许可的第三方可用，或者提供标签用于查询)；并且使得行动能够被执行(例如，“书”可以被发送到在线书店的心愿单)。

[0079] 在一些案例中，实体容器可以根据从搜索引擎服务接收的一个或多个卡片(或“模型”)来生成。该卡片可以包括实体信息，以及与该实体的对象相关的各种属性。由于搜索引擎服务已经分析了该页面并且制备了卡片，因此可以省略用于对从本地应用或捕获服务所捕获的内容相关联的实体进行确定的另外的分析。

[0080] 当使用网页的URL来从搜索引擎服务请求相关联的实体时，被提供用于指示该实体的卡片也可以用于生成实体容器。

[0081] 对于实体相关的处理，可以通过多种方式对剪辑进行处理或转换。在某些实施方式中，所述过程可以包括：从网页的主要内容中移除广告，或查找由页面作者嵌入在页面的HTML中的实体标签。在一些案例中，所述转换可以包括：将可读文本与所渲染的内容分离，以根据可读文本生成图像。在一些案例中，转换可以包括提供超链接辨识，从而可以使得在图像中所示的内部链接是“活的(live)”并且是可选择的。在一些案例中，转换可以包括将重复的背景内容从所绘制的内容中移除。所述转换可以是上述的或者其它类型的转换过程(包括：过滤、文本辨识、图像辨识以及加标签)的任意组合。

[0082] 可以在客户端处(作为在剪辑器处的过程的一部分)或是在捕获服务处确定该实体。当通过剪辑器捕获时，可以针对该剪辑渲染预览，并且该预览可以示出对于该剪辑可用的扩增。当将项目输入到笔记中时，实体确定可以自动地执行或响应于用户命令而执行。

[0083] 扩增的剪辑可以被存储(230)，并且，可选地，以预览方式提供给客户端(240)。在一些实施方式中，可以基于已辨识的实体来呈现定制的视图(或格式)。在一些案例中，对于特定的属性具有适当的内容的实体容器结构，可以用特定的方式来布置。例如，对“书”实体类型的呈现可以包括以下布置：在一个位置，将书封面的图像装配在某些部分的一个矩形(或其它形状)之内，而该书的概要以特定字体处于另一个位置，作者名字在又一个位置，而ISBN号码处于底部位置。

[0084] 在一些案例中，服务元素可以被包括在特定位置。该服务元素可以是对例如用于启动在线图书销售网站的“现在购买”请求或用于启动学习指南应用的故事梗概请求的图形表示。作为其它例子，“电影”可以包括用于买票的服务元素，而“飞机票”可以包括显示关于航班状态的最新信息的服务元素。

[0085] 一旦实体类型被辨识——或者作为辨识剪辑的实体类型的过程的一部分，捕获服务可以从一个或多个源获取与实体的对象相关的元素(属性元素和服务元素)。

[0086] 根据各种实施方式，捕获服务能够以适合于特定的实体类型的形式提供相关信息(元素)。此形式可以是关于已识别的事物(也即，该实体)有意义的对元素的封装。加标签(tagging)和实体化(entitizing)之间的不同之处在于，实体化是确定在文档中或网页上的一个或多个实体生成特定于实体的布局或格式，与之对照，加标签只是简单地提供针对该文件的另外的元数据。文本、音频、图像和视频可以通过应用来捕获，并且可以捕获内容的主题。

[0087] 在某些实施方式中，实体容器模式可以根据例如从schema.org(一个将全世界系统化的公共存储库)可得的本体数据库或目录来配置。该模式可以包括与对象相关联的性质的列表。该性质的列表然后可以用于获取信息以将模式填充好。布局模板也可以被包括以使得该实体容器的视图(具有填充的属性)可以是一致的，但可以针对每个客户端或上下文进行定制(例如，如何在预览窗格内或在移动电话上呈现信息)。

[0088] 存在用于让用户将数据捕获到笔记本(以及相关联的存储器)中的多个入口点。捕获服务可以提供多种增强、功能以及特征，以使得，对于笔记本应用和相关联的服务的用户来说，事务更加容易、更加高效并且更加有用(且甚至更令人愉悦)。捕获服务的一项功能是，捕获由用户提供的信息，并且将该信息存储用于稍后的由该用户进行检索和使用。在本文中描述的捕获服务，可以包括多个服务和/或可以与由相同的或不同的提供商所提供的其它服务一同工作。

[0089] 本文中所描述的捕获服务的一项功能是对所捕获的内容进行扩增。图3示出了示例捕获服务的功能图。参考图3，捕获服务可以执行用于对所捕获的数据进行扩增和呈现的方法，通过：识别一个或多个首要实体，并且为所捕获的数据的每个已识别的首要实体创建实体容器或“实体对象”。实现这一点可以通过由捕获服务针对与输入到笔记本应用中的项目相关联的内容来获取一个或多个结构化呈现。例如，捕获服务可以接收项目(300)，并且然后针对与该项目相关联的内容获取一个或多个结构化呈现(302)。在一些案例中，该项目用于捕获另外的内容，该内容用于获取授权的或结构化呈现。例如，从文档或图像中提取的内容可以用于在知识库中查找结构化呈现(且甚至用于通过搜索引擎服务生成搜索结果)。作为另一个例子，URL可以用于执行在网络数据服务索引中的查找。

[0090] 在一些实施方式中，结构化呈现可以包括从网络数据服务请求的和由网络数据服务提供的(例如，从许多搜索引擎服务提供商处可得到的)模型。所述模型有时被称为专题卡片、积攒结果(scrape results)以及结构化结果；因而，这样的短语可以互换地使用。捕获服务可以通过提供URL(其在某些案例中，可能是输入到捕获服务中的仅有的内容)，来请求来自网络数据服务(或多于一个网络数据服务)的模型。可以针对该URL作出多个查询，并且对于一个URL可以存在多个模型。

[0091] 结构化呈现可替代地或另外地包括由捕获服务(或相关的服务)根据该项目自身(例如，当该项目是图像或文档时通过从该项目提取信息，或通过访问与该项目相关联的包含或提供结构化呈现的内容)来维持的模型。

[0092] 在一些案例中，根据所提供的一个或多个模型，捕获服务可以将模型结果进行比较以确定是否存在首要实体，且如果存在，则识别该首要实体(304)。通常，模型包含多个性质(property)或属性(attribute)作为结构化数据。结构化数据映射到一个本体(ontology)，该本体可以用于确定是否存在(关于与该项目相关联的内容)可识别的实体。捕获服务可以执行逻辑，使用作为该项目的结构化呈现的一部分存在的最少数量的属性，以确定存在可识别的实体的某概率。例如，指示与URL相关联的内容包括标题、配料列表以及至少一个步骤的模型可以被识别为食谱。

[0093] 可以根据一个或多个结构化呈现，来为已识别的首要实体创建实体对象(306)。当接收到多个模型时，可以比较模型结果来确定是否存在实体(例如，映射到本体的最小数量的属性)，并且可以检索和/或填充适合于所识别的实体的属性。一些模型可以涉及对数据的不同过滤，且因此甚至当针对相同的原始参考文档存储结构化信息时可以包括不同的属性(例如，用于网页的URL可以用多个模型来存储，每个模型可能含有不同的属性)。

[0094] 图4示出了根据多个模型的实体对象创建。参考图4，捕获服务可以接收两个模型，模型A和模型B，作为一个项目的一个或多个结构化呈现。所述捕获服务可以选择“最佳”的拟合模型，通过根据选择标准来选择所述模型中的一个。选择标准可以涉及逻辑确定，一个模型具有最多数量的属性(例如，如案例1中的对模型B的选择所示)，一个模型具有映射到特定本体的最少数量的属性，和/或任何其它适当的选择标准。在一些案例中，捕获服务可以将模型合并，例如在案例2中，其中模型A和模型B二者的属性都被纳入作为实体对象的一部分。在一些案例中，实体对象可以通过从任一或全部模型中选择特定属性来形成，如在案例3中所示。模型可以从网络数据服务中接收和/或从相关联的知识库或其它数据库中检索。

[0095] 参考图3，可以确定适当的模板(308)以将数据从实体对象映射到页面上的更加有美感和/或更有用的形式。在一些案例中，捕获服务可以执行查找或其它映射技术，来确定适当的模板。在项目(以及笔记)正在被显示的时刻可以根据客户端的请求来执行对适当的模板的确定。

[0096] 图5示出了具有用户界面的系统的功能图。参考图5，可以在系统处接收项目(502)，例如在具有例如(但不限于)笔记本应用等客户端应用的用户界面的客户端设备处。响应于命令，或通过由客户端应用发出的接收项目的请求自动地，可以请求实体对象(504)。用于该项目的实体对象可以被接收，并且可以在客户端应用的用户界面的图形用户界面中显示对实体对象的特定于实体的呈现(506)。可以通过针对项目识别的首要实体的模板来控制对于特定于实体的呈现的布置。

[0097] 图6示出了根据一种实施方式的用于捕获服务的示例过程流程。对网页或其它文档的剪辑可以在捕获服务处接收(600)以便于执行扩增。一旦接收，则确定在该页面上或其它文档上的内容的一个或多个实体(610)。实现对剪辑中的对象的实体的确定，可以通过：读取来自剪辑的实体标签(612)，分析剪辑的内容(614)，和/或通过将该剪辑的URL作为请求的一部分发送给网络数据服务620来调用网络数据服务(例如从搜索引擎提供商处可得的)(616)。在一些案例中，当分析剪辑的内容时(614)，可以通过分析经剪辑的网页(或其它文档)的HTML占主导地位的对象模型(DOM)来完成实体确定。在一些案例中，当使用来自网络数据服务620的专题卡片时，然后当接收到来自网络数据服务620的一个或多个专题卡片(关于页面上的(一个或多个)实体的结构化的和非结构化的信息)时，可以在操作618中确定实体。如果捕获服务接收到实体请求(622)，则在(一个或多个)操作610中确定的实体可以被提供给发出请求的应用/设备。

[0098] 作为扩增过程的一部分，从网络数据服务(和/或搜索引擎服务，无论是相同的还是不同的提供商)接收到的信息可以用于创建实体容器。来自剪辑自身的信息可以用于填入实体容器，并且促进对实体容器的创建。

[0099] 对实体对象的创建(例如，“扩增”)可以和实体确定并行地或串行地执行的。在一些案例中，实体确定作为实体对象创建过程的结果或一部分而发生。在一些案例中，实体确定的结果引导对象创建过程。

[0100] 例如，在操作616期间，当捕获服务利用URL调用网络数据服务620时，网络数据服务620可以提供存储在网络数据服务的数据库中存储的通过URL识别的网页的性质的缓存版本。数据库将网页性质存储为结构化数据。如果数据库含有与URL相关联的信息，则该捕获服务能够接收存储在数据库中的性质(以卡片的形式)。可以从卡片读取实体确定(618)，并且卡片信息可以用于生成实体容器(640)。例如，如果收到专题卡片(642)(由于在操作616期间请求专题卡片)，则可以读取该卡片以得到适当的数据(643)。实体容器可以是该卡片，或者可以是由网络数据服务提供的、该卡片的修改版本。

[0101] 如果捕获服务尚且不具有专题卡片，则捕获服务可以利用URL来调用网络数据服务620(644)，并且，响应于从网络数据服务接收(一个或多个)专题卡片，捕获服务可以读取该卡片以得到适当的数据(645)。在一些案例中，出于某些原因(例如，没有URL被提供或可以得)，卡片对于URL是不可用的，或者文档(或由捕获服务接收到的其它项目)不具有存储在数据库中的缓存版本。

[0102] 在没有卡片可用的案例中(以及甚至在一张卡片可用的案例中)，捕获服务可以调用搜索服务(其可以由网络数据服务的相同提供商来提供)，并且请求执行搜索(同样参见操作644和645)。该请求可以包括由捕获服务基于剪辑生成的关键词。由捕获服务生成的关键词包括，通过对剪辑的内容进行分析而确定的占主导地位的一个或多个实体。在一些实例中，标签被自动地生成和/或被用户分配给剪辑的标签也可以用于填充对搜索的请求。

[0103] 响应于接收到对搜索的请求，搜索服务可以用积酿卡片(curated card)的形式来提供搜索结果，该积酿卡片提供了该实体的结构化属性。例如，当关键词是作曲家的名字时，积酿卡片可以包括作曲家的照片、诞辰、家庭成员、著名作品，以及，在一些案例中，被共同搜索的或与该作曲家有某种其它关系的其他作曲家。此类型的积酿卡片当前在搜索引擎站点上被使用以增强某些搜索结果；然而，某些实施例可以在搜索引擎网站外部提供此功能，并且无需要求用户输入搜索项。

[0104] 也即，所述捕获服务确定用户想要从页面捕获的实体，进行对搜索服务(其可能只接收关键词)的连接，从搜索服务接收卡片，并且根据该卡片以及从互联网上各种各样的源请求并且接收到的其它信息来生成实体容器。例如，服务元素可以被包括在实体容器之内，且一旦确定了期望的和/或可用的服务元素(646)，就可以利用适当的数据填充实体容器的字段(647)。该扩增也可以包括执行与实体相关的处理650。

[0105] 捕获服务除了依赖于搜索引擎之外，还能够自行识别关键实体，这是通过自然语言处理和相关的统计学和/或基于启发式的技术。

[0106] 图7A和7B示出了示例场景，其中在网络剪辑中已辨识的实体被分配了实体容器。参考图7A，用户可以为学校课程进行对巴洛克时代的研究。当查看网页700时，用户可能决定将该网页剪辑到笔记。

[0107] 根据自动扩增技术的一种实施方式，可以为网页700的占主导地位的一个或多个实体生成实体容器。当调用捕获服务时，可以确定该网页的占主导地位的特征，并且该占主导地位的特征被关联作为强类型实体(也称为“强实体类型”)。在页面上可以辨识多于一个实体。

[0108] 页面700上的占主导地位的实体可以是约翰·塞巴斯蒂安·巴赫(Johann Sebastian Bach)(705)。对此占主导地位的实体的确定可以在剪辑器处(本地地)执行或在捕获服务处执行。在一些案例中，用户可以指示感兴趣的实体；而在其它案例中，实体确定是在后台执行的和/或无需用户输入而执行的。

[0109] 捕获服务可以响应于确定在该页面上的占主导地位的实体包括作曲家约翰·塞巴斯蒂安·巴赫而生成实体容器。利用针对所辨识的(一个或多个)实体的(一个或多个)实体容器，剪辑可以被捕获到存储设备中。实体容器可以是对于在剪辑的页面上所辨识的强实体类型可用的。

[0110] 图7B中所示的实体容器710可以在用户的设备处作为预览而被渲染。应当理解，在图7B处所示的实体容器仅仅是例示了可能形成实体容器的元素，而不应被理解为必需所示的元素或仅限于那些所示的元素。参考图7B，实体容器710可以包括作曲家名字属性元件711，概要属性元件712、图像属性元件713、生平属性元件714、关系/配偶属性元件715、子嗣属性单元717、双亲属性元件718，以及“现在听”(Listen Now)服务元件720。

[0111] 以下是如关于计算设备所提供的与本主题公开的各个方面相关联的多个屏幕截图。这样的屏幕截图仅仅是示例性的，并且是为了以图形方式描绘本公开的各方面中的至少一个实施例而被提供。当然，本主题公开并不是要被限制于所提供图形元素的位置或呈现，因为有许多别的途径来达到相同或类似的结果。

[0112] 应当理解，这些案例例子意味着示出某些特征可以如何被实现，且不应被理解为在布局、功能、特征或范围等方面进行限制。

[0113] 图8A-8E示出了根据一种实施方式的示例场景的过程流程的用户界面。在一个示例场景中，用户Joy正在浏览在线书店，并且遇到了一本她想要阅读的书。Joy可以使用剪辑工具来将书信息剪辑到她的笔记本应用中。例如，如图8A中所示，Joy可以是正在为一本书而查看网页800，在该网页800上可以呈现书封面801、概要802、(一个或多个)版本以及价格803，以及书标题和作者804。利用通过购买链接805可用的交易，该书可以用于购买。当Joy选择(S801)将该页面剪辑(通过剪辑器810)时。剪辑可以是针对页面、页面的一个区域和/或页面的占主导地位的实体。

[0114] 如图8B和8C中所示，响应于将页面800剪辑，因为捕获服务辨识出页面800的占主导地位的实体是一本书，所以剪辑器可以显示出指定的响应820，其指示已辨识的实体是一本书。该剪辑可以是在剪辑器内可编辑的，例如，在预览窗格(例如，预览窗格840)之内可以选择“编辑剪辑”命令或者可以进行修改。当剪辑页面(或该页面的部分)时，可以或者可以不自动地显示预览窗格840。图8D和8E示出了许多可替代的预览窗格配置。图8D示出了右面板预览窗格842，而图8E示出了底部面板预览窗格844。

[0115] 回到图8C，书实体容器850可以根据预览窗格840中的对应的模板而被显示。书实体容器可以提供如下属性，包括但不限于：书封面860、概要862、作者信息864、价格866、ISBN 868以及额外的信息870。针对这些属性的信息中的一些可以从网页内容其自身获取。针对这些属性的其它信息可以从一个或多个外部源获取。该模板使用来自实体容器的信息，提供了对已识别的实体(书)的增强的呈现。

[0116] 在图9A-9G中示出了用户案例序列(user case sequence)。参考图9A，用户可能正在和朋友谈话，该朋友告诉她说她必须阅读某本书。于是，用户向她的手机900讲话以将名称记录(S901)到她的笔记本应用中作为快捷笔记。在一些案例中，语音识别文本905可以被显示在该笔记之内。在接收到此输入之后，笔记本应用可以(作为同步过程的一部分，响应于由用户发出的命令，作为由于将内容接收到笔记本应用中或其它原因而激活的某些自动化过程的一部分)访问或调用捕获服务，以请求实体辨识。

[0117] 在此示例案例中，捕获服务可以指示该实体可以是一本书或一个电影，且作为结果，所记录的名称可以具有附着的标记，该标记指示该实体可以是所述书或所述电影(以及可选地，对应的置信度值)。

[0118] 于是，参考图9B，当用户打开她的笔记本应用910时，快捷笔记入口920可以出现。因为此快捷笔记的内容产生两种可能的实体类型，用户可以在此示例中选择意图针对此内容的实体类型书922或电影924。

[0119] 如图9C中所示，用户选择“书”(S902)。该选择可以将快捷笔记内容标以实体标记“书”，这可以使得容器“书”应用到该内容。对容器的应用可以包括：笔记本应用从捕获服务中为被指名的书请求书容器。对于此例子，如图9D中所示，当在笔记本应用中辨识出“书”时，可以应用一个模板以便呈现此实体对象。如所示出，书封面925(作为书容器的一部分被接收)可以被显示，并且某些功能930可以是对用户可用的，例如，该书可以被指示为能够被移动932到笔记本“要读的书”(books to read)940。

[0120] 在一些实施方式中，标记“书”也可以使能另一个应用(其可以是第三方应用)，例如阅读器，以用于在笔记本应用中的内容上执行行动。该行动可以是“阅读”，例如用于确定在笔记本中被指名的书，并且从另一个源获取文本，以使得当用户打开阅读器时，书就可以是能够用于阅读的。相似地，学生学习指南应用可以阅读在笔记本中指名的书，并且为用户呈现手册风格或梗概(synopsis)。在一个实施例中，学习指南应用具有在笔记本中访问“书”的许可，在上课期间在该笔记本应用中记下笔记的用户既可以让实体识别自动地发生也可以是在用户的命令下(例如通过选择该笔记本应用的文本或图形用户界面元件)发生。当从笔记中识别出“书”实体时(因为对占主导地位的实体的确定可以在客户端处实现，或是通过该客户端与之通信的捕获服务实现)，“书”就可以被存储。该“书”可以独立于笔记而被存储，或者作为该笔记的标记或标签而被存储。

[0121] 在另外的实施方式中，实体容器也可以被获取和存储。因为学习指南应用能够访问“书”，并且也能访问存储了该笔记(带有书标记)或该“书”(分立地)的存储空间，学习指南应用可以向用户提供对于该书的梗概。这可以在例如当用户在上课时并且记录笔记时发生或是在随后的时间当该用户访问学习指南应用时发生。

[0122] 这些扩展的行动是可能的，这是因为对内容的标记具有强类型实体。

[0123] 作为一个例子，书推荐应用(例如，与讨论书相关的社交网络)可以链接到用户的笔记本应用。当一本书在书推荐应用上被评价时，针对此书的书实体就可以被加入到笔记本应用中的“我读过的书”列表中，以使得当在笔记本中搜索书时，所推荐的书可以自动地随着相关的信息而被包括在笔记本中。相反地，当书被加入到笔记本应用时，该书可以在书推荐应用上被标记为“想要阅读”。

[0124] 参考图9E，用户可以选择(S903)功能932，用于将项目移动到“要读的书”940文件中。当“要读的书”940项目在菜单950上被初始选择(S904)作为如图9F中所示的过滤器时，“要读的书”预览960是可用的。于是，参考图9G，当用户从菜单970中选择(S904)“要读的书”940时，“要读的书”页面被显示，并且用户可以从菜单970中选择被指名的书。响应于接收到对被指名的书的选择(S905)，书容器980可以被显示。容器980可以包括书的流派、星级评定、以及简单描述，全都被显示而无需离开笔记本应用。在一些实施方式中，可以在来自该笔记的项目上采取行动。例如，在一些案例中，也可以包括“购买”按钮，其能够链接回到一个或多个在线零售商。在一些案例中，可以包括“阅读”按钮或其它任务相关的选择，以使得用户能够在已读的书和要读的书之间做出区分，无需将书从笔记本中删除。书容器980可以是与图8C中所示的书容器预览850相同或类似的。

[0125] 图10A-10D示出了用于捕获和呈现图像项目的场景。参考图10A，用户可以是处在一个事件中，并且遇到潜在的商业合同。为了捕获关于此潜在的商业合同的信息，用户可以拍下商务名片1000的照片，例如借助于用户的手机1010。

[0126] 手机1010的操作系统可以使得用户能够查看他们的照片1011并且选择照片中的一个或多个(例如，对图像1011-A进行的选择1012)，并且附着/发送该照片的一个副本(通过电子邮件、文本、帖子、或其它应用或社交媒体)。所述操作系统也可以使得某些应用能够访问照片。在此例子中，用户的选项包括电子邮件1013和笔记本应用1014。因此，在图10B中所示的示例场景中，当在手机1010上浏览经过他们的照片1011时，用户可以选择将商务名片照片1011-A分享(1015)到用户的笔记本应用1014。

[0127] 然后，如图10C中所示，当用户访问他们的笔记本时——无论是在他们的手机1010上或是在某个其它的计算设备上，在新笔记1020中可以看到图像1011-A的副本。在一些案例中，用户可以选择扩增该图像的命令。在其它案例中，图像在呈现给用户以在笔记中显示之前就被扩增。在一种实施方式中，用户可以简单地将该图像复制并且粘贴到笔记，而不是通过分享功能从他们手机发送。

[0128] 参考图10D，笔记本应用，经由捕获服务，可以以令人愉悦的并且有用的方式扩增并且呈现所捕获的数据。例如，可以执行光学文本辨识，以从图像1011-A中提取信息。粗粒度的捕获的内容可以用于在知识库中执行查找。例如，来自所提取的信息中的至少一个“名字”可以针对存储在知识库中的信息而被解析。对名字进行“解析”指的是确定(字母数字形式的)该名字所指的特定的人、对象或其它实体。

[0129] 所提取的数据可以用于对实体进行分类和识别。一旦内容被识别为商务名片(例如，首要实体是商务名片)，针对该商务名片的实体对象可以包括从该图像中直接获取的、以及针对知识库解析的、和/或从知识库中检索的诸多属性和结构化内容。在一些案例中，笔记标题1021可以随着所识别的已辨识的实体的标题而自动地更新。针对商务名片实体对象的模板可以包括具有可编辑的文本的表格1022，该表格具有：到领英(LinkedIn)(或其它网络站点)的链接1023、针对位置的地图1024、这个人的照片1025、表格1026，或所提取的信息的其它布置，以及诸多其它属性，这取决于针对商务名片实体对象所创建的特定模板。

[0130] 图11A-11C示出了用于捕获和呈现图像项目的另一个场景。在图11A中，当在手机1010上浏览经过他们的照片1011时，用户可以选择通过电子邮件1013来对商务名片照片
1011-A进行分享(1115)。如图11B中所示，用户可以将商务名片图像1011-A捕获到笔记中，通过发送新消息1116到他们的笔记本的消息地址1117。在一些案例中，消息1116的主题
1118可以用于指示将要与该内容相关联到的笔记。

[0131] 在一些案例中，捕获服务可以将捕获到笔记中的内容在将该内容显示给用户之前进行扩增。例如，如在图11C中所示，消息1116的主题1118可以是笔记的标题1121，并且可以按照商务名片模板而呈现所述图像。

[0132] 图12示出了用于捕获和呈现图像项目的又一个场景。在图12的场景中，用户可能想要从烹调书1200中捕获一个食谱。用户可以对页面扫描或拍照(1201)，结果得到该食谱的图像1202，该图像可以存储在设备1205上。用户可以通过任何适合的方法来将该食谱的图像1202发送(1206)到笔记本中。无论是在用户打开笔记之前或一旦该图像在该笔记本中时，捕获服务1207可以在图像1202上执行扩增。例如，捕获服务1207可以确定该图像是属于食谱的，并且通过提取以及知识库解析与检索，利用该食谱的结构化呈现1208生成一个实体对象。当该用户经由例如设备1210来访问他们的笔记本(1209)时，可以根据食谱模板1211呈现所述食谱。

[0133] 针对该食谱的实体对象可以包括从图像1202中提取的信息，以及补充内容1212，该补充内容可以是从知识库中检索而得的。针对食谱标题1213、配料阵列1214以及步骤阵列1215的属性可以用美观的方式布置，且甚至包括增强的功能，例如将配料列表转换成具有核选框1216的待办事项列表。

[0134] 图13A-13C示出了对与URL相关联的内容进行捕获的场景；而图14示出了对已捕获的URL的经扩增的呈现。参考图13A，用户可以是正在用平板电脑1400时浏览网站并且看到“斯特罗加诺夫牛肉”的食谱1410，用户想要将该食谱捕获到他们的笔记本应用中以便稍后使用。在一个场景中，如图13A中所示，用户可以选择将网页(或网页的一部分)剪辑1420到来自剪辑器的笔记。在另一个场景中，如图13B中所示，用户可以向他们自己发送消息1425，例如关于图11B所描述的，该消息具有指向具有该食谱的网页的URL 1430。在又一个场景中，如图13C中所示，用户可以直接将URL 1430粘贴或键入至他们的笔记1440中。然后，如图14中所示，一旦捕获服务确定该首要实体是一个食谱，则可以使用食谱模板1450来呈现针对用户的笔记1460中的食谱所创建的实体对象。

[0135] 图15A-15C示出系统架构图，具有针对某些实施方式的过程流程。操作环境可以包括客户端1500、捕获服务1505、搜索引擎服务(由搜索提供商提供的网络数据服务)1510、知识库/数据库1515、以及用户的存储设备1520。

[0136] 参考图15A，可以将剪辑1522从客户端1500发送到捕获服务1505。在一些案例中，该页面的源以其整体被发送到捕获服务。在其它案例中，提供该源的一部分；而又在其它案例中，该URL被发送并且该内容在服务器处被检索(通过该捕获服务1505)。在基础的案例中，如案例A所示，捕获服务可以将剪辑(1524)存储在用户的存储设备1520中而不进行扩增；而在一些实施方式中，可以在客户端1500处生成预览1526。

[0137] 案例B、C和D示出了便于扩增的各种配置。在案例B中，扩增可以在捕获服务1505处实现，例如涉及对广告的移除或对用于阅读的文本进行格式化以供阅读的各种过程。因此，在接收剪辑1522之后，剪辑和扩增可以被存储(1528)，并且可选地作为预览1530而被提供。

[0138] 在一种实施方式中，捕获服务1505可以包括由具有相关联的卡片的实体构成的数据库(或联系具有由具有相关联的卡片的实体构成的数据库的另一个服务)，并且能够从此数据库检索专题卡片。可以使用查找表来获取特定实体的对应卡片。

[0139] 例如，在案例C中，实体识别和扩增可以由捕获服务1505通过直接访问知识库或数据库1515来实现。响应于来自捕获服务1505的通信1532，来自知识库/数据库1515的数据(1534)可以被提供给捕获服务并且用于生成扩增的剪辑1536，其可以被存储在用户的存储设备1520中并且可以选地提供用于预览1538。

[0140] 根据示例实施方式，捕获服务1505可以调用搜索引擎服务1510例如或搜索引擎服务，利用一个实体从或搜索引擎服务中请求专题概要或专题卡片。

[0141] 例如，在案例D中，当该剪辑是来自网页的内容时，实体辨识可以是已经通过搜索引擎特征执行过的。在这样的案例中，网页的URL可能已经足以发送到捕获服务1505，所述捕获服务1505请求(1540)在来自搜索引擎服务1510的页面上的(一个或多个)实体。搜索引擎服务1510可以访问(1542)知识库或(一个或多个)数据库1515(其可以是与由捕获服务直接通信的相同的或不同的知识库或数据库)，以检索针对所述网页的专题卡片(1544)。然后，搜索引擎1510可以将该卡片1546(连同可以被捕获服务1505请求的任何其它搜索结果一起)提供给捕获服务1505。经扩增的剪辑1548可以存储在用户的存储设备1520处并且可选地作为预览1550被提供。

[0142] 如所描述的，在一些案例中，可以呈现预览。在其它案例中，剪辑器将内容收集并且将内容直接发送到存储设备(而不经预览)。

[0143] 可以由捕获服务将剪辑的预览提供给客户端，和/或在客户端上运行的剪辑器可以渲染该预览。该预览可以被渲染在浏览器中的预览窗格或窗口中。预览窗格可以是剪辑用户界面的一部分，其中可以实现编辑、加标签以及其它行动。例如，用户可以经由用户界面向剪辑添加标签或评论。此外，剪辑的目的地(destination)也可以从用户界面的内部被配置。在一些案例中，下拉菜单或输入字段可以用于指示特定目的地。例如，用户可以选择笔记本名称或阅读集(reading collection)。预测的目的地也可以被呈现在预览窗格汇总。例如，使用实体辨识和自动加标签，剪辑器或捕获服务可以确定用户正在找房子，并且辨识网页中的与房子相关的元素然后使之保存到用户的“住房”笔记本中。相似地，当辨识电影的实体时，这样的剪辑可以自动地进入用户的“电影”笔记本中。

[0144] 参考图15B，可以将剪辑1522从客户端1500发送到捕获服务1505。如前所述，在一些案例中，页面的源以其全部被发送到捕获服务。在其它案例中，提供该源的一部分，而还在其它案例中，URL被发送并且内容在服务器处被检索(通过捕获服务1505)。在图15A中所示的基本案例(案例A)中，捕获服务可以将该剪辑(1524)存储在用户的存储设备1520中而不进行扩增。

[0145] 案例E、F和G示出了用于在剪辑被存储(其可能已经执行了扩增，或者可能没有执行扩增)之后促进扩增的各种配置。当用户从用户的存储设备(1554)检索该剪辑(例如剪辑1522)以用于在客户端1500处进行查看和/或编辑时，客户端1500可以联系捕获服务1505以(经由请求1552)检索已存储的剪辑。如对于案例E所示，捕获服务1505可以在将剪辑提供给客户端1500之前自动地在剪辑上执行扩增。例如，可以执行涉及移除广告或将用于阅读的文本格式化的各种过程。一旦执行了扩增，经扩增的剪辑1556就可以提供给客户端1500，并且在用户的存储设备1520处存储(1558)。

[0146] 在一种实施方式中，捕获服务1505可以包括由具有相关联的卡片的实体构成的数据库(或联系具有由具有相关联的卡片的实体构成的数据库的另一个服务)，并且能够从此数据库检索专题卡片。可以使用查找表来获取特定实体的对应卡片。

[0147] 例如，在案例F中，实体识别和扩增可以由捕获服务1505通过直接访问知识库或数据库1515来实现。响应于来自捕获服务1505的通信1560，可以将来自知识库/数据库1515的数据(1562)提供给捕获服务并且用于生成扩增的剪辑1564，其可以被提供给客户端1500并且存储(1566)在用户的存储设备1520中。

[0148] 在另一种实施方式中，例如在案例G中所示，捕获服务1505能够调用搜索引擎服务1510，例如，或搜索引擎服务，利用实体从或搜索引擎服
务中请求专题概要或专题卡片。捕获服务1505可以使用与该剪辑相关联的URL，以从搜索引擎服务1510中请求(1568)页面上的(一个或多个)实体。搜索引擎服务1510可以访问(1570)知识库或(一个或多个)数据库1515(其可以是与由捕获服务直接通信的相同的或不同的知识库或数据库)，以检索针对所述网页的专题卡片(1572)。然后，搜索引擎1510可以将该卡片1574(连同可以被捕获服务1505请求的任何其它搜索结果一起)提供给捕获服务1505。捕获服务可以使用卡片1574(以及所提供的任何其它数据)来扩增该剪辑，并且将经扩增的剪辑1576提供给客户端1500并且在用户的存储设备1520处存储(1578)经扩增的剪辑。

[0149] 除了通过剪辑器输入之外，将内容捕获到用户的存储设备1520内还可以通过消息收发(例如，me@onenote.com)且当用户在其笔记本应用中时。

[0150] 参考图15C，用户可以将项目输入到在客户端1500处的笔记(1579)。在一些案例中，用户可以通过消息收发应用(无论是在客户端1500处，还是在与用户用来访问笔记本应用的不同的客户端设备处)来输入项目。扩增可以由客户端1500(例如，笔记本应用)在项目输入到笔记之后自动地或是响应于用户命令来请求(1580)。在一些案例中，对于通过消息收发(例如，通过me@onenote.com)而输入的项目，扩增可以作为在将项目在笔记中呈现给用户之前将项目保存到用户的存储设备1520(如关于图15B中的所检索的剪辑1554而描述的)的一部分而被实现。

[0151] 案例H和I示出了便于对输入到笔记本应用的项目进行扩增的各种配置。例如，在案例H中，实体辨识和扩增(实体对象的创建)可以由捕获服务1505通过访问知识库或数据库1515来实现。在一些案例中，一旦接收到该项目，捕获服务1505就能够从该项目提取信息。例如，当该项目是URL时，捕获服务1505能够检索在该URL处的页面的HTML DOM，并且从该DOM提取信息。作为另一个例子，当该项目是图像时，捕获服务1505能够执行图像识别和/或光学字符识别，以从该图像中提取信息(连同与该图像相关联的任何元数据一起)。使用该项目自身和/或所提取的信息，捕获服务1505访问知识库/数据库1515以利用来自知识库/数据库1515的数据来对所提取的信息进行解析，和/或检索另外的信息。响应于来自捕获服务1505的通信1582，可以将来自知识库/数据库1515的信息(1584)提供给捕获服务，并且用于为该项目创建实体对象。

[0152] 可以针对从项目中识别的首要实体选择模板，并且将模板视图提供(1586)给客户端1500。实体对象(和项目)可以被存储(1588)在用户的存储设备1520中。

[0153] 在另一种实施方式中，例如在案例I中所示的，捕获服务1505能够调用(由搜索引擎提供商提供的)数据网络服务1510，例如或搜索引擎服务，利用URL和/或从项目提取的信息来请求来自数据网络服务(例如，搜索引擎服务1510)的专题概要或(一个或多个)专题卡片(1590)。搜索引擎服务1510可以访问(1592)知识库或(一个或多个)数据库1515(其可以是与由捕获服务直接通信的相同的或不同的知识库或数据库)，以检索针对该网页的至少一个专题卡片(1594)。搜索引擎服务1510然后可以将卡片(1596)(连同可以由捕获服务1505请求的任何其它搜索结果一起)提供给捕获服务1505。捕获服务可以使用(一个或多个)卡片(以及所提供的任何其它数据)来生成实体对象，并且选择用于从项目识别的首要实体的模板。然后可以将模板视图1598提供给客户端1500。另外，可以将实体对象(和项目)存储(1599)在用户的存储设备1520中。

[0154] 图16示出了实体挖掘引擎的系统架构，该实体挖掘引擎可以被实现用于捕获服务。参考图16，对于照片1601或网页1602(例如，通过剪辑器或其它到捕获服务的入口来输入的)，可以执行实体类型分类(1610)。实体类型分类(1610)可以使用基于视觉的方法来执行，其中学习图像表示(learned image representation)和识别文本表示(recognized text representation)被联合地使用以进行分类判定。图像表示可以使用深度神经网络(DNN)技术来学习(参见，例如，Li Deng and Dong Yu“Deep Learning:Methods and Applications，”Now Publisher,2014)。文本表示可以使用OCR引擎来辨识。可以使用的一个DNN是Markov DNN，具有监督的概率模型，该模型具有树形结构和三角形的最大团(maximum clique)。

[0155] 基于视觉的实体提取可以使用视觉特征，诸如位置、对齐方式、字体大小、线空间等，以及文本特征，诸如单词、大写、数字的百分比等。视觉特征和文本特征可以与知识库特征相匹配以用于进一步的识别。

[0156] 照片可以被传到相应的基于视觉的实体提取器(1620)，该实体提取器通过来自诸如公共实体图1640的源的实体链接和名称消除歧义(1630)，使用视觉布局信息、文本特征以及实体知识(来自相关联的存储器存贮，例如用户的存储设备1520)来将文本内容分段、分配语义标注、并且将(照片和/或网页被输入到的)笔记链接到用户的个人实体图(1650)中可用的实体。公共实体图1640可以包括来自社交网络化服务1641的资源(例如通过可用的)、网络数据服务1642(例如通过和可用的)，以及其它公共知识库。在用户的个人实体图1650中可用的实体可以包括但不限于，联系卡片/商务名片1651、食谱1652、以及产品1653中的一个或多个。

[0157] 如图16的架构所示，被捕获到笔记中的内容例如照片和网页，可以被自动地分类并且被加以关于它们的实体类型的标注。基于实体类型分类，可以确定首要实体。例如，在用户的个人实体图1650中可用的实体可以提供可用的首要实体，利用其可以将内容分类。在本文中描述的技术可以维持输入到笔记中的内容的私密性。

[0158] 在示例场景中，被分类为商务名片的照片可以具有人的名字、头衔、组织/从属关系、(一个或多个)电话号码，(一个或多个)电子邮件地址，网站、以及从图像中提取的其它信息。例如单词、大写、以及图案的文本特性，以及例如文本位置、字体大小、字体类型和对齐方式的视觉特性，可以用于提取实体。知识库(例如，来自公共实体图1640)可以用于链接到现有的实体和性质。例如，在商务名片上识别的人可以与存储器存贮(例如，用户的存储设备1520)中的实体链接，以使得来自此人的领英(Linkedln)页面的信息或其它信息可以被关联到一起。

[0159] 图17是示出了在一些实施例中所使用的计算设备的组件的方框图；而图18示出可以用于实现本文中描述的方法和服务的计算系统的组件。例如，系统1700可以用于实施计算设备，该计算设备实施(一个或多个)客户端例如100、900、1010、1205、1212、1500等。应当理解，在本文中描述的系统的各方面既能够应用到移动设备又能够应用到传统的台式计算机以及服务器计算机和其它计算机系统。因而，虽然图18示出了可以实施诸如本文中所描述的捕获服务的计算系统的组件，但关于系统1700描述的某些方面能够应用到在其上实现捕获服务(例如，捕获服务115、1505)的(一个或多个)服务器。

[0160] 参考图17，系统1700包括处理器1705，其根据一个或多个应用程序1710的指令和/或操作系统(OS)1720的指令来处理数据。处理器1705可以是或可以包括在片上系统(SoC)连同诸如网络连接组件、传感器、视频显示组件之类的一个或多个其它组件中。

[0161] 一个或多个应用程序1710可以被加载到存储器1715并且在操作系统1720上运行或与操作系统1720相关联。应用程序的例子包括电话拨号器程序、电子邮件程序、信息管理程序、文字处理程序、互联网浏览器程序、消息收发程序、游戏程序、记事本应用等。其它应用可以被加载到存储器1715中并且在包括各种的客户端应用和服务器应用的设备上运行。

[0162] 操作系统的例子包括 OS、 phone OS、OS、以及 OS。可以预期其它操作系统。

[0163] 系统1700还可以包括无线电/网络接口1735，其执行的功能是传输并且接收射频通信。无线电/网络接口1735经由通信载波或服务提供商便于在系统1700和“外面的世界”之间的无线连接。来自与去向无线电/网络接口1735的传输，是在操作系统1720的控制之下进行的，其将由无线电/网络接口1735接收的通信传播到应用程序1710，且反之亦然。

[0164] 无线电/网络接口1735允许系统1700在网络上与其它计算设备(包括服务器计算设备以及其它客户端设备)进行通信。

[0165] 在各种实施方式中，通过系统1700存储的数据/信息可以包括本地地存储在设备上的数据缓存，或者数据可以被存储在可由设备通过无线电/网络接口1735访问的、或可以通过在设备和与该设备相关联的分立的计算设备(例如，在分布式计算网络(诸如互联网)中的服务器计算机)之间的有线连接访问的任意数量的存储介质上。如应当意识到，这样的数据/信息可以通过设备经由无线电接口1735或分布式计算网络来访问。类似地，这样的数据/信息可以容易地在计算设备之间传递以用于根据公知的数据/信息传递和存储手段(包括电子邮件和协作数据/信息共享系统)存储和使用。

[0166] 音频接口1740可以用于提供去向用户的音频信号以及接收来自用户的音频信号。例如，音频接口1740可以耦合到扬声器，以提供可听的输出，以及耦合到麦克风以接收可听的输入，例如便于电话会话。系统1700还可以包括视频接口1745，其使能可选的摄像机(未示出)的操作，用于记录静止图像、视频流等等。视频接口还可以用于针对到自然用户接口(NUI)的输入捕获某些图像。

[0167] 可以经由显示器1755提供视觉输出。显示器1755可以呈现图形用户界面(“GUI”)元件、文本、图像、视频、通知、虚拟键、虚拟键盘、消息收发数据、互联网内容、设备状态、时间、日期、日历数据、偏好、地图信息、位置信息以及能够以视觉形式来呈现的任何其它信息。

[0168] 显示器1755可以是触摸屏显示器。触摸屏(其可以与显示器相关联或是形成显示器的一部分)是这样的输入设备，其被配置为检测触摸的存在和位置。触摸屏可以是电阻型触摸屏、电容型触摸屏、表面声波触摸屏、红外触摸屏、光学成像触摸屏、色散信号触摸屏、声音脉冲识别触摸屏，或者可以利用任何其他触摸屏技术。在一些实施例中，触摸屏被纳入在显示器上作为一个透明层，以使得用户能够使用一个或多个触摸来与在显示器上呈现的对象或其它信息交互。

[0169] 在其它实施例中，触摸垫可以被纳入在计算设备的不包括显示器的表面上。例如，计算设备可以在显示器上纳入触摸屏，并且在于显示器相对的表面上纳入触摸垫。

[0170] 参考图18，系统1800可以用单个计算设备来实施，或是分布在多个协作以执行程序指令的计算设备或子系统上。系统1800可以包括一个或多个刀片式服务器设备、独立服务器设备、个人计算机、路由器、集线器、交换机、桥接器、防火墙设备、入侵检测设备、主机计算机、网络附接存储设备、以及其它类型的计算设备。对系统硬件的配置可以根据任何适当的计算机架构，诸如对称多处理(SMP)架构或非均匀存储器存取(NUMA)架构。

[0171] 系统1800可以包括处理系统1810，其可以包括检索并执行来自存储系统1830的软件1820的一个或多个处理器和/或其它电路。处理系统1810可以在单个处理设备内实施，但也可以被分布在协作以执行程序指令的多个处理设备或子系统上。

[0172] (一个或多个)存储系统1830可以包括任何计算机可读存储介质，其可以被处理系统1810读取并且能够存储软件1820。存储系统1830可以作为单个存储设备来实现，但也可以被实现在位于相同位置或相对于彼此分布的多个存储设备或子系统上。存储系统1830可以包括额外的元件，例如控制器，其能够与处理系统1810相通信。存储系统1830也可以包括存储设备和/或子系统，在其上存储了数据，例如与实体相关的信息。

[0173] 软件1820可以以程序指令的形式实现，且除了其他功能之外，可以在当被通常的系统1800或特别的处理系统1810执行时，引导系统1800或处理系统1810按照本文中所描述的操作，以便提供捕获服务和/或对所捕获的数据进行扩增和呈现(如捕获软件1840)。

[0174] 系统1800可以表示任何这样的计算系统：在其上可以将软件1820分级(stage)并且由此可以将软件1820分发、传输、下载或以其它方式提供给又一个计算系统以用于部署和执行，或再另外分发。

[0175] 在其中系统1800包括多个计算设备的实施例中，服务器可以包括一个或多个通信网络，其便于在计算设备之间的通信。例如，一个或多个通信网络可以包括局域网或广域网，其便于在计算设备之间的通信。可以包括在计算设备之间的一个或多个直接通信链路。此外，在一些案例中，计算设备可以被安装在地理上分布的位置。在其它案例中，多个计算设备可以被安装在单个地理位置，例如服务器农场或办公室。

[0176] 可以包括提供通信连接的通信接口1850，以及允许在系统1800和其它计算系统(未示出)之间通过通信网络或一系列网络(未示出)或空中进行通信的设备。

[0177] 本文中阐述的某些技术可以用计算机可执行指令的一般上下文来描述，例如由一个或多个计算设备执行的程序模块。通常，程序模块包括例程、程序、对象、组件、和数据结构等等，它们执行特定任务或实现特定的抽象数据类型。

[0178] 实施例可以被实现为计算机过程、计算系统、或作为制品(例如计算机程序产品和计算机可读介质)。这里描述的某些方法和过程可以实施为软件、代码和/或数据，其可以存储在一个或多个计算机可读介质上。本发明的某些实施例，预期了以计算机系统形式的机器的使用，其中一组指令在执行时，能使系统进行上面讨论的方法中的任意一个或多个。某些计算机程序产品可以是一个或多个计算机可读存储介质，其可以由计算机系统读取并且编码有由指令组成的计算机程序以用于执行计算机过程。

[0179] 计算机可读介质可以是任何可用的计算机可读的存储介质或可以由计算机系统访问的通信介质。

[0180] 通信介质包括通信信号借助的介质，通信信号包含例如，计算机可读指令、数据结构、程序模块或其它数据，被从一个系统传输到另一个系统。该通信介质可以包括受引导的传输介质，例如电缆和电线(如，光纤、同轴等)，以及无线(不受引导的)传输介质，例如能够传播能量波的声音、电磁、射频、微波和红外。尽管是关于通信介质描述的，但不被认为是“计算机可读存储介质”的、可以包含由计算机系统可以使用的数据的载波以及其它传播信号。

[0181] 例如但不限于，计算机可读存储介质可以包括易失性和非易失性，可以移动和不可以移动介质，是按任何用于存储信息的方法或技术实现的，诸如计算机可读指令、数据结构、程序模块或其它数据。例如，计算机可读存储介质包括但不限于：易失性存储器例如随机存取存储器(RAM、DRAM、SRAM)；和非易失性存储器诸如闪速存储器，各种只读存储器(ROM、PROM、EPROM、EEPROM)，磁和铁磁/铁电存储器(MRAM、FeRAM)以及磁和光存储设备(硬盘驱动器、磁带、CD、DVD)或现在已知或稍后开发的能够存储计算机可读信息/数据以供计算机系统使用的其它介质。无论哪种情况下，“计算机可读存储介质”都不包括载波或传播的信号。

[0182] 此外。本文中描述的方法和过程可以用硬件模块来实现。例如，硬件模块可以包括但不限于，专用集成电路(ASIC)芯片，现场可以编程门阵列(FPGA)，以及现在已知或以后开发的其它可以编程逻辑器件。当硬件模块被激活时，硬件模块执行包括在硬件模块中的方法和过程。

[0183] 本发明的某些方面提供下列非限制性的例子：

[0184] 例子1。用于对所捕获的数据进行扩增和呈现的方法，包括：接收针对与输入到笔记本应用中的项目相关联的内容的一个或多个结构化呈现；识别所述项目的首要实体；根据至少所述一个或多个结构化呈现为该项目的首要实体创建实体对象。

[0185] 例子2。例子1的方法，还包括：根据首要实体确定用于对实体对象进行呈现的模板，该模板是从对应于不同的首要实体的一组模板中选择的。

[0186] 例子3。例子1或2的方法，其中所述项目包括统一资源定位符(URL)，所述方法还包括：从网络数据服务中请求针对与所述URL相关联的内容的一个或多个结构化呈现；并且从网络数据服务接收与由所述URL引用的文档的内容相关联的一个或多个模型，所述一个或多个模型提供对所述项目的一个或多个结构化呈现。

[0187] 例子4。例子3的方法，其中创建所述实体对象包括根据选择标准在与所述文档的内容相关联的一个或多个模型中选择单个模型。

[0188] 例子5。例子3的方法，其中创建所述实体对象包括，将与所述文档的内容相关联的一个或多个模型中的至少两个模型的属性融合。

[0189] 例子6。例子1至5中任一项的方法，其中该实体的首要实体是根据针对与该项目相关联的内容的一个或多个结构化呈现的最少数量的属性识别的。

[0190] 例子7。例子6的方法，其中首要实体是食谱；而最少数量的属性至少包括配料阵列和步骤阵列。

[0191] 例子8。例子1、2、6或7中任一项的方法，其中所述项目包括图像，所述方法还包括：对来自图像和与图像相关联的元数据的信息进行提取和分类；以及通过使用所提取和分类的来自图像和与图像相关联的元数据的信息，生成一个或多个结构化呈现中的至少一个，其中识别所述项目的首要实体包括使用所提取和分类的来自图像和与图像相关联的元数据的信息。

[0192] 例子9。例子8的方法，还包括：从知识库或网络数据服务请求对应于与所述首要实体相关联的至少一个属性的详细信息。

[0193] 例子10。例子8或9的方法，其中图像包含商务名片的图像。

[0194] 例子11。例子1、2、6或7中任一项的方法，其中项目包括剪辑，所述方法还包括：从网络数据服务请求针对与所述剪辑相关联的内容的一个或多个结构化呈现。

[0195] 例子12。一种系统，包括：一个或多个计算机可读存储介质；以及存储在一个或多个计算机可读存储介质上的、用于呈现针对笔记本应用而捕获的内容的程序指令，所述程序指令当被处理系统执行时，引导处理系统：请求针对与输入到笔记本应用服务的项目相关联的内容的实体对象；以及，在笔记本应用服务的用户界面中，显现针对与输入到笔记本应用服务的项目相关联的内容的实体对象的实体特定的呈现，其中所述实体对象包括来自针对与该项目相关联的内容的一个或多个结构化呈现的属性。

[0196] 例子13。例子12的系统，其中所述项目包括URL、图像、和剪辑中的一个或多个。

[0197] 例子14。一个或多个计算机可读存储介质，在所述一个或多个计算机可读存储介质上存储有用于对所捕获的数据进行扩增和呈现的程序指令，所述程序指令当被处理系统执行时，引导处理系统：识别输入到笔记本应用中的项目的首要实体；至少根据针对与该项目相关联的内容的一个或多个结构化呈现为该项目的首要实体创建实体对象；以及根据所述首要实体确定用于呈现实体对象的模板，所述模板是从对应于不同的首要实体的一组模板中选择的。

[0198] 例子15。例子14的介质，其中所述项目包括URL，其中所述程序指令还引导所述处理系统：从网络数据服务请求针对与该URL相关联的内容的一个或多个结构化呈现；以及从所述网络数据服务接收与由所述URL引用的文档的内容相关联的一个或多个模型，所述一个或多个模型提供对所述项目的一个或多个结构化呈现。

[0199] 例子16。例子15的介质，其中所述实体对象包括根据选择标准在与所述文档的内容相关联的一个或多个模型中选择单个模型。

[0200] 例子17。例子15的介质，其中所述实体对象包括与所述文档的内容相关联的一个或多个模型中的至少两个模型的融合的属性。

[0201] 例子18。例子14-17中任一项的介质，其中所述项目包括图像，所述程序指令还进一步引导所述处理系统：对来自图像和与图像相关联的元数据的信息进行提取和分类；以及通过使用所提取和分类的来自图像和与图像相关联的元数据的信息，生成一个或多个结构化呈现中的至少一个，其中所述项目的首要实体是通过使用所提取和分类的来自图像和与图像相关联的元数据的信息来识别的。

[0202] 例子19。一种具有用户界面的系统，其中显示器响应于接收到对待由笔记本应用捕获的内容的实体确定而显现与实体相关的信息。

[0203] 例子20。例子19的系统，其中所述实体确定是基于在用户界面的查看区域中正在被渲染的内容的。

[0204] 例子21。例子19的系统，其中实体确定是基于在用户界面的查看区域中未显示的内容的。例如，当被捕获的内容包括URL时，实体确定可以基于由该URL所引用的文档的内容。

[0205] 例子22。例子19-21中任一项的系统，其中与实体相关的信息包括对包括在查看区域中未发现的至少一个元素的内容的呈现。

[0206] 例子23。一种增强所捕获的内容的方法，包括：识别与第一内容相关联的实体；以及基于与所述第一内容相关联的实体，将所述第一内容转换成第二内容。

[0207] 例子24。例子23的方法，其中所述转换包括以下项中的一项或多项：移除广告、使得某些文本是活的/可以选择的、过滤、加标签、以及重新排列对内容的呈现。

[0208] 呈现了示例场景以提供对本发明的某些实施例及其诸多优点的更深的理解。在本文中描述的实施例场景仅仅意味着是用于对本发明的实施例的一些应用和变型进行说明的。当然，不应将它们视为以任何方式对本发明进行限制。

[0209] 应当理解，本文中所描述的例子和实施例仅仅用于说明的目的，且在本发明的启示下，本领域普通技术人员能够做出各种修改或更改，且这些修改和更改将会包括在本申请的精神和范围之内。

标题	发布/更新时间	阅读量
用于利用触笔来操纵用户界面的设备和方法	2020-05-08	740
一种面向中文的预训练方法及系统	2020-05-11	639
一种基于混合加密的大众密码管理系统	2020-05-08	327
悬浮视图的显示方法、电视及计算机可读存储介质	2020-05-08	701
针对网络设备的健康数据的可扩展可视化	2020-05-08	568
一种智能感知的机场保障能力实时评估系统及评估方法	2020-05-11	844
基于电力6+1系统的持续集成测试方法	2020-05-11	759
对银行用户界面操作慌忙程度的判断方法	2020-05-11	243
一种用户界面操作方法和移动终端	2020-05-08	503
基于微波收发器的输煤皮带上异物的检测装置	2020-05-08	57

扩增并呈现捕获的数据

扩增并呈现捕获的数据

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：