首页 / 专利库 / 专利权 / 专利合作条约 / 第I章 / 国际申请 / 请求书 / 指定 / 对实体扩充内容的访问和管理

对实体扩充内容的访问和管理

阅读:568发布:2022-11-25

专利汇可以提供对实体扩充内容的访问和管理专利检索,专利查询,专利分析的服务。并且可通过以下操作来促进对用户的内容的 访问 和管理:响应于从与至少一个用户的账户相关联的储存库接收对与 指定 实体相关的内容的 请求 ,在储存库中的文件的内容中标识与该指定实体相关联的至少一个实体容器的实体容器;以及将与特定实体相关联的实体容器传递给该请求的源。,下面是对实体扩充内容的访问和管理专利的具体信息内容。

1.一种促进内容访问和管理的方法,包括:
从与用户账户相关联的储存库接收对与指定实体相关的内容的请求,所述储存库包括所捕捉到的内容和从所捕捉到的内容识别出的实体的一个或多个实体容器;
在所述储存库中,标识与所述指定实体相关联的至少一个实体容器;以及将与所述指定实体相关联的所述至少一个实体容器的一个或多个属性提供给所述请求的源。
2.如权利要求1所述的方法,其特征在于,对所述储存库的访问是基于实体类型的,在所述指定实体与具有访问许可的实体类型相对应时,所述请求被服务。
3.如权利要求1所述的方法,其特征在于,提供与所述指定实体相关联的所述至少一个实体容器的所述一个或多个属性不包括提供与所捕捉的内容一起包含在所述储存库中的私有内容。
4.如权利要求1所述的方法,其特征在于,被标记为与所述指定实体相关联的笔记中的内容也被提供给所述请求的源。
5.如权利要求1所述的方法,其特征在于,只有与笔记的内容相关联的实体容器的一个或多个属性被提供给所述源,所述笔记的其余内容不被提供给所述请求的源,其中与所述指定实体相关联的所述至少一个实体容器之一在所述笔记中被标识。
6.一种用于访问和管理实体扩充内容的系统,包括:
与用户账户相关联的储存库,所述储存库包括所捕捉到的内容和从所捕捉到的内容识别的实体的一个或多个实体容器;
一个或多个处理器;
一个或多个计算机可读存储介质;以及
存储在所述一个或多个计算机可读存储介质中的至少一者上的指令,所述指令在由所述一个或多个处理器中的至少一个处理器执行时指导所述一个或多个处理器中的所述至少一个处理器来:
响应于从所述储存库接收对与指定实体相关联的内容的请求,标识与所述指定实体相关联的至少一个实体容器;以及
将与所述指定实体相关联的所述至少一个实体容器的一个或多个属性提供给所述请求的源。
7.如权利要求6所述的系统,其特征在于,对所述储存库的访问是基于实体类型的,在所述指定实体与具有访问许可的实体类型相对应时,所述请求被服务。
8.如权利要求6所述的系统,其特征在于,所述实体容器包括服务元素,所述请求的源是与所述服务元素相关联的服务。
9.如权利要求8所述的系统,其特征在于,所述服务是由所述服务元素指示的阅读器应用。
10.一种或多种其上存储有指令的计算机可读存储介质,所述指令在由一个或多个处理器执行时指导所述一个或多个处理器来:
在与用户账户相关联的储存库中,标识与对内容的请求中指示的指定实体相关联的至少一个实体容器;以及
将与所述指定实体相关联的所述至少一个实体容器的一个或多个属性提供给所述请求的源。
11.如权利要求10所述的介质,其特征在于,用于标识与所述指定实体相关联的所述至少一个实体容器的指令指导所述一个或多个处理器来:
查询所述储存库以寻找具有包含所述指定实体的指示的标记的内容,所述标记包括所述指定实体的模式,所述模式指示所述至少一个实体容器的属性。
12.如权利要求10所述的介质,其特征在于,所述实体容器包括服务元素,所述请求的源是与所述服务元素相关联的服务。
13.如权利要求12所述的介质,其特征在于,所述服务是由所述服务元素指示的阅读器应用。
14.如权利要求10所述的介质,其特征在于,所述请求的源是笔记本应用。

说明书全文

对实体扩充内容的访问和管理

[0001] 背景
[0002] 各种网页和用户生成的内容捕捉工具以及它们相关联的收集和管护应用(如微软和 笔记本应用)促进了收集内容以供稍后访问、组织、以及修改。“web剪辑器”是一般在客户端处的web浏览器上运行以允许将内容从web浏览器从所显示的网页剪辑。其他工具和输入机制可被用来收集并保存内容。例如,音频或视频可通过话筒和相机捕捉,且某些文本可通过键盘、小键盘、触摸屏鼠标来捕捉。
[0003] 当前,内容一般是按原样捕捉的。即,捕捉工具收集完整网页、网页或文档的整个所选部分、照片、屏幕截图、这样的内容的记录或子集。在一些情况下,在剪辑统一资源定位(URL)时,在网页的超文本标记语言(HTML)中找到的指定缩略图或摘录被捕捉。因而,来自网页、文档的内容或由用户直接录入到应用的内容能够被捕捉并存储以供稍后使用。为增强这样的收集,用户可以添加标签并对捕捉的内容加注释;然而,关键字标签可能不是跨各用户统一的或不是对同一用户一致的。
[0004] 简要概述
[0005] 描述了对实体扩充内容的访问和管理。笔记本应用可被提供作为允许具有用户账户的用户跨多个设备访问他们的笔记本的服务。用户的内容可被存储在与用户账户相关联的储存库处。可通过以下操作来促进对用户的内容的访问和管理:响应于从与至少一个用户的账户相关联的储存库接收对与指定实体相关的内容的请求,在储存库中的文件的内容中标识与该指定实体相关联的至少一个实体容器的实体容器;以及将与特定实体相关联的实体容器传递给该请求的源。
[0006] 内容可通过包括扩充服务或与扩充服务通信的捕捉服务来被捕捉到笔记本应用中并按所定义的结构——基于识别出实体——被存储。该结构可以是实体容器,从而提供对象和该对象的一个或多个属性。实体容器可包括直接来自输入内容的内容和跨因特网从多个源获得的内容。该内容可包括统一资源标识符(URI)(如URL(统一资源定位符))、音频、视频、图像、照片、文字处理文档、超文本标记语言(HTML)文档、演示文档、 便携式文档格式(PDF),等等。
[0007] 实体确定和对应的实体容器可被指派为对被剪辑的内容的标记。标记可被用来启用可相关于剪辑或扩充该剪辑的结构化信息来采取的访问和动作。从笔记本应用,对第三方应用的许可可以基于实体类型是可用的。
[0008] 提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。
[0009] 附图简述
[0010] 图1解说用于捕捉数据的操作环境。
[0011] 图2A解说根据一实现的用于捕捉服务的示例过程流程。
[0012] 图2B解说根据一实现的用于剪辑器的示例过程流程。
[0013] 图3A和3B解说具有用于一些实现的过程流程的系统架构图。
[0014] 图4解说根据一实现的用于捕捉服务的示例过程流程。
[0015] 图5A和5B解说其中web剪辑中的所识别的实体可生成实体容器的示例场景。
[0016] 图6A-6E解说示例实体指定器。
[0017] 图7A-7C解说可在具有web浏览器客户端的移动设备上实现的笔记本应用的场景。
[0018] 图8A-8E解说根据一实现的用于示例场景的过程流程的用户界面
[0019] 图9A-9G解说根据一实现的示例场景。
[0020] 图10解说用于处理对内容的访问的过程流程。
[0021] 图11解说捕捉与URL相关联的内容的场景。
[0022] 图12解说所捕捉的URL的经扩充的呈现。
[0023] 图13A和13B解说实体化内容的外部应用访问。
[0024] 图14是示出在一些实施例中使用的计算设备的各组件的框图
[0025] 详细描述
[0026] 描述了对所收集、创作、消费或剪辑的内容的扩充和其他增强。还描述了对实体扩充内容的访问和管理。呈现了可被提供作为捕捉服务的一部分的扩充服务。通过(包括扩充服务的)捕捉服务,来自网页或其他文档的剪辑可取决于被剪辑的事物的性质和/或上下文来按多种方式来处理。在一些实现中,剪辑器可在剪辑期间经由捕捉服务识别网页上的实体,在剪辑时呈现实体的预览,并以结构化方式(可被稍后访问并使用)将实体捕捉到存储中。
[0027] 被剪辑或以其他方式捕捉的内容可以是例如来自网页或其他文档文件类型(它包括HTML、PDF、微软 文档(DOC)、办公开放可扩展标记语言(OOXML)格式(DOCX)等的文件格式)的音频、照片、视频、格式化、样式、布局和/或文本。
[0028] 在一些情况下,文档理解技术可被用来解析该内容以标识并理解页面上的对象(例如,实体类型确定)。以此方式,理解什么在页面上是可能的,例如内容是否是有关影片、书籍等等的。
[0029] 实体可以指人、地点、事物、事件、任务、或概念。实体的对象指的是实体的有形形式。如果实体具有至少一个指定属性且不依赖于另一实体,则实体是强实体类型的。例如,“指环王”命名了可以用可包括标题、作者、以及国际标准书号(ISBN)号码的属性来定义的“书籍”实体类型的对象。“书籍”实体可被认为是强实体类型,而“ISBN”依赖于书籍且就不被认为是强实体类型。
[0030] 在一些方法中,服务根据内容作出实体确定并为所识别的实体创建实体容器。客户端可以用实体容器来接收所确定的实体,从而提供对象和该对象的一个或多个属性(属性元素)。在一些实现中,实体容器还包括服务元素。服务元素可以使用户能够采取与实体相关的动作(例如,购买物品、设定日历事件、共享并推荐物品)。可以从各种在线服务来使得对服务元素可用的服务是可用的。对象的属性可以跨因特网从多个源获得。
[0031] 可通过以下操作来促进对用户的内容的访问和管理:响应于从与至少一个用户的账户相关联的储存库接收对与指定实体相关的内容的请求,在储存库中的文件的内容中标识与指定实体相关联的实体容器;以及将与特定实体相关联的实体容器传递给该请求的源。
[0032] 在一些实现中,被捕捉用于笔记(或从各位置处的源检索)的页面上的元素可被安排成结构化数据,使得该信息以上下文适当的方式被示出(例如,呈现)。即,用户正在尝试捕捉的事物(即,实体)的经变换的视图可被呈现并存储。这也可针对设备(例如,取决于可用带宽、显示屏尺寸、查看应用、以及其他因客户端而异的特性)来被调整。
[0033] 有利地,一些实现提供捕捉结构化内容并在捕捉、召回、以及重用的全程维持其语义的能。这使用户能够捕捉该用户真正感兴趣的事物并以优选的位置和格式来存储它。此外,在召回时,相关信息可在正确的时间和位置处是可访问的。
[0034] 描述了向用户提供识别所捕捉的内容的主题的内容捕捉选项、并提供与所捕捉的主题相关的在捕捉时以其他方式不能对用户立即可用的附加信息的技术。这一扩充连同其他增强可以是自动的或响应于用户的请求来执行。呈现了可被提供作为捕捉服务(例如,与笔记本应用(如微软 或 )相关联的服务)的一部分的扩充服务。
[0035] 经扩充的内容可包括网页或其他文档中提供的内容的更具体和/或相关内容。捕捉服务通过访问与内容相关的附加信息和/或以自定义和方便的方式操纵内容,来促进内容的扩充。
[0036] 内容的扩充可进一步促进对实体、实体的对象、或对象的属性采取动作。实体容器的一致性结构促进跨平台和向前-向后兼容性。另外,经增强的用户体验可通过理解被收集的主题(实体)来被促进。一些实现对用户的笔记应用结构和语义以增强整个体验。
[0037] 在一些情况下,扩充发生在收集时(例如,在用户剪辑来自网页的内容时或在将项输入到笔记后)。在一些情况下,扩充可在用户修改或操纵文档(例如,笔记本应用的笔记)中的内容的同时执行。在一些情况下,扩充可以在内容正在被保存到文档中时执行。其他情况也可适用于自动的或用户请求的扩充。
[0038] 图1解说用于捕捉数据的操作环境。参考图1,捕捉服务115可以促进剪辑或输入到笔记本应用的其他内容的实体确定和扩充,以包括实体相关特征和/或功能。作为实体确定的一部分,实体识别可以相关于被捕捉的内容来执行。这一过程可以在客户端100本地执行或作为捕捉服务115的一部分。
[0039] 一实施例的捕捉服务115执行一些处理来定制或扩充用于应用的剪辑。捕捉服务115可以提供扩充服务(直接或间接地)且可提供用于扩充服务的应用编程接口。扩充服务可以与捕捉集成在一起提供或独立地提供。
[0040] 捕捉服务115可以是被主存在中或由提供笔记本服务和/或捕捉服务的实体的一个或多个所分配服务器运行的web服务。
[0041] 云服务通常指提供可缩放处理和存储能力的托管服务。云计算通常可包括虚拟化的资源。由云计算呈现的资源本身被提供为服务,其中云计算客户从拥有物理基础结构的第三方提供者租用资源的使用。web服务可由云服务(例如,作为大规模分布式计算环境的一部分)提供和/或主控。web服务是支持通过网络的互操作机器到机器交互并使得软件能够连接到其他软件应用的软件系统。
[0042] web服务提供技术标准和协议的集合。例如,web服务提供可由发送和接收消息的软件或硬件代理实现的功能(例如,请求和提供特定服务的计算平台)。应用可经由普遍存在的web协议和数据格式(诸如超文本传输协议(HTTP)、XML、JavaScript对象记法(JSON)以及SOAP(初始是简单对象访问协议的首字母缩略词))来访问web服务。本文描述的系统、应用、以及服务可以根据一个或多个应用编程接口(API)交换通信。
[0043] 向内容提供扩充的服务的入口点可以例如来自剪辑器、阅读器、文档或图像查看器、文字处理和其他生产力应用、以及收集和管护应用(以及工具)。
[0044] 客户端100可被用来浏览web并运行应用,所述应用诸如浏览器104,且在一些情况下,阅读器或笔记本应用106。浏览器104的示例包括 Internet Explorer、以及Mozilla 生产力应用、阅读器以及笔记
本应用106的示例包括 Office、微软 GoogleDriveTM、
Reader、 OpenOffice、 Office、 Reeder、以及
[0045] 剪辑器108可以在客户端100处是可用的。剪辑器108是可被用来为用户收集并捕捉内容(包括经扩充的内容)的在本地运行的应用。通过剪辑器108,用户可以选择剪辑整个页面、整个页面的所提取的各部分、页面的一个或多个区域、和/或页面的所识别的对象/实体(以实体容器的形式)。作为一些示例,剪辑器108可以是web剪辑器、在操作系统上运行的剪辑工具、具有剪辑特征的应用、或笔记本应用的扩充特征。剪辑器108可以或可以不直接关联于内容的目的地应用。
[0046] web剪辑器通常剪辑来自网站的内容并将该内容插入到与该剪辑器相关联的笔记或其它应用中。web剪辑器一般在客户端100处的web浏览器104上运行。作为示例,web剪辑器可以用JavaScript来实现,且可与web浏览器104互操作(且在一些情况下与web浏览器104集成在一起)。因为每个web浏览器具有不同的能力,所以web剪辑器可基于web浏览器来配置。
[0047] 在一些情况下,剪辑器108可包括与计算设备(诸如平板)上的操作系统相关联的可被调用来确定当时屏幕上最优势的实体的软件工具。例如,触摸或非触摸姿势滑扫可被用来调用该工具并获得实体(且在进一步实现中,获得用于优势实体的实体容器)。作为另一示例,键盘按钮(如打印屏幕)可被按下以调用该工具并获得实体。
[0048] 在一些情况下,剪辑器108被包括作为浏览器104的附件、插件、或书签工具(bookmarklet)来剪辑浏览器104中呈现的内容。书签工具是web浏览器的一种扩展功能,通常是作为web浏览器中的书签存储的JavaScript程序(或网页上的超链接)的形式。在一些情况下,剪辑器可被包括作为操作系统(未示出)的特征来捕捉显示器上呈现的任何内容(类似于打印屏幕功能)。在一些情况下,剪辑器可被包括作为生产力或笔记本应用106的web功能或附件。
[0049] 在各实施例中,剪辑器108可以收集并捕捉随后被存储在“云”存储110中或另一远程(非本地)目的地处的内容。该内容(以及经扩充内容)可被存储在与特定用户的账户相关联的储存库中。云指的是通过因特网作为托管服务的一部分对用户可用的存储和系统。所捕捉的内容也可被存储在客户端本地。
[0050] 内容可通过剪辑器108被发送至用户的笔记或其它应用文档。笔记或其它应用文档可被存储在云中(例如,在存储110处的与用户相关联的储存库中)。在一些情况下,笔记或其它应用的本地副本是可用的。笔记或其它应用文档可被运行在客户端上的应用106访问或与应用106相关联。剪辑器108可将内容从浏览器104(或某一其他应用)提供至多个笔记和/或其它应用文档,以及通过捕捉服务115呈现附加功能性和增强。
[0051] 在使用捕捉服务115来识别来自内容的实体(或一个以上实体)时,捕捉服务115可以,例如通过向云存储110和/或目的地存储提供内容(以及内容的任何增强或扩充),来与云存储110和/或目的地存储(例如,企业服务器或其他特定远程存储)(未示出)进行对接。在本地运行的应用(例如,剪辑器208)可以(经由API)调用捕捉服务115。
[0052] 在一些实现中,作为扩充的一部分,捕捉服务可以与web数据服务125通信以获得来自相关结构化内容(也称为“结构化知识”或“知识图”)的数据库130的信息。数据库130可由搜索引擎提供者聚集并主存,如 和 然而,可以使用可通过因特网、其他网络(私有和/或公共)访问或甚至可在用户的本地机器上访问的其他知识库数据库。在一个实现中,捕捉服务115可以直接从数据库130获得结构化内容。
[0053] 在一些情况下,相关结构化内容可在现场生成。在一种这样的情况下,捕捉服务115可以与搜索引擎服务通信以执行搜索。搜索引擎服务可以跨因特网检索来自各个源(例如,源140、142、144)的信息。在一些情况下,搜索引擎服务可以是由web数据服务125的同一提供者提供的分开的功能。在其他情况下,搜索引擎服务可以由不同提供者执行。
[0054] 捕捉服务可包括允许任何应用捕捉页面上的实体、获得实体包、或甚至为指定应用存储实体包(例如在与用户相关联且可由一个或多个应用访问的存储位置或储存库处)的API。在一些情况下,在页面是网页(或网页的一部分)的情况下,捕捉服务可从搜索引擎服务获得卡。捕捉服务可从该卡检测页面的一个或多个实体。
[0055] 应用或剪辑器可向服务请求是否存在针对页面或文档的可识别的实体。服务可以确定一个或多个优势对象并提供用于该对象的实体容器。
[0056] 可使用通过网络通信的一个或多个物理和/或虚拟服务器来实现捕捉服务115。在一些情况下,捕捉服务115可将从剪辑器108提供的剪辑的地址存储或维持在存储110中。所捕捉的内容(包括实体容器)可直接从存储110访问或通过捕捉服务115访问,以用于插入不同类型的文档中。在一些实现中,其他客户端和服务器可以与捕捉服务通信以利用可从捕捉服务可用的功能而无需使用剪辑器108。
[0057] 作为图1中解说的环境的一部分描述和/或示出的各网络可包括但不限于:因特网、内联网、或外联网,并且可以是任何适当通信网络,包括但不限于:蜂窝(例如,无线电话)网络、因特网、局域网(LAN)、广域网(WAN)、WiFi网络、自组织网络或其组合。这样的网络可涉及网络元素(诸如集线器、桥接器、路由器、交换机、服务器以及网关)的连接。网络可包括一个或多个连接的网络(例如,多网络环境),包括诸如因特网之类的公共网络,和/或诸如安全企业专用网络之类的专用网络。可以通过一个或多个有线或无线接入网络来提供对网络的接入,如本领域的技术人员将理解的。
[0058] 图2A解说根据一实现的用于捕捉服务的示例过程流程。参考图2A,响应于接收到剪辑或输入到笔记本应用的其他内容(200),可执行实体确定(210)。
[0059] 实体可以被自动解决或用户可以选择实体的类型。在一些情况下,组合可能是适当的,例如在不存在足够信息以高于阈值的确信度确定优势对象是特定实体的情况下。
[0060] 在一些情况下,剪辑包括指示实体类型的标记或标签。在剪辑包括实体类型的指示时,实体确定可包括读取该标签或标记。
[0061] 在一些情况下,实体确定包括分析剪辑的内容以确定剪辑的实体。文档或网页的实体可以响应于接收到剪辑来被标识。在这种情况下,被标识以供使用的实体是强类型化的实体。可以使用用于标识优势实体的任何合适的技术。例如,分类、图像识别文本挖掘、语义、以及本体论框架可被用来标识来自串或其他内容格式的优势(以及非优势)实体。
[0062] 在一些情况下,实体确定涉及联系搜索引擎服务(或其他web数据服务)来请求与URL有关的信息,例如,以“主题卡”(在此定义为与实体有关的结构化和未结构化信息)的形式,它可包括与网页相关联的一个或多个实体的指示。在一些情况下,多个“主题卡”或模型可对URL是可用的。
[0063] 在确定实体(210)之后,所收集(剪辑)或以其他方式输入到笔记本的内容随后可以按标记的形式与强类型化的实体相关联(215)。虽然这一步骤被示为发生在执行扩充(220)之前,但标记的指派可以在确定实体之后的任何时间执行,包括在执行扩充之后、在存储剪辑时、或甚至在提供剪辑的预览之后。
[0064] 标记类似于可被存储为文档或页面的元数据的一部分的“标签”。标记可甚至被用作标签。然而,标记可以与文档或页面内的元素或对象以及页面本身的元数据相关联。另外,标记促进专用于可识别实体的附加功能,且在一些情况下包括提供用于被标记的对象的属性的指定结构的模式。即,与标签不同,实体标记呈现如何存储与实体相关的信息的标准模式。尽管任何元数据可被添加以描述页面,但加标签往往不是统一的。
[0065] 在一些情况下,同一页面上可能存在多个实体。例如,搜索结果页面可具有多种酒。作为另一示例,博客帖子可包括与作者到访的区域有关的食谱(一个实体)和文章(另一实体)。同一实体类型的多个对象或不同实体类型的多个对象可被识别并按它们对应的结构来存储。
[0066] 在一些情况下,与内容相关联的实体可各自具有置信度值且内容可以高于某一阈值的置信度值被标记为实体。在一些情况下,多个强实体可存在于页面或文档上。各单独部分可以与它们的对应实体来标记且页面或文档作为整体可以用多个实体来标记。
[0067] 在其中所捕捉的内容可包括多个实体的一些情况下(或其中基于所捕捉的内容不可能或不能容易地实现将结果缩窄到单个实体的情况),实体确定可包括输出由捕捉服务理解的可用实体的列表并响应于接收到对可用实体之一的选择来确定实体。在其中对象可按不同实体形式(例如,作为书籍或影片)存在的一些情况下,可包括使用户能够校正或选择所引用的实体的特征。在存在适用于同一通用主题的两个或更多个实体类型时,可发生这一情况。
[0068] 一旦确定了实体(210),就可根据该实体执行扩充(220)。扩充可以是创建实体容器、实体相关处理、或这两者的组合。
[0069] 实体容器指的是具有专用于该实体类型的结构化模式的信息包。实体容器可以响应于接收到来自应用(或剪辑器)的对实体容器的请求来被生成,或响应于接收到剪辑或调用扩充的某一其他指定事件来被自动生成。实体容器基于确定剪辑(它可以是整个页面或页面的区域选择)的一个或多个优势实体来呈现结构化数据集。当在页面上发现多个实体时,每一实体可被标识且它们的对应结构化数据集被呈现(和/或存储)。
[0070] 强类型化实体容器不仅仅是描述该对象的一个或多个关键字。相反,实体容器提供该事物/实体是“什么”(例如,“书籍”);提供可对该实体采取的动作(例如,阅读与“书籍”有关的审阅);启用对实体容器的访问(例如,使得对具有访问“书籍”的许可的第三方可用或提供用于查询的标签);以及启用要执行的动作(例如,“书籍”可被发送给在线书店的希望列表)。
[0071] 在一些情况下,实体容器可以根据从搜索引擎服务接收到的一个或多个卡(或“模型”)来生成。该卡可包括实体信息以及与实体的对象相关的各种属性。因为搜索引擎服务已经分析了页面且准备了卡,所以可以省略用于确定与来自本地应用或捕捉服务的所捕捉的内容相关联的实体的附加分析。
[0072] 在网页的URL被用来向搜索引擎服务请求相关联的实体时,被提供用于指示该实体的卡也可被用来生成实体容器。
[0073] 对于实体相关处理,剪辑可按多种方式被处理或变换。在一些实现中,各过程可包括从网页的主内容移除广告或查找由页面作者嵌入在页面的HTML中的实体标签。在一些情况下,变换可包括将可阅读文本与所呈现的内容分开以生成来自可阅读文本的图像。在一些情况下,变换可包括提供超链接识别,以使得图像中示出的内部链接可变得“活动”且是可选择的。在一些情况下,变换可包括从所呈现的内容移除重复背景内容。变换可以是以上或其他类型的变换过程的任何组合,包括过滤、文本识别、图像识别、以及加标签。
[0074] 在一些情况下,根据所选择的区域(或甚至完整页面捕捉),捕捉服务可以基于数据的可识别方面来处理该数据。例如,主要包含文本的选择可被识别为文章,且各过程可被执行以过滤或移除被系统认为不相关的内容或其他数据,以呈现数据的“干净”视图。“干净”视图可由该实现来定义。“干净”视图的示例是广告和横幅从网页移除的情况。
[0075] 作为另一示例,在剪辑被识别为文章时,文章的图像或多个页可被取出。
[0076] 作为另一示例,在剪辑的目的地是阅读器应用时,页面的HTML可被分析以确定页面上是否存在特定量的文本(以将该页面分类成博客、社论、文章,等等)且清洁程序可被应用以移除广告和/或将该文本或其他内容格式化以供阅读。在另一实现中,清洁程序可以标识各部分以保持并从HTML提取这些部分,同时留下广告或任何不想要的信息。作为文章本身的预览的替换或补充,“文章”的识别也可生成用于文章实体的容器的预览。
[0077] 在一些情况下,捕捉服务所执行的过程包括调用另一web服务或执行处理以确定与网页的内容相关联的元数据。元数据可包括随后可与HTML文件或图像包括在一起以帮助在捕捉网页之后可被执行的搜索或其他过程的主题标签。主题标签包括基于上下文、图像、主题、或其他相关主题与该内容相关的标签。某些标签可基于所识别的实体而被建议或自动提供。例如,如果实体是书籍,则所建议的标签可以是“待读”。
[0078] 经扩充的剪辑可被存储(230)且可任选地在预览中提供给客户端(240)。
[0079] 图2B解说根据一实现的用于剪辑器的示例过程流程。参考图2B,剪辑器可以接收剪辑的指示(250)。指示可以通过剪辑器用户界面来接收。实体可以在客户端处(作为在剪辑器处的过程的一部分)或在捕捉服务处被确定。一旦为剪辑解决了实体,就可呈现用户界面的实体相关特征(260)。一个实施例基于所识别的实体来提供定制的窗口窗格。自定义串可被用于不同的实体类型。一些示例在图6A-6E中示出。
[0080] 可呈现剪辑的预览(270),且该预览可以示出该剪辑可用的扩充。在通过剪辑器被捕捉时,可在与剪辑器相关联的图形用户界面内呈现该剪辑的预览。预览可以在与该内容分开的窗口或窗格中或在与该内容相同的文档中呈现。
[0081] 在一些实现中,可基于所识别的实体来呈现定制的视图(或格式)。在一些情况下,具有用于指定属性的适当内容的实体容器结构可以按特定方式来安排。例如,书籍实体类型的演示可包括适合在特定比例的矩形(或其他形状)内的安排,具有在一个位置处的书籍封面的图像、在另一位置处的指定字体的书籍概要、在又一位置处的作者的名字、以及在底部位置处的ISBN号。
[0082] 在一些情况下,服务元素可被包括在特定位置处。这一服务元素可以是例如用于启动在线书商站点的“立刻购买”请求或用于启动学习指导应用的大纲请求的图形表示。再无其他示例,“影片”可包括用于买票的服务元素,且“机票”可包括显示与飞行状态有关的最新信息的服务元素。
[0083] 图3A和3B解说具有用于一些实现的过程流程的系统架构图。操作环境可包括客户端300、捕捉服务305、搜索引擎服务(搜索提供者所提供的web数据服务)310、知识库/数据库315、以及用户的存储320。
[0084] 参考图3A,剪辑322可以从客户端300发送到捕捉服务305。在一些情况下,页面的源整体发送到捕捉服务。在其他情况下,提供源的一部分,且在又一些情况下,发送URL且在服务器处(由捕捉服务305)检索内容。在基本情况下,如情况A所示,捕捉服务可以将不带扩充的剪辑(324)存储在用户的存储320中且在一些实现中预览326可以在客户端300处生成。
[0085] 情况B、C以及D示出了用于促进扩充的各种配置。在情况B中,扩充可在捕捉服务305处被执行,例如涉及移除广告或格式化文本以供阅读的各种过程。因而,在接收到剪辑
322后,剪辑和扩充可被存储(328)且可任选地被提供作为预览330。
[0086] 在一个实现中,捕捉服务305可包括具有相关联的卡的实体的数据库(或联系具有带相关联的卡的实体的数据库的另一服务)并可从这一数据库检索主题卡。查找表可被用来获得指定实体的对应卡。
[0087] 例如,在情况C中,实体识别和扩充可由捕捉服务305通过直接访问知识库或数据库315来执行。响应于来自捕捉服务305的通信332,来自知识库/数据库315的数据(334)可被提供给捕捉服务并被用来生成经扩充的剪辑336,它可被存储在用户的存储320中且可任选地被提供用于预览338。
[0088] 根据一示例实现,捕捉服务305可以调用搜索引擎服务310,例如 或搜索引擎服务,使用实体来向 或 服务请求主题概要或主题卡。
[0089] 例如,在情况D中,在剪辑是来自网页的内容时,实体识别可能已经由搜索引擎特征执行。在这种情况下,网页的URL可能足以发送到捕捉服务305,捕捉服务305从搜索引擎服务310请求(340)页面上的一个或多个实体。搜索引擎服务310可以访问(342)知识库或数据库(315)(它可以是与同捕捉服务直接通信的知识库或数据库相同或不同的知识库或数据库)以检索网页的主题卡(344)。搜索引擎服务310随后可将卡346(连同可由捕捉服务305请求的任何其他搜索结果)提供给捕捉服务305。经扩充的剪辑348可被存储在用户的存储320处并可任选地被提供作为预览350。
[0090] 如上所述,在一些情况下,预览可被呈现。在其他情况下,剪辑器收集内容并将内容直接发送到存储(而没有预览)。
[0091] 剪辑的预览可由捕捉服务提供至客户端和/或在客户端上运行的剪辑器可呈现该预览。预览可以在预览窗格或浏览器中的窗口中呈现。预览窗格可以是剪辑用户界面的一部分,可在该剪辑用户界面中实现编辑、加标签、和其它动作。例如,用户可以经由用户界面向剪辑添加标签或评论。另外,也可在用户界面内配置剪辑的目的地。在一些情况下,下拉菜单或输入域可被用来指示特定目的地。作为示例,用户可以选择笔记本名称或阅读集合。预测的目的地也可被呈现在预览窗格中。例如,使用实体识别和自动加标签,剪辑器或捕捉服务可以确定用户正在寻找房屋且识别网页的与房屋有关的、随后被保存到用户的住房笔记本的元素。类似地,在识别影片的实体时,这样的剪辑可自动去往用户的影片笔记本。
[0092] 参考图3B,剪辑322可以从客户端300发送到捕捉服务305。如上所述,在一些情况下,页面的源整体发送到捕捉服务。在其他情况下,提供源的一部分,且在又一些情况下,发送URL且在服务器处(由捕捉服务305)检索内容。在图3A所示的基本情况(情况A)下,捕捉服务可以将不带扩充的剪辑(324)存储在用户的存储320中。
[0093] 情况E、F以及G示出了用于在存储了剪辑(它可以或可以没有已执行扩充)之后促进扩充的各种配置。在用户从用户的存储检索剪辑(如剪辑322)(354)以供在客户端300处查看和/或编辑时,客户端300可联系捕捉服务305以检索所存储的剪辑(经由请求352)。如针对情况E所示,捕捉服务305可在将剪辑提供给客户端300之前自动执行对剪辑的扩充。例如,可执行涉及移除广告或格式化文本以供阅读的各过程。一旦执行了扩充,经扩充的剪辑356可被提供给客户端300并存储(358)在用户的存储320处。
[0094] 在一个实现中,捕捉服务305可包括具有相关联的卡的实体的数据库(或联系具有带相关联的卡的实体的数据库的另一服务)并可从这一数据库检索主题卡。查找表可被用来获得指定实体的对应卡。
[0095] 例如,在情况F中,实体识别和扩充可由捕捉服务305通过直接访问知识库或数据库315来执行。响应于来自捕捉服务305的通信360,来自知识库/数据库315的数据(362)可被提供给捕捉服务并被用来生成经扩充的剪辑364,它可被提供给客户端300并被存储(366)在用户的存储320中。
[0096] 在另一实现中,如在情况G中所示,捕捉服务305可以调用搜索引擎服务310,例如或 搜索引擎服务,使用实体来向 或 服务请求主题概要或主题卡。捕捉服务305可以使用与剪辑相关联的URL来向搜索引擎服务310请求(368)页面上的一个或多个实体。搜索引擎服务310可以访问(370)知识库或数据库(315)(它可以是与同捕捉服务直接通信的知识库或数据库相同或不同的知识库或数据库)以检索网页的主题卡(372)。搜索引擎服务310随后可将卡374(连同可由捕捉服务305请求的任何其他搜索结果)提供给捕捉服务305。捕捉服务可以使用卡374(以及所提供的任何其他数据)来扩充剪辑并将经扩充的剪辑376提供给客户端300且将经扩充的剪辑存储(378)在用户的存储320处。
[0097] 图4解说根据一实现的用于捕捉服务的示例过程流程。可在捕捉服务处接收(400)网页或其他文档的剪辑以执行扩充。一旦被接收到,就确定页面或其他文档上的内容的一个或多个实体(410)。确定剪辑中的对象的实体可以通过读取来自剪辑的实体标签(412)、分析剪辑的内容(414)、和/或通过将剪辑的URL作为请求的一部分发送给web数据服务420来调用(例如,从搜索引擎提供者可用的)web数据服务(416)。在一些情况下,在分析剪辑的内容(414)时,可通过分析所剪辑的网页(或其他文档)的HTML优势对象模型(DOM)来实现实体确定。在一些情况下,在使用来自web数据服务420的主题卡时,在从web数据服务420接收到一个或多个主题卡(与页面上的一个或多个实体有关的结构化和未结构化信息)时,实体随后可在操作418中被确定。如果捕捉服务接收到实体请求(422),则在操作410中确定的实体可被提供给作出该请求的应用/设备。
[0098] 作为扩充过程的一部分,从web数据服务(和/或搜索引擎服务,不论是相同还是不同的提供者)接收到的信息可被用来创建实体容器。来自剪辑本身的信息可被用来填充实体容器且促进实体容器的创建。
[0099] 实体容器(例如,“扩充”)的创建可以与实体确定并行或串行地执行。在一些情况下,实体确定作为实体容器创建过程的结果或一部分来发生。在一些情况下,实体确定的结果引导实体容器创建过程。
[0100] 作为示例,在操作416期间,在捕捉服务使用URL调用web数据服务420时,web数据服务420可以提供由URL标识的网页的属性的、存储在web数据服务的数据库中的经高速缓存的版本。实体确定可以从卡读取(418)并且该卡信息可被用来生成实体容器(440)。例如,如果接收到主题卡(442)(因为在操作416期间被请求),则该卡可被读取以获得适当的数据(443)。实体容器可以是该卡或可以是该卡的由web数据服务提供的经修改的版本。
[0101] 如果捕捉服务尚未具有主题卡,则捕捉服务可以用URL来调用web数据服务420(444),并且响应于从web数据服务接收到主题卡,捕捉服务可以读取该卡以获得适当的数据(445)。在一些情况下,卡对于出于某种原因(例如,尚未提供任何URL或没有URL是可用的)而不具有存储在数据库中的经高速缓存的版本的URL或文档(或捕捉服务接收到的其他项)是不可用的。
[0102] 在没有卡可用的情况下(以及甚至在卡可用的情况下),捕捉服务可以调用搜索服务(它可由web数据服务的同一提供者来提供)并请求执行搜索(也参见操作444和445)。
[0103] 例如,在关键字是作曲家的名字时,所管护的卡可包括该作曲家的照片、生日、家庭成员、著名作品,且在一些情况下,包括普遍搜索的或与该作曲家有某一其他关系的其他作曲家。这一类型的所管护的卡读取被用在搜索引擎站点上以增强某些搜索结果;然而,一些实施例可以在搜索引擎网站外部提供这一功能并且不需要用户输入搜索项。
[0104] 即,捕捉服务确定用户旨在从页面捕捉的实体,作出到搜索服务(它可仅接收关键字)的连接,接收来自搜索服务的卡,并根据该卡以及所请求并跨因特网从各种源接收到的其他信息来生成实体容器。例如,服务元素可被包括在实体容器中且在确定所需和/或可用服务元素(446)之际,实体容器的各字段可被填充适当的数据(447)。扩充还可包括执行实体相关处理(450)。以此方式生成的实体容器可以在用户在实际上任何网页或文档上活动的同时在预览中呈现。
[0105] 作为依赖于搜索引擎的补充,捕捉服务可以具有自然语言处理和相关统计技术和/或基于试探法的技术来自身标识关键实体。
[0106] 图5A和5B解说其中web剪辑中的所识别的实体被指派实体容器的示例场景。参考图5A,用户可能正在进行用于学校课程的巴洛克(Baroque)时期的研究。当在查看网页500时,用户可能决定将该页面剪辑到笔记。
[0107] 根据自动扩充技术的一实现,可为网页500的一个或多个优势实体生成实体容器。在调用捕捉服务时,网页的优势特征可被确定且这一优势特征被关联为强类型化实体(也称为“强实体类型”)。在页面上可识别一个以上实体。
[0108] 页面500上的优势实体可以是约翰·塞巴斯蒂安·巴赫(Johann Sebastian Bach)(505)。优势实体的确定可以在剪辑器(在本地)处或在捕捉服务处执行。在一些情况下,用户可以指示感兴趣的实体;而在其他情况下,实体确定是在后台和/或无需用户输入的情况下执行的。
[0109] 响应于确定页面上的优势实体包括作曲家约翰·塞巴斯蒂安·巴赫,捕捉服务可生成实体容器。剪辑可被捕捉到存储中,具有用于所识别的一个或多个实体的实体容器。实体容器可供用于在剪辑的页面上识别的强实体类型。
[0110] 图5B中示出的实体容器510可被呈现在用户的设备上作为预览。应当理解,图5B中示出的实体容器仅仅是可以形成实体容器的各元素的说明且不应被解释为需要所示的元素或仅限于所示的元素。参考图5B,实体容器510可包括作曲家的名字属性元素511、概要属性元素512、图像属性元素513、生命跨度属性元素514、关系/配偶属性元素515、子女属性元素517、父母属性元素518、以及“现在收听”服务元素520。
[0111] 在一些实施例中,剪辑器界面可以指示与浏览器或其他应用的查看窗格中呈现的内容相关的特定实体的识别。例如,如果用户正在查看与书籍相关的网站,则剪辑器界面的布局、文本或其他特征可使它显现为剪辑器识别用户正在查看与书籍相关的网页。
[0112] 剪辑器可以引导内容呈现,且可任选地向用户提供附加信息。内容呈现可包括所识别的收听的简单描述,例如“书籍”,或网页上的所识别的书籍的实体容器的预览。附加信息可以用例如书籍的有竞争力的价格相关。例如,如果用户正在剪辑来自Amazon.com的信息,经扩充的剪辑器还可自动提供来自其他售书网站的价格。
[0113] 一旦识别了实体类型——或作为识别剪辑的实体类型的过程的一部分,捕捉服务可以从一个或多个源获得与实体的对象相关的元素(属性元素和服务元素)。
[0114] 根据各实现,捕捉服务可以按适用于特定实体类型的形式来提供相关信息(元素)。这一形式可以是相关于所标识的事物(即,实体)有意义的元素包。加标签与实体化之间的差异在于确定文档中或网页上的一个或多个实体生成专用于该实体的布局或格式,与简单地提供文件的附加元数据形成对比。文本、音频、图像、以及视频可被应用捕捉且这一内容的主题可被捕捉。
[0115] 在一些实现中,可根据本体论数据库或目录(如从schema.org—将世界模式化的公共储存库—可用的)来配置实体容器模式。模式可包括与对象相关联的属性的列表。属性的列表随后可被用来获得信息以填充模式。布局模板也可被包括,使得实体容器(具有所填充的属性)的视图可以是一致的,但可为每一客户端或上下文定制(例如,信息如何被呈现在预览窗格中或移动电话上)。
[0116] 在所描述的实现中的任一者中,服务元素可(例如,作为实体容器的一部分)被包括在扩充中。因为与HTML相对比,所存储的对象的身份是已知的(是实体),所以操作这样的实体的各应用可以与对象或对象的各方面进行交互或被给予对于对象或对象的各方面的访问。
[0117] 服务元素的示例是日历事件。日历服务可被实现以基于实体来设置提醒或生成消息。提醒可以与所捕捉的这类信息在上下文上相关。在一些情况下,定位服务可被包括,其中在设备处于距店铺或其他位置的特定距离内时可发送提醒。例如,“当我在书店时提醒我”可通过服务元素被安排,以当用户(用户的设备)处于书店中时提示用户来获得书籍;或“当我在电影院或售票站时提醒我”以提示用户观看影片或买票。
[0118] 附加功能也可通过服务元素被设置。例如,食谱实体可包括当用户处于杂货店中时生成购物清单的服务元素。
[0119] 虽然“文章”可能不是强实体,但文章的主题可被确定且通过文章实体容器的一个或多个服务元素启用附加服务。例如,相关新闻可基于常见主题而被检索。作为另一示例,对主题的更新(例如,更加新的文章或对文章的校正)可被呈现或推荐。
[0120] 通过捕捉服务可用的剪辑的扩充所指派的强实体类型使得能够呈现附加功能。
[0121] 从笔记本应用,对第三方应用的许可可以基于实体类型是可用的。例如,笔记本应用可被配置成准许阅读器应用访问“书籍”来加标签、阅读、或其他指定动作。代替基于分层结构的许可(例如,专用于页面),许可可被设置成基于“实体”的许可。这允许访问页面的元素而非作为整体的页面。被访问的各元素是标记为强对象的元素,而不必是页面上的其他信息(除非针对该其他信息的许可被授予和/或页面上的该其他信息是实体的属性)。
[0122] 因为实体按实体容器的形式被存储,所以访问实体容器(基于对特定实体类型的许可)避免了访问用户的私有信息。相反,来自实体容器的信息是从跨因特网的各个源获得且由搜索引擎生成的公共信息。例如,用户的笔记可以讨论小说中的章节发展。该小说可被标记为“书籍”强类型实体。因为该小说被标记为书籍,所以该小说的实体容器与页面或笔记的页面上的对象一起存储。随后,在被授权访问笔记中的书籍的应用访问该书籍时,该应用接收到的信息是整个容器而非章节发展的讨论或笔记的页面上的其他文本。
[0123] 下文是与本主题公开的各方面相关联的、相关于计算设备提供的多个屏幕截图。这些屏幕截图仅是示例性的并被提供以图形地描绘本公开的各方面的至少一个实施例。当然,本发明不旨在限于所提供的图形元素的位置或表示,因为存在可实现相同或类似结果的大量其他方式。
[0124] 应当理解,这些情况示例旨在用于解说一些特征可如何实现且不应被解释为在布局、功能、特征或范围方面是限制性的。
[0125] 实体相关UI可被呈现。例如,自定义串可被用于不同的实体类型。图6A-6E解说示例实体指定器。一旦从被剪辑的网页识别了优势实体,指定的响应就可被显示给用户。参考图6A,具有优势实体影片的网页605可造成引用剪辑器窗格615中的实体类型“影片”的指定响应610。因而,如果用户剪辑包含所识别的实体影片的内容,所显示的串可指示“观影列表”,如图6A所示。
[0126] 在图6B中,具有优势实体歌曲的网页620可造成引用剪辑器窗格630中的实体类型“音乐”的指定响应625。例如,“音乐已采样!”可以是针对音乐站点的消息。
[0127] 在图6C中,具有优势实体书籍的网页635可造成引用剪辑器窗格645中的实体类型“书籍”的指定响应640。如果用户剪辑包含书籍的内容,所显示的串可指示“书籍已上架!”,如图6C所示。
[0128] 在图6D中,具有优势实体文章的网页650可造成引用剪辑器窗格660中的实体类型“文章”的指定响应655。例如,在内容被确定为文章实体时,“文章已剪辑”可被显示。
[0129] 在图6E中,具有优势实体酒水的网页665可造成引用剪辑器窗格675中的实体类型“酒水”的指定响应670。例如,在酒水网站处剪辑之后,消息“酒水已尝!”可被显示。
[0130] 在每一示例中,同一消息被传达——确认站点所涉及的“事物”的身份且该材料已被剪辑并保存。
[0131] 图7A-7C解说可在具有web浏览器客户端710的移动设备700上实现的笔记本应用的场景。
[0132] 访问并启动用来共享内容的应用可以通过触摸、鼠标点击、语音请求或其他输入或姿势来执行。在另一情况下,这一应用可通过程序来启动。图7A示出用于通过触摸输入启动用来共享内容的应用的示例用户界面。例如,如图7A所示,移动设备700的用户可在web浏览器客户端710中输入URL并随后选择将网页720共享到笔记(750)。
[0133] 如图7B所示,预览窗格(或弹出框)760可打开,使得用户可以查看被插入用来共享内容的应用的内容的预览。用来共享内容的应用可以是笔记本应用、阅读器应用、生产力应用或经由捕捉服务可用的任何合适的应用。另外,预览窗格可包括供用户控制内容被指派到何处的特征(例如,笔记的名称、与笔记相关联的账户)。用户可以选择(770)来包括该内容(780),它被示出在预览窗格760中。诸如按钮、复选框、或其他输入域等选项可被提供给用户以使用户能够选择包括屏幕截图。
[0134] 在用来共享内容的应用是笔记本应用时,在笔记本应用被打开时,所捕捉的内容可以在笔记中查看。一旦内容780被包括在笔记790中,用户就可以在屏幕截图上注释,如图7C所示。
[0135] 图8A-8E解说根据一实现的用于示例场景的过程流程的用户界面。在一示例场景中,用户Joy正在浏览在线书店并遇到她想要阅读的书。Joy可以使用剪辑工具将该书信息剪辑到她的笔记本应用中。例如,如图8A所示,Joy可能正在查看网页800以寻找其上可呈现书籍封面801、概要802、版本和价钱803、以及书名和作者804的书籍。书籍可供购买,其中交易可通过购买链接805可用。在Joy选择(S801)(经由剪辑器810)来剪辑页面时。剪辑可以是页面、页面的区域、和/或页面的优势实体的剪辑。
[0136] 如在图8B和8C中所示,响应于剪辑页面800,因为捕捉服务将页面800的优势实体识别为书籍,剪辑器可以显示指定响应820,指示所识别的实体是书籍。剪辑可从剪辑器内被编辑,例如“编辑剪辑”命令可被选择,或可从预览窗格(例如,预览窗格840)内作出修改。在剪辑页面(或页面的一部分)时,预览窗格840可以或可以不被自动显示。图8D和8E示出了许多另选预览窗格配置中的两个预览窗格配置。图8D示出右面板预览窗格842且图8E示出底面板预览窗格844。
[0137] 返回图8C,书籍实体容器850可被显示在预览窗格840中。书籍实体容器可以提供各属性,包括但不限于书籍封面860、概要862、作者信息864、价钱866、ISBN 868以及附加信息870。属性的信息中的一些可以从网页内容本身获得。属性的其他信息可以从一个或多个外部源获得。
[0138] 用户情况序列在图9A-9G中示出。参考图9A,用户可能正在与告诉她一定要阅读某一本书的朋友交谈。所以用户向她的蜂窝电话900讲话以将名称记录(S901)在她的笔记本应用中作为快速笔记。在一些情况下,语音识别文本905可被显示在笔记内。在接收到这一输入后,笔记本应用可以(作为同步过程的一部分、响应于用户的命令、作为通过将内容接收到笔记本应用而激活的某一自动化过程的一部分、或其他原因)访问或调用捕捉服务来请求实体识别。
[0139] 在这一示例情况下,捕捉服务可以指示该实体可以是书籍或影片,且结果,所记录的名称可具有附加的标记,指示该实体可以是书籍或影片(以及可任选的对应的置信度值)。
[0140] 随后,参考图9B,在用户打开她的笔记本应用910时,快速标记条目920可出现。因为这一快速标记的内容造成了两种可能的实体类型,所以在该示例中,用户可以选择旨在用于该内容的实体类型,书籍922或影片924。
[0141] 如图9C所示,用户选择“书籍”(S902)。这一选择可以用实体标记“书籍”来标记快速笔记内容,这可造成容器“书籍”被应用于该内容。容器的应用可包括笔记本应用请求书籍容器来从捕捉服务获得所命名的书籍。对于这一示例,如图9D中所示,当在笔记本应用中识别了“书籍”时,书籍封面925(作为书籍容器的一部分接收到)可被显示且一些功能930可对用户可用,例如该书籍可被指示为能够被移动932到待读书籍的笔记本940。
[0142] 在一些实现中,“书籍”的标记也可使另一应用(它可以是第三方应用)(如阅读器)能够对笔记本应用中的该内容执行动作。这一动作可以是“待读”,例如以确定在笔记本中命名的书籍并获得来自另一源的文本,使得在用户打开阅读器时,该书籍可供阅读。类似地,学生学习引导应用可以读取笔记本中命名的书籍并向用户呈现小册子样式或大纲。
[0143] 在其中学习引导应用具有访问标记中的“书籍”的许可的一个示例中,在课堂期间在笔记本应用内记笔记的用户可使实体识别自动发生或在用户命令(例如,通过选择笔记本应用的文本或图形用户界面元素)时发生。在从笔记识别了“书籍”实体时(由于可在客户端处或经由客户端与其通信的捕捉服务执行的优势实体确定),该“书籍”可被存储。“书籍”可与笔记分开存储,或作为笔记的标记或标签来存储
[0144] 在又一实现中,实体容器也可被获得并存储。图10解说用于处理对内容的访问的过程流程。参考图10,捕捉服务可响应于接收到对与特定实体(如“书籍”)相关联的内容的请求(1001),捕捉服务可标识实体相关容器(例如,所存储的“书籍”、实体容器和/或标记)(1002)。“书籍”或书籍的实体容器的元素(例如,标题)可被传递或以其他方式提供给请求的源(例如,学习引导应用、阅读器)(1003)。
[0145] 因为学习引导应用可以访问“书籍”且也可访问该笔记(具有书籍标记)或该“书籍”(分开地)被存储到的存储空间,所以学习引导应用可以向用户提供该书籍的大纲。这可例如在用户处于课堂中并记笔记或在稍后用户访问学习引导应用时发生。
[0146] 由于使用强类型化实体对内容进行标记,所以这些扩展的动作可以是可能的。
[0147] 作为一个示例,书籍推荐应用(例如,与正在讨论的书籍相关的社交网络)可被链接到用户的笔记本应用。当在书籍推荐应用上对书籍进行评级时,这一书籍的书籍实体可被添加到笔记本应用中“我读过的书籍”列表,使得当在笔记本中搜索书籍时,所推荐的书籍可与相关信息一起被自动包括在笔记本中。相反,在书籍被添加到笔记本应用时,该书籍可在书籍推荐应用上被标记为“想读”。
[0148] 参考图9E,用户可以选择(S903)功能932以将该项移至待读书籍940文件。在菜单950上的“待读书籍”940项被初始选择时(S904),“待读书籍”预览960可以是可用的,如图9F中示出的过滤器。随后,参考图9G,在用户从菜单950选择(S904)“待读书籍”940时,待读书籍页面被显示且用户可以从菜单970选择所命名的书籍。响应于接收到所命名的书籍选择(S905),书籍容器980可被显示。容器980可包括书籍的格、星级评级、以及简要描述,它们在不离开笔记本应用的情况下被全部显示。在一些实现中,可以从笔记对该向采取各个动作。例如,在一些情况下,可链接回一个或多个在线零售商的“购买”按钮也可被包括。在一些情况下,“已读”按钮或其他任务相关选择可被包括,使得用户可以区分已读书籍和待读书籍而不必从笔记本删除数据。书籍容器980可以与图8C中所示的书籍容器预览850相同或相似。
[0149] 图11解说捕捉与URL相关联的内容的场景;图12解说所捕捉的URL的经扩充的呈现;以及图13A和13B解说实体化内容的外部应用访问。参考图11,用户在他们的平板1100上时可能正在浏览网站,且看到他们想要捕捉到他们的笔记本应用中以供稍后使用的“酸奶油蘑菇肉”的食谱1110。在一个场景中,如图11所示,他们可以选择从剪辑器将网页(或网页对应部分)剪辑1120到笔记。随后,如图12所示,一旦捕捉服务确定主实体是食谱,食谱模板1150就可被用来在用户的笔记1160中呈现为食谱创建的实体对象。实体对象可以是可搜索的(例如,可作出搜索实体对象的对笔记本应用的查询),且使得实体对象可由其他应用(例如,笔记本应用以外的应用)访问。例如,如图13A所示,用户可以在杂货店并且,在他们的智能电话1305上使用他们的杂货列表应用1300,可基于他们捕捉到笔记中的食谱来获得购物列表。
[0150] 杂货列表应用1300可自动地或响应于接收到用户想要检索食谱配料的指示(例如,经由找出食谱配料的命令,如可通过触摸图标1310获得的)来请求来自捕捉服务的与“食谱”相关的内容。捕捉服务可以标识“食谱”并至少传递所标识的食谱中的一者或多者的配料。
[0151] 在一些情况下,用户可以具有包含杂货店应用可访问的食谱的特定文件或笔记。在一些情况下,杂货店应用可以访问与用户账户相关联的所有食谱。特定配置可以基于通过捕捉服务可用的设置和/或请求该内容的特定应用。在一些情况下,用户可以基于配料从传递给杂货列表的多个食谱中选择特定食谱,并将这些配料添加到他们的杂货列表。
[0152] 一旦杂货列表应用接收到配料,配料1315就可被添加到列表中,如图13B所示。配料1315可被添加到现有列表,或可为每一食谱生成新列表。
[0153] 可以用各种方式来捕捉、使用、重用并访问食谱。食谱可通过web、电子邮件和其他服务、通过烹饪书和杂志、以及甚至通过手写笔记来收集。一旦被收集,具有实体容器的内容就可不仅在用户的笔记本应用中而且还通过其他应用被使用。
[0154] 被识别为具有食谱的实体的内容的结构可包括配料、烹调法、以及营养学。服务元素可被包括以促进诸如烹饪技术(例如,如何炒)的视频辅导、单位转换、以及杂货列表更新等功能。结构化信息可以因为与内容相关联地存储的实体容器而是可搜索的和可访问的。因而,对用户的笔记的搜索不必是内容本身的文字搜索,而可以是对食谱的特定属性的请求。对于食谱示例,杂货列表应用可以查询食谱并接收配料,或者在线购物和/或送货服务(如由Amazon.com提供的)可以访问特定食谱的配料列表并自动购买配料。内容可以对其他应用是可访问的,以促进内容的查看和/或使用。例如,被指示为“食谱”的内容可由提供“免手”烹饪书视图或膳食规划服务的应用访问。
[0155] 作为捕捉HTML或网页(或网页的一部分)的图像的替换(或补充),实体容器可被创建以按结构化方式存储来自网页的内容(且甚至包括附加特征和/或功能)。例如,食谱收集网站Allrecipes.com包括诸如通过配料、食谱辅导、评论、阅读布局(以在烹调时使用)以及甚至食谱定时器窗口小部件来复选各框等功能。这一功能中的一些可通过使用服务元素和/或笔记本应用传递增强的功能来被转移到用户的笔记本应用。
[0156] 图14是示出在一些实施例中使用的计算设备的各组件的框图。例如,系统1400可被用来实现体现客户端100、500、900等的计算设备。应当理解在此描述的系统的各方面适用于移动和传统台式计算机两者以及服务器计算机和其它计算机系统。因此,相关于系统100所描述的一些方面适用于在其上执行捕捉服务(例如,捕捉服务115、505)的服务器。
[0157] 例如,系统1400包括根据一个或多个应用程序1410和/或操作系统(OS)1420的指令处理数据的处理器1405。处理器1405可以是或可被包括在片上系统(SOC)中,连同一个或多个其他组件(诸如网络连接组件、传感器、视频显示组件)。
[0158] 一个或多个应用程序1410可被加载到存储器1415中并在操作系统1420上或与操作系统1420相关联地运行。应用程序的示例包括电话拨号程序、电子邮件程序、信息管理程序、字处理程序、因特网浏览器程序、消息收发程序、游戏程序、笔记应用等等。其他应用可被加载到存储器1415中且在设备上运行,包括各种客户端和服务器应用。
[0159] 操作系统的示例包括 OS、 phone OS、OS、 以及 OS。构想了其它操作系统。
[0160] 系统1400还可包括执行发射和接收无线电频率通信的功能的无线电/网络接口1435。无线电/网络接口1435通过通信运营商或服务供应商方便了系统1400与“外部世界”之间的无线连接。去往无线电/网络接口1435的传送在操作系统1420的控制下进行,将由无线电/网络接口1435接收的通信传播到应用程序1410,反之亦然。
[0161] 无线电/网络接口1435允许系统1400通过网络与其他计算设备(包括服务器计算设备和其它客户端设备)通信。
[0162] 在各实现中,通过系统1400存储的数据/信息可包括本地地存储在设备上的数据高速缓存,或数据可被存储在可由设备通过无线电/网络接口1435或通过设备和与设备相关联的一分开的计算设备(例如,分布式计算网络(诸如因特网)中的服务器计算机)之间的有线连接访问的任何数量的存储介质上。如应理解的,此类数据/信息可通过设备经无线电1435或经分布式计算网络来被访问。类似地,可以在根据熟知的数据/信息转移和存储装置(包括电子邮件和协同数据/信息共享系统)的用于存储和使用的计算设备之间容易地转移此类数据/信息。
[0163] 音频接口1440可被用于向用户提供听觉信号并从用户接收听觉信号。例如,音频接口1440可被耦合到扬声器以提供听觉输出,并被耦合到话筒以接收听觉输入,诸如便于电话对话。系统1400可进一步包括允许可选相机(未示出)的操作来记录静止图像、视频流等的视频接口1445。视频接口还可被用于捕捉输入的某些图像以输入到自然用户界面(NUI)。
[0164] 可经由显示器1455来提供视觉输出。显示器1455可呈现图形用户界面(“GUI”)元素、文本、图像、视频、通知、虚拟按钮、虚拟键盘、消息收发数据、因特网内容、设备状态、时间、日期、日历数据、偏好、地图信息、位置信息、以及能够以视觉形式呈现的任何其他信息。
[0165] 显示器1455可以是触摸屏显示器。(可与显示器相关联的或形成显示器的一部分的)触摸屏是被配置成检测触摸的存在和位置的输入设备。触摸屏可以是电阻触摸屏、电容触摸屏、表面声波触摸屏、红外触摸屏、光学成像触摸屏、色散信号触摸屏、声音脉冲识别触摸屏,或者可利用任何其他触摸屏技术。在一些实施例中,触摸屏结合到显示器的顶部作为透明层,以使用户能够使用一个或多个触摸与显示器上所呈现的对象或其他信息交互。
[0166] 在其他实施例中,触摸垫可结合到不包括显示器的计算设备的表面上。例如,计算设备可具有结合到显示器的顶部的触摸屏以及与显示器相对的表面上的触摸垫。
[0167] 此处所述的特定技术可以在由一台或多台计算设备执行的诸如程序模之类的计算机可执行指令的一般上下文中描述。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、和数据结构。
[0168] 各实施例可被实现为计算机进程、计算系统、或者诸如计算机程序产品或计算机可读介质等制品。在此描述的特定方法和过程可被具体化为软件、代码和/或数据,其可被存储在一个或多个计算机可读介质上。本发明的特定实施例构想了以计算机系统的形式的机器的使用,其中一组指令在执行时,可使得系统执行本文所讨论的任意一种或多种方法的指令集。特定计算机程序产品可以是计算机系统可读并且编码指令的计算机程序以执行计算机进程的一个或多个计算机可读存储介质。
[0169] 计算机可读介质可以是能由计算机系统访问的任意可用的计算机可读存储介质或通信介质。
[0170] 通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如,光纤、同轴等))和能传播能量波的无线(未有导的传输)介质,诸如声音、电磁、RF、微波和红外。虽然相关于通信介质进行了描述,但载波和可包含可被计算机系统使用的数据的其他传播信号不被认为是“计算机可读存储介质”。
[0171] 作为示例而非限制,计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如,计算机可读存储介质包括,但不限于,易失性存储器,诸如随机存储器(RAM,DRAM,SRAM);以及非易失性存储器,诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性磁/铁电存储器(MRAM,FeRAM);以及磁性和光学存储设备(硬盘、磁带、CD、DVD);或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。“计算机可读存储介质”决不包括载波或传播信号。
[0172] 此外,在此描述的方法和过程可被实现在硬件模块中。例如,硬件模块可包括,但不限于应用专用的集成电路(ASIC芯片)、现场可编程阵列(FPGA),和其它现在已知或今后开发的可编程逻辑设备。当硬件模块被激活时,硬件模块执行包括在硬件模块内的方法和过程。
[0173] 本发明的一些方面提供以下非限制性实施例。
[0174] 示例1。一种促进内容访问和管理的方法,包括:从与用户账户相关联的储存库接收对与指定实体相关的内容的请求,所述储存库包括所捕捉的内容和从所捕捉的内容识别出的实体的一个或多个实体容器;在所述储存库中,标识与所述指定实体相关联的至少一个实体容器;以及将与所述指定实体相关联的所述至少一个实体容器的一个或多个属性提供给所述请求的源。
[0175] 示例2。如示例1所述的方法,其中对所述储存库的访问是基于实体类型的,在所述指定实体与具有访问许可的实体类型相对应时,所述请求被服务。
[0176] 示例3。如示例1或2所述的方法,其中提供与所述指定实体相关联的所述至少一个实体容器的所述一个或多个属性不包括提供与所捕捉的内容一起包含在所述储存库中的私有内容。
[0177] 示例4。如示例1-3中的任一项所述的方法,其中标识与所述指定实体相关联的至少一个实体容器包括:查询所述储存库以寻找具有包含所述指定实体的指示的标记的内容,所述标记包括所述指定实体的模式,所述模式指示所述至少一个实体容器的属性。
[0178] 示例5。如示例1-4中的任一项所述的方法,其中所述实体容器包括服务元素,所述请求的源是与所述服务元素相关联的服务。
[0179] 示例6。如示例5所述的方法,其中所述服务是由所述服务元素指示的阅读器应用。
[0180] 示例7。如示例1-6中的任一项所述的方法,其中在其中标识了与所述指定实体相关联的至少一个实体容器中的一个实体容器的整个笔记也被提供给所述请求的源。
[0181] 示例8。如示例1-6中的任一项所述的方法,其中被标记为与所述指定实体相关联的笔记中的内容也被提供给所述请求的源。
[0182] 示例9。如示例1-6中的任一项所述的方法,其中只有与笔记的内容相关联的实体容器的一个或多个属性被提供给所述源,所述笔记的其余内容不被提供给所述请求的源,其中在与所述指定实体相关联的所述至少一个实体容器之一在所述笔记中被标识。
[0183] 示例10。如示例1-9中的任一项所述的方法,其中所述请求的源是笔记本应用。
[0184] 示例11。一种或多种其上存储有指令的计算机可读存储介质,所述指令在由一个或多个处理器执行时使得所述一个或多个处理器:在与用户账户相关联的储存库中标识与对内容的请求中指示的指定实体相关联的至少一个实体容器;以及将与所述指定实体相关联的所述至少一个实体容器的一个或多个属性提供给所述请求的源。
[0185] 示例12。如示例11所述的介质,其中对所述储存库的访问是基于实体类型的,在所述指定实体与具有访问许可的实体类型相对应时,所述请求被服务。
[0186] 示例13。如示例11或12所述的介质,其中与所捕捉到的内容一起包含在所述储存库中的任何私有内容不被提供有与所述指定实体相关联的所述至少一个实体容器的一个或多个属性。
[0187] 示例14。如示例11-13中的任一项所述的介质,其中用于标识与所述指定实体相关联的所述至少一个实体容器的指令指导所述一个或多个处理器来:查询所述储存库以寻找具有包含所述指定实体的指示的标记的内容,所述标记包括所述指定实体的模式,所述模式指示所述至少一个实体容器的属性。
[0188] 示例15。如示例11-14中的任一项所述的介质,其中在其中标识了与所述指定实体相关联的至少一个实体容器中的一个实体容器的整个笔记也被提供给所述请求的源。
[0189] 示例16。如示例11-14中的任一项所述的介质,其中被标记为与所述指定实体相关联的笔记中的内容也被提供给所述请求的源。
[0190] 示例17。如示例11-14中的任一项所述的介质,其中只有与笔记的内容相关联的实体容器的一个或多个属性被提供给所述源,所述笔记的其余内容不被提供给所述请求的源,其中在所述笔记中标识了与所述指定实体相关联的所述至少一个实体容器中的一个实体容器。
[0191] 示例18。如示例11-17中的任一项所述的介质,其中所述实体容器包括服务元素,所述请求的源是与所述服务元素相关联的服务。
[0192] 示例19。如示例18所述的介质,其中所述服务是由所述服务元素指示的阅读器应用。
[0193] 示例20。如示例11-19中的任一项所述的介质,其中所述请求的源是笔记本应用。
[0194] 示例21。一种用于访问和管理经实体扩充的内容的系统,包括:与用户账户相关联的储存库,所述储存库包括所捕捉的内容和从所捕捉的内容识别的实体的一个或多个实体容器;一个或多个处理器;一个或多个计算机可读存储介质;以及存储在所述一个或多个计算机可读存储介质中的至少一者上的指令,所述指令在由所述一个或多个处理器中的至少一个处理器执行时指导所述一个或多个处理器中的所述至少一个处理器来:响应于接收到对来自所述储存库的与指定实体相关联的内容的请求,标识与所述指定实体相关联的至少一个实体容器;以及将与所述指定实体相关联的所述至少一个实体容器的一个或多个属性提供给所述请求的源。
[0195] 示例22。如示例21所述的系统,其中对所述储存库的访问是基于实体类型的,在所述指定实体与具有访问许可的实体类型相对应时,所述请求被服务。
[0196] 示例23。如示例21或22所述的系统,其中与所捕捉的内容一起包含在所述储存库中的任何私有内容不被提供有与所述指定实体相关联的所述至少一个实体容器的一个或多个属性。
[0197] 示例24。如示例21-23中的任一项所述的系统,其中用于标识与所述指定实体相关联的所述至少一个实体容器的指令指导所述一个或多个处理器来:查询所述储存库以寻找具有包含所述指定实体的指示的标记的内容,所述标记包括所述指定实体的模式,所述模式指示所述至少一个实体容器的属性。
[0198] 示例25。如示例21-24中的任一项所述的系统,其中在其中标识了与所述指定实体相关联的至少一个实体容器中的一个实体容器的整个笔记也被提供给所述请求的源。
[0199] 示例26。如示例21-24中的任一项所述的系统,其中被标记为与所述指定实体相关联的笔记中的内容也被提供给所述请求的源。
[0200] 示例27。如示例21-24中的任一项所述的系统,其中只有与笔记的内容相关联的实体容器的一个或多个属性被提供给所述源,所述笔记的其余内容不被提供给所述请求的源,其中在所述笔记中标识了与所述指定实体相关联的所述至少一个实体容器中的一个实体容器。
[0201] 示例28。如示例21-27中的任一项所述的系统,其中所述实体容器包括服务元素,所述请求的源是与所述服务元素相关联的服务。
[0202] 示例29。如示例28所述的系统,其中所述服务是由所述服务元素指示的阅读器应用。
[0203] 示例30。如示例21-29中的任一项所述的系统,其中所述请求的源是笔记本应用。
[0204] 示例场景被呈现来提供对于本发明的某些实施例以及其许多益处的更好的理解。本文描述的示例场景仅仅用于说明本发明的实施例的应用和变型中的一些。当然,它们不以任何限制本发明的方式被考虑。
[0205] 应当理解,在此描述的各示例和实施例仅仅是解说目的,鉴于此各种变化或改变可向本领域技术人员建议,并且被包括在本申请的精神和范围内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈