使用传统媒体，例如电视、广播、报纸和杂志的广告广为人知。 遗憾地是，即使拥有人口统计学上的研究和对各种广告途径的典型受 众的完全合理的假定，广告主仍意识到他们的很多预算都被浪费。而 且，很难确定和消除这种浪费。
最近，在更具交互性的媒体上做广告变得流行起来。例如，由于 使用互联网的人数急剧增长，广告主已经开始意识到在互联网上提供 媒体和服务是一种潜在有力的广告方式。
交互式广告给广告主提供机会，以将他们的广告定向(target)到 乐于接收的受众。也就是，定向广告(targeted ad)更可能对终端用户 有用，因为广告可能与一些从用户活动中推测到的需要相关(例如， 与用户对搜索引擎的搜索查询相关，与用户所请求的文件内容相关)。 查询关键词定向已被搜索引擎用来投放相关广告。例如，加州山景城 的(Mountain View，CA)Google的AdWords广告系统投放定向于来自 搜索查询的关键词的广告。类似地，已经提出内容定向广告投放系统 (content targeted ad delivery system)。例如，美国专利申请序号10/314, 427(将其包含在此用于参考，并且称之为“427申请”)，名称为 “METHODS AND APPARATUS FOR SERVING RELEVANT ADVERTISEMENTS”，2002年12月6日申请，Jeffrey A.Dean，Georges R.Harik and Paul Buchheit被列为发明人；以及10/375,900(将其包含进 来用于参考，并称之为“900申请”)，名称为“SERVING ADVERTISEMENTS BASED ON CONTENT”，2003年2月26日申请， Darrell Anderson，Paul Buchheit，Alex Carobus，Claire Cui，Jeffrey A. Dean，Georges R.Harik，Deepak Jindal and Narayanan Shivakumar被列为 发明人，描述了用于派发与文档内容(例如网页)有关的广告的方法 和设备。内容定向广告投放系统，例如Google的广告系统AdSense，已 经被用于在网页上派发广告。
如可从前述内容所理解的那样，派发与文本中的文本概念相关的 广告是有用的，因为这些广告估计可能与当前用户的兴趣相关。结果 是，这种内容定向的广告已变得更为流行。然而，这种广告系系统仍 有改善的余地。
诸如Google AdSense程序之类的内容定向广告网络的成功，依赖 于三个重要组成部分——广告主(advertisers)、网站发布商(website publishers)(以下称之为“网络发布商”(Web publishers))、和终 端用户。很多广告主希望确保展示他们广告的网站是高质量的，会产 生积极的投资回报(ROI)，并且不会给他们造成任何争议。网络发布 商需要通过相关和高质量的内容持续地吸引终端用户。最后，但不是 至少，终端用户通常希望只访问那些提供良好体验的网站。另外，终 端用户通常只选择那些与网页内容相关，以及帮助他们找到满足其需 要的产品和服务的广告。所以，高质量的网络对于确保产生良性循环 是至关重要的，也就是通过吸引新的发布商、广告主和终端用户来扩 展广告网络。
目前，确保加入广告网络的网站质量的方法包括，例如人工审核 网站(例如，确保它们遵守政策方针、它们不会造成较差的终端用户 体验、并且内容允许定向于相关广告)。遗憾地是，人工审核网站难 以满足处理在线广告网络所经历的爆炸性增长。
考虑到难以用省时省钱的有效方式，人工审核诸多新的网站，一 些广告网络将这些人工审核仅限于那些广告主和/或终端用户已投诉的 网站。遗憾地是，终端用户和/或广告主可能要求更加先行的(proactive) 方式。所以，具有更加先行的广告网站核准过程将会是有用的。

符合本发明的实施例改进了审核在广告网络中使用的网站的方 式。至少一些符合本发明的实施例可(a)接受包括一个或多个文档的 集合(b)确定该集合是否遵守广告网络的政策，以及(c)如果确定该 集合遵守政策则核准该集合。
在至少一些符合本发明的实施例中，如果核准了集合，则将该集 合加入到广告网络，使得可与包括在该集合中的文档的呈现相关联地 来派发(例如内容定向的)广告。
在至少一些符合本发明的实施例中，包括一个或多个文档的集合 是包括一个或多个网页的网站。
在至少一些符合本发明的实施例中，政策涉及(A)集合中一个或 多个文档的内容，(B)网站的可使用性，其中一个或多个文档的集合 是包括一个或多个网页的网站，和/或(C)所述集合对广告网络或广告 网络的参与者的可能的欺诈或圈套。
附图说明
图1是示出可与广告网络交互的参与者或实体的框图，例如内容定 向的广告网络。
图2是用于自动地检查网站对政策的遵守和/或对网站评分的示范 性操作，以及可以由这些操作使用和/或产生的信息的气泡图，所述操 作可以用符合本发明的方式完成。
图3是可以用来以符合本发明的方式确定网站是否遵守政策的示 范性方法的流程图。
图4是可以用来以符合本发明的方式确定网站的质量分值的示范 性方法的流程图。
图5是可以用符合本发明的方式将网站做标志和排队以用于更详 细的(例如人工)审核的示范性方法的流程图。
图6是可以用来以符合本发明的方式处理经人工审核的网站的示 范性方法的流程图。
图7是可以以符合本发明的方式执行不同操作的示范性装置的框 图。

§4.详细描述
本发明可以涉及用于检查网站对政策的违反和/或确定网站的质 量分值的新方法、装置、消息格式、和/或数据结构，可将此用于帮助 广告网络来确定其只包括高质量的网站。以下做出描述，以使得本领 域的普通技术人员实现和使用本发明，并且是在特定应用和其要求的 环境中提供的。所以，以下对符合本发明的实施例的描述提供说明和 描述，但并不是要穷尽或限定本发明于所公开的特定形式。对那些本 领域的普通技术人员，对公开实施例的各种修改将是显而易见的，并 且可将以下确立的原则应用于其它实施例和应用。例如，尽管参考附 图描述了一系列动作，但当一个动作的执行并不依赖于另一个动作的 完成时，动作在其它实施方式中的顺序可能不同。另外，可以并行执 行非依赖的动作。除非明确被描述为如此，否则不应当将在本描述中 使用的单元、动作或指令解释为对本发明是至关重要或是必需的。而 且，如此处所用，不加数量限定的项用于指一个或多个项。在只想表 示一个项的地方，使用了术语“一个”或类似的语言。所以，并不意 图将本发明限定于所示的实施例，并且发明者认为他们的发明包括所 描述的任何可专利的主题事项。
可在说明书中使用的以下术语的定义，在§4.1提供。然后，本发 明可在其中或与其一起运行的环境在§4.2叙述。§4.3叙述符合本发明 的示范性实施例。最后，一些关于本发明的结论在§4.4中叙述。
§4.1定义
在线广告可能有不同的内在特征。这些特征可以由应用和/或广告 主规定。以下将这些特征称之为“广告特征”。例如，在文本广告的 情形中，广告特征可包括主题行、广告文本和内嵌链接。在图片广告 的情形中，广告特征可包括图片、可执行代码和内嵌链接。根据在线 广告的类型，广告特征可包括一个或多个以下内容：文本、链接、音 频文件、视频文件、图像文件、可执行代码、内嵌信息等等。
当派发在线广告时，可用一个或多个参数来描述如何、在何时、 和/或在何处派发广告。以下将这些参数称为“派发参数”。派发参数 可包括，例如，一个或多个以下内容：文档特征(包括文档上的信息) (广告被在其上或与其一起派发)、与广告的派发相关的搜索查询或 搜索结果、用户特性(例如，他们的地理位置、用户使用的语言、使 用的浏览器类型、先前的网页浏览、先前行为、用户账户、系统使用 的任何web cookies，用户装置特性等)、发起请求的主站或附属网站 (例如America Online，Google，Yahoo)、广告在其被派发的网页上的 绝对位置、相对于其它被派发的广告的位置(空间的或时间的)、广 告的绝对大小、广告相对于其它广告的大小、广告的颜色、其它被派 发的广告的数量、其它被派发的广告的类型、被派发的日内时间、被 派发的周内时间、被派发的年内时间等。当然，存在可在本发明的上 下文中使用的其它派发参数。
尽管对于广告特征，派发参数可以是外在的，可将他们与广告相 关联作为派发条件或约束。当作为派发条件或约束使用时，这种派发 参数被简单称为“派发约束”(或“定向标准”)。例如，在一些系 统中，广告主可能可以通过规定只在非周末、不低于一定的位置、只 针对特定位置的用户派发等，来定向其广告派发。作为另一个实例， 在一些系统中，广告主可规定只有页面或搜索查询包括特定关键词或 短语时，才派发其广告。作为再另一个实例，在一些系统中，广告主 可规定，只有在广告在其之上或与其一起被派发的文档包括特定主题 或概念、或落在特定群集或多个群集中或一些其它的分类或多个分类 (例如垂直分类)中时，才派发其文档。在一些系统中，广告主可规 定仅将其广告派发给(或不派发给)具有特定属性的用户装置。最后， 在一些系统中，可将广告进行定向，使得对源于特定位置的请求作出 响应，或对涉及特定位置的请求作出响应，来将其派发。
“广告信息”可包括广告特征、广告派发限制、从广告特征或广 告派发限制派生出的信息(被称为“广告派生信息”)的任何组合， 和/或与广告相关的信息(称为“广告相关信息”)以及这类信息的扩展 (例如从广告相关信息派生的信息)。
将广告选择的次数(例如点进次数)与广告的闪现次数(即呈现 广告的次数)的比率定义为广告的“选择率”(或“点进率”)。
当用户完成与先前被派发的广告相关的交易，称为发生了“转换”。 在每种情况中，构成转换的内容都可能不同，并且可以不同的方式被 确定。例如，情形可以是，当用户点击广告、被指引到广告主的网页、 以及在离开网页之前在那里完成购买时，都发生转换。可选地，可将 转换定义为：向用户显示广告，并且用户在预定时间(例如，7天)内 在广告主的网页上做出购买。在另一个选择中，广告主可将转换定义 为任何可测量/可观察的用户行为，例如，下载白皮书、至少导航到网 站的给定深度、至少浏览一定数量的网页、至少在网站或网页上花费 预定的时间量、在网站注册等等。如果用户行为并不指示已完成的购 买，它们常常可指示销售机会，尽管构成转换的用户行为并不限于此。 事实上，其它许多对构成转换的内容的定义都是可能的。
将转换次数对广告的闪现次数(即广告呈现的次数)的比率以及 转换次数对选择次数的比率(或一些其它前期事件的次数)都称为“转 换比率”。转换比率的类型在其使用的环境中是显而易见的。如果将 转换定义为能在派发广告后的预定时间内发生，那么一种可能的转换 率的定义可能仅考虑在超过预定时间的过去所派发的广告。
“所有物”(property)是广告可以在上面展示的事物。所有物可 以包括在线内容(例如网站、MP3音频程序、在线游戏等等)、离线内容 (例如报纸、杂志、戏剧作品、音乐会、体育项目等)、和/或离线对 象(例如公告板、体育场馆评分牌、和场外挡板、卡车拖车侧板等等)。 可将带有内容(例如杂志、报纸、网站、电子邮件信息等)的所有物 称为“媒体所有物”。尽管所有物本身可能是离线的，所有物的相关 信息(例如属性、主题、概念、分类、关键词、相关信息、所支持广 告的类型等)可在线获得。例如，室外的爵士音乐节可输入主题“音 乐”和“爵士乐”、音乐会的位置、音乐会的时间、计划在音乐节中 出场的艺术家、可用广告位的类型(例如在打印的节目表中的位置、 舞台上的位置、座椅后背上的位置、赞助商的声音宣告等)。
“文档”应被宽泛地解释为包括任何机器可读取和机器可存储的 工作成果。文档可以是文件、文件的组合、带有指向其它文件的内嵌 链接的一个或多个文件等。文件可以是任何类型，例如文本、音频、 图像、视频等。可将呈现给终端用户的部分文档认为是文档的“内容”。 文档可包括“结构化数据”，该结构化数据含有内容(词语、图片等) 和一些对该内容含义的指示(例如，电子邮件信息栏和关联数据，HTML 标签和关联数据等)。可用内嵌信息或指令来定义文档中的广告位。 在因特网环境中，常见的文档是网页。网页通常包括内容并可包括内 嵌信息(例如元信息、超链接等)和/或嵌入指令(例如JavaScript等)。 在很多情形中，文档具有可寻址的存储位置，并由此可通过该可寻址 的位置被唯一识别。通用资源定位器(URL)是用来访问因特网上的 信息的地址。
“网络文档”包括任何在网络上发布的文档。网络文档的实例包 括，例如网站或网页。
“文档信息”可包括在文档中包括的任何信息、从文档中包括的 信息所派生的信息(称为“文档派生信息”)、和/或与文档相关的信 息(称为“文档相关信息”)，以及这类信息的扩展(例如从相关信 息派生的信息)。一个文档派生信息的实例是基于文档文本内容的分 类。文档相关信息的实例包括，从其它具有链接到当前文档的文档的 文档信息，以及从当前文档链接到的其它文档的文档信息。
可将来自文档的内容呈现在“内容呈现应用或装置“上。内容呈 现应用的实例包括因特网浏览器(例如Explorer，Netscape，Opera， Firefox等)、媒体播放器(例如MP3播放器，Realnetworks流音频文件播 放器等)、查看器(例如Abobe Acrobat pdf reader)等。
“内容拥有者”是对文档内容拥有一些所有权的人或实体。内容 拥有者可能是内容的作者。另外，或者可选地，内容拥有者可能拥有 内容复制权、制作内容的演绎作品的权利、公开展示或表演内容的权 利、和/或内容中的其它被禁止的权利(proscribed right)。尽管内容提 供者可能是其提供的文档内容的内容拥有者，但这不是必须的。“网 络发布商“是内容拥有者的实例。
广告网络的“政策”(policy)是确定网页或网站(或一些其它文 档或文档的集合)是否可加入广告网络的规则。也就是，如果网页或 网站违反政策，广告网络将禁止其加入广告网络(尽管网站会试图用 欺骗或非法的手段加入广告网络)。因为广告网络可定义政策，不同 的广告网络可能有不同的政策，所以网站违反了一个广告网络的政策， 可能并不违反另一个广告网络的任何政策。
“质量分值”典型地是网站或网页(或一些其它文档或文档的集 合)在广告网络中的参与度的定量指示值或相对值。可以将质量分值 应用于阈值来确定定性指示符。
“用户信息”可包括用户行为信息和/或用户简要信息。
“电子邮件信息”可包括任何在电子邮件中的信息(也称为“电 子邮件内部信息)、从包括在电子邮件中的信息和/或与电子邮件相关 的信息派生而得的信息、以及这类信息的扩展(例如从相关信息派生 的信息)。一个从电子邮件信息派生的信息的实例是，对由电子邮件 主题行提取的词语所组成的搜索查询进行响应而返回的搜索结果中所 提取或派生的信息。与电子邮件信息相关的信息的实例包括，关于给 定电子邮件的相同发送者所发送的一封或多封其它电子邮件的电子邮 件信息，或关于电子邮件接收者的用户信息。可将电子邮件信息派生 或与其相关的信息称为“电子邮件外部信息”
§4.2本发明可在其中或与其一起运行的示范性环境
图1是示出可在示范性环境100中与广告网络120交互的参与者或 实体的图。环境100可包括广告网络120，该广告网络将广告在网络发 布商110的多个网站上派发，或者与其相关联，并且由终端用户140浏 览。网络发布商110可以请求加入到广告网络120，以便在其网站上呈 现广告而得到收入。广告主130可在广告网络120上输入、跟踪和维护 他们的广告。广告的形式可以是以如所谓条幅广告的图形广告、纯文 本广告、图像广告、音频广告、视频广告、一个或多个任何这类组件 的组合等。广告也可包括内嵌信息，例如链接，和/或机器可执行指令。 当终端用户140访问这些网站时，可将这些广告在网络发布商110的网 站上或与其相关联来呈现。
结果是，可以理解，加入广告网络120的网站质量对于广告主130 和终端用户140的满意度是重要的。再次重申，广告主130常常需要确 保，在其上或与其一起展示他们的广告的网站是高质量的，会对投资 产生积极回报，不会是广告主的争议来源。网络发布商希望通过相关 的和高质量的内容持续地吸引终端用户140。这是因为终端用户140更 可能希望访问提供良好体验的网站，并更可能选择与网页内容相关的 广告，并帮助他们找到满足他们需要的产品或服务。
如前所述，显然能够自动评价对政策的遵守，和/或网站的质量的 系统会是有用的。至少一些符合本发明的实施例可自动评价网站对广 告网络120的政策的遵守。在网站能够加入广告网络之前，就可以完成 这类评价。这类评价可以周期性重复。对于网络发布商可改变被核准 网站的内容的广告系统，这类周期性重新评价可能很有益处。这类对 政策的遵守的评价，对于帮助发现通过使用未经授权的手段成功加入 到广告网络的网站可能是有益的。通过评价网站，这类实施例可自动 核准或不核准网站，或者可通过人工审核来寻求帮助。
至少一些符合本发明的实施例可自动分析网站，以确定一个或多 个质量度量(分值)。可使用这类质量分值来确定加入到广告网络的 网站的激励和阻碍(或者将其移除的事件)。可选地，或额外地，可 使用这类质量分值来预计未加入到广告网络的高质量网站。
现在，在§4.3中描述符合本发明的各种示范性实施例。
§4.3示范性实施例
图2是以符合本发明的方式，审核网站的示范性操作以及可由这类 操作使用和/或生成的信息的气泡图。网站审核操作210可接受网站 205(诸如来自寻求加入到广告网络的网络发布商)。这类操作210可评价 这类网站205是否遵守政策和/或确定网站的一个或多个质量分值。
可派发并推广高质量的和遵守广告网络政策的网站，而可将违反 广告网络政策的网站排除出广告网络，并且可惩罚低质量的网站(这 也可包括将其从广告网络排除出去)。网站审核操作210可审核可能加 入在广告网络中的网站，或在广告网络之外的网站。由广告审核操作 210审核的在广告网络中的网站，可能是先前已经审核并被核准。所以， 可将广告审核操作210作为后续例行程序的一部分，用于重新评价这类 网站。在网络发布商用可能会造成网站违反政策和/或降低其质量的方 式来改变其网站的情况下，这是有益的。这对于考虑到新政策而重新 评价网站也是有益的。另外，一些在广告网络中的网站可能是未经授 权的。经过授权的网站是那些已通过适当程序，被加入到广告网络中 的网站(例如，正式请求加入到广告网络)并已由广告网络核准。相 反地，未经授权的网站是非正常地加入到广告网络中的网站。这类网 站可能还未曾请求加入到广告网络，或可能已请求加入到广告网络中， 但是未得到核准。所以，网站审核操作210的一个用途可以是，审核广 告网络中未经授权的网站以确定是否继续派发这些网站(例如，批准 成为广告网络中的合法参与者)，或将其从广告网络中排除出去。
然而，所期望的是，网站审核操作210会审核未加入到广告网络但 是寻求加入到广告网络的数个网站205。在至少一些符合本发明的实施 例中，每个请求加入广告网络的网站205都将通过网站审核操作210来 检查对政策的遵守。一旦网站审核操作210核准网站，可将网站作为合 法参与者，接收进广告网络。可执行周期性后续检查以帮助确保广告 网络包含高质量的网站。
另外，其它未加入到广告网络且未请求加入到广告网络的网站仍 可以由操作210审核，以帮助找到高质量的网站作为招请加入到广告网 络中的预期对象，并帮助维护和提高其质量。
网站审核操作210可包括执行评价网站205的不同任务的多个操 作。尤其是，网站审核操作210可包括政策遵守检查操作215、质量评 分操作220、排队操作230和人工审核设施250。政策遵守检查操作215， 可实施初始和后续审核以确定网站205是否有任何对政策的违反。可将 由政策遵守检查操作215所核准的网站作为已核准网站240进行存储， 而可将未被核准网站作为已拒绝网站235进行存储。可将未被核准、但 是又不能不确定地不核准的网站做标记，并通过排队操作230发往合适 的人工审核队列245。另外，政策遵守检查操作215可将网站转发到质 量评分操作220。
可将质量评分操作220用于确定网站的质量分值225。在一些情况 下，质量评分操作220可将网站从广告网络移走。在其它情形中，质量 评分操作220可对低质量网站做标记，并将它们发往排队操作230，将 它们在那里排队做人工审核。人和/或其它的自动操作(未示出)可用 网站质量分值信息225来做进一步分析或用于其它用途。
基于由政策遵守检查操作215所确定的对政策违反的类型和/或严 重性，和/或基于由质量评分操作220所确定的低质量分值，网站排队操 作230可对网站进行排队。相应地，可将已标记的网站放进一个或多个 队列245中用于人工审核。在人工审核设施250处，人们可获得被排队 的已标记网站，并决定接受或拒绝网站。相应地可顺序处理网站。
由政策遵守检查操作215检查的政策，可由特定的广告网络所定 义。在本发明的内容中，将政策定义为，如果网站违反了任何政策， 它就不能加入(合法地)到广告网络中。所以，政策是那些对其的违 反不能被容忍的规则。所以，政策遵守检查操作215可以核准或不核准 网站205。通常可将对政策的违反分类为(a)与网站内容相关的违反(例 如，因内容太普通而不能提供确定的定向、没有足够的内容、有害或有 争议的内容等等)，(b)与发布商或网站来源相关的违反，(c)与网 站可用性相关的违反(例如，在建、中断的链接、网页装载速度慢、 框架的不适当使用等)和(d)与欺诈相关的违反(例如试图欺骗广告 主和/或广告网络)。
一些可能的网站内容违反政策的实例包括：以仇恨为核心的网站 (例如种族歧视、反犹太、反同性恋、反移民等)，主要涉及仇恨个 体的运动的网站(例如Hate Bush，Microsoftsucks.com等)，支持或帮助 暴力或恐怖的网站(例如基地组织等)，提供邪恶建议或支持或帮助 邪恶活动的网站(例如自制炸弹、危险的恶作剧等)，提供或帮助非 法毒品或毒品用具的出售的网站、提供或帮助药品的出售的网站(对 于如果未将非处方药和草药冒充处方使用，可做出例外)，帮助或支 持软件或网络入侵(hacking)的网站(例如，涉及或给出如何入侵IT 基础设施的提示的网站)，帮助或支持软件或网络破解的网站(例如， 涉及或给出如何破解软件应用程序的提示的网站)，提供或帮助出售 枪支(或其它武器)或非法出售枪支(或其它武器)的网站，包括色 情材料、赤裸描写性行为的色情材料和/或以成人为对象的内容的网站 (例如包括以成人为对象的图片、文本、约会服务、色情文学、或链 接的网站)，渎神或极度渎神的网站，提供或帮助或宣传仿冒产品或 假冒商品的销售的网站，宣传或帮助欺诈犯罪的网站(例如金字塔式 骗局)，依赖于商标的排字错误的网站(例如，疑似域名抢占(typo-cyber squatting)网站)网站，提供或帮助伪造文书的销售的网站(例如，假 护照、假驾照、假出生证明等)，提供或帮助学期论文的销售的网站 (例如“论文工厂”)，提供或帮助对有版权内容的未经授权的下载或 呈现的网站，提供酒类销售的网站，提供除葡萄酒之外的酒类的销售 的网站，向未成年人提供酒类的网站，提供或帮助烟草销售的网站， 提供或帮助向未成年人出售烟草的网站，帮助在线赌博的网站、帮助 未成年人在线赌博的网站等。
通过确定网站是否包括特定词组、短语或词语和/或短语的集合、 网站是否包括比预定的百分比和/或特定词语和/或短语的计数要大，网 站是否具有特定图片(例如纳粹、赌博台、裸体、枪支、香烟品牌、 烈性酒品牌等)等，至少可以发现一些前述的内容政策的违反。另外， 可使用具有给定类型或类别的违反政策的网站的人工列表，来训练专 家系统(例如神经网络、贝叶斯网络、支持向量机器等)来将其它网 站分类为具有或不具有政策违反。
一些与发布商或网站来源相关的政策违反的实例包括由黑名单内 的国家(例如古巴)支持的网站、有欺诈历史的网络发布商、先前被 广告网络踢出的网络发布商。使用网络服务器的位置，至少可以确定 这些政策违反的一部分。其它可用于帮助确定与发布商相关的违反的 信息，可包括地址、社会安全号、电子邮件、网络服务器的IP地址、网 站名等。
一些网站可用性的政策违反的实例包括，有域名服务器(DNS) 错误(例如URL不存在、URL故障等)的网站、有中断链接的网站、 “离线”网站、“在建”网站、过多的弹出式窗口或背后弹出式窗口 (例如在装载任何给定网页时，超过N(例如一个)弹出式窗口/背后 弹出式窗口广告)的网站、聊天网站、非HTML网站(例如目录索引、 FLASH、WAP)、间谍软件网站、主页接管网站等。其它的实例可包 括试图将恶意软件安装在用户计算机上网站，或者通过使后退按钮失 效、过多的弹出式窗口/背后弹出式窗口来影响可用性的网站等。通过 识别错误代码和/或可疑的可执行代码，至少可确定这些政策违反的一 部分。这可以通过试图自动在浏览器中装载网站、和在浏览器级或操 作系统级捕捉“有害”事件来完成。
最后，一些涉及欺诈的网站违反的实例，包括所谓“付费点击” (pay-to-click)网站(例如，那些主要目的是使人选择“对每次点击付 费”(pay-per-click)广告的网站)等。例如，垃圾点击(click-spam) 网站典型地具有使用模板和/或高的广告对文本比率所生成的内容。另 外，还存在现有技术来检测垃圾索引制造者(index spammer，即使用非 法手段来使其在检索结果中的排名提高的网站)。那些从事垃圾索引 的网站和那些从事垃圾点击的网站被认为有相关性。通过找到垃圾索 引制造者，可用这种相关性来帮助找到垃圾点击制造者。可用任何前 述信息来帮助发现这类违反。在另一种方法中，可通过测量被审核网 站上的实际点进率对所有网站的平均点进率的偏差，可发现上述类型 的违反。也可使用学习算法(朴素贝叶斯，SVM等)。例如，使用对一 些已知的“付费点击”网站的统计，可用这类算法来训练网络。然后， 可用这类训练后的网络来识别新网站。
使用已定义的质量标准，可确定网站质量分值。网站质量标准的 一些实例包括：来自广告网络或其它来源的习惯数据(例如，闪现次 数、选择、用户地理位置、转换和这些信息的派生)；网站(在或不 在广告网络中)的受欢迎度(例如由Google工具条所测量的)；网站垃 圾(例如，所谓“链接站群”(link farms)，该处所建立的网站只有 很少的相关内容，但有很多相互之间的链接以提升搜索引擎的分值， 页面上存在无效内容，例如具有黑色背景和涉及色情的白色文本的色 情网站，但是黑色(因此被隐藏)的文本涉及数码相机或其它流行的 查询，以提升在搜索引擎中的分值等)；等等。一些网站垃圾的实例 在序号为10/748,664(将其包含在此处用于参考，并称之为“664申请”) 的美国专利申请中被描述，该专利申请名称为“INFORMATION RETRIEVAL BASED ON HISTORICAL DATA”，2003年12月31日申请， Anurag Acharya，Matt Cutts，Jeffrey Dean，Paul Haahr，Monika Henzinger， Urs Hoelzle，Steve Lawrence，Karl Pfleger，Olcan Sercinoglu and Simon Tong被列为发明人。
§4.3.1示范性方法
图3是以符合本发明的方式，可用于自动检查网站的对政策的违反 的示范性方法300的流程图。如事件框305所示，可执行方法300的主要 动作来对接受检查网站的请求进行响应。对接收检查请求进行响应， 方法300可接受网站(框310)并审核其可能的对政策的违反(框315)。 如果未发现违反政策(决定框320)，那么在方法300离开之前(节点 360)，方法300可简单地核准该网站(框325)并安排好后续的政策检 查(框330)。
回头参考决定框320，如果在另一方面，发现了对政策的违反，方 法300可不核准网站(框335)。基于对政策违反的确定的置信度，方 法300可执行其它操作(框340)。更具体地，如果对违反政策的确定 的置信度低，那么在方法300离开之前(节点360)，方法300可对网站 做标记(和/或将其排队)以用于人工审核(框345)(回忆一下，例如 图2的排队操作230)，并且可通知网络发布商(框355)。这可人工确 认或推翻可能的对政策的违反。这也可使得网络发布商，对他们的网 站实际上没有违反政策做出说明，或采取补救措施。回头参考决定框 340，如果确定违反的可信度高，那么在方法300离开之前(节点360)， 方法300可对网站做标记以指示已拒绝该网站(例如，不须再进行手工审 核)(框350)。
回头参考事件框305，审核请求可源于不同的来源。尤其是，方法 300可从希望加入到广告网络的网络发布商接收请求，接收作为后续例 行程序的部分的请求等。请求可以源于业务拓展来源。例如，如以下 将要详细描述那样，可将网站质量评分操作(回忆一下，例如图2的单 元220)用于帮助广告网络来预计还没有加入到广告网络，但是基于其 质量分值是有很好潜力的候选网站。业务拓展来源可能希望对违反政 策做预过滤，以缩小它们对有期望做招请的网站的检索。
回头参考框315，方法300审核已接收网站，以确定它们是否违反 由广告网络所设定的任何政策。政策的实例在上述§4.3中列出。
图4是以符合本发明的方式，对网站进行评分的示范性方法400的 流程图。接受了一个网站(框402)。如框404所示，在示范性方法400 中，可以用不同的方法处理不同类型的网站。例如，网站可能已经被 “先前核准”(例如，先前通过政策检查)。作为另一个实例，网站 可能在广告网络中，但是可能是通过非法或未经授权的手段进入的。 作为另一个实例，网站可能是先前因违反一个或多个政策被拒绝的网 站。作为再另一个实例，网站可能是先前未被检查过的(例如，从未 寻求加入到广告网络的网站)。
如果被接受的网站是“被核准”的网站(例如，由政策遵守检查 操作215核准)，方法400可为网站确定一个或多个质量分值(框406)。 然后，方法400可根据已确定的分值是否可接受，来执行不同的动作(框 408)。如果分值是可接受的，在方法400离开之前(节点490)，方法 400可根据该分值提供激励或阻碍(例如，关于向广告主收取的价格、与 网络发布商的收入分成、付给网络发布商的费用等)，或简单地不做 任何事(框410)。如果分值太低的话，在方法400离开之前(节点490)， 方法400可对网络发布商发出低质量分值的警告，和/或将网站从广告网 络的参与者中移走(框412和414)。
回头参考框404，如果已接收的网站是广告网络中未经授权的网 站，方法400可首先确定未经授权的网站是否违反任何政策(框416)。 参考框418，如果未经授权的网站没有通过政策检查，则在方法400离 开之前(节点490)，方法400可使网站不能加入到广告网络中(框424)， 并且也许更新欺诈库来将被拒绝的网站包括进去(框426)。回头参考 框418，如果未经授权的网站通过政策检查，方法400可着手确定质量 分值(框420)。参考框422，如果已确定的质量分值是可接受的，则 在方法400离开之前(节点490)，方法400可批准或授权网站加入到广 告网络(框428)。再参考图422，另一方面，如果已确定的质量分值 太低的话(不可接受)，则在方法400离开之前(节点490)，方法400可使 得网站不能加入广告网络(框424)，并且也许更新欺诈库以将被拒绝的 网站包括进去(框426)。
回头参考框404，如果已接收的网站是先前因为违反政策而被拒绝 的网站，方法400可简单地忽略该网站而不采取进一步的行动。这是因 为，对因为违反政策而不论如何都不能加入到广告网络的网站的质量 分值作检查是对资源的浪费。
回头参考框404，一旦接收到非广告网络的一部分并且先前没有请 求加入到广告网络的网站，方法400可首先检查网站对政策的任何违反 (框430)。参考框432，如果网站没有通过政策审核，方法400可简单 地忽略该网站。另一方面，如果网站通过政策审核，方法400可着手确 定质量分值(框434)。参考框436，如果已确定的质量分值较高，则 在方法400离开之前(节点490)，方法400可将网站标记为广告网络预 期中的成员，用于后续招请(框438)。再参考图436，另一方面，如 果已确定的质量分值太低的话(不可接受)，方法400可简单地忽略网站。
回头参考框406、420和434，方法400可使用一个或多个功能以确 定一个或多个质量分值。如前所述，质量分值可反映一些网站对广告 网络的价值的测量。
还是参考框406、420和434，在已经确定分值之后，方法400可使 用(例如预定的)阈值来决定接受哪个网站和拒绝哪个网站。
回头参考框404，方法400可接收不同种类的网站，其中的一些还 没有经过政策检查。(回忆一下，例如，图2的政策遵守检查操作215)。 例如，对于在广告网络中的未经授权的网站和先前未曾请求加入到网 络的网站，可能还没有进行违反政策的检查。所以，如框416和430所 示，方法400可将请求发送到政策遵守检查操作215，并接收检查结果。
回头参考框410，根据分值，方法400可提供激励或阻碍。例如， 如果网站分值较高，广告网络可对网络发布商提供激励(例如，对每 个选择增加数额、增加广告收入百分比、降低加入费用等)，因为其 提供了高质量的网站。另一方面，如果网站分值低(但可接受)，那么， 广告网络可对给网络发布商提供阻碍(例如，对每个选择降低数额、 降低广告收入百分比、增加费用等)，因为其没有提供高质量的网站。 这可以鼓励网络发布商改进它们的网站。
图5是以符合本发明的方式，可将网站进行排列用于人工审核的示 范性方法500的流程图。尤其是，方法500可获得低质量分值的网站或 包括可能违反政策的网站(回忆一下，例如图3的框345)(框520)。 下一步，可将已标记的网站加入到适当队列，其中该队列由准备将其 展示用于人工审核的已标记网站所组成。(框540)
回头参考框520，方法500可获得低质量评分的网站(例如，来自 图2的网站质量评分操作220)和/或包括可能违反政策的网站(例如来 自图2的政策遵守检查操作215)。例如，包括可能的违反的网站，可 能是那些已经由政策遵守检查操作215以低可信度不予核准的的网站。 回忆一下，这些操作215可能简单地将这些网站通过将它们转送到网站 排队操作230来做标记用于人工审核。低质量评分网站，可能是那些在 对违反政策进行过审核后被核准的但是获得低分值(但是也许没有低 到被自动终止的程度)的网站。所以，方法500可安排这些网站用于人 工审核，在人工审核中人们可以做出关于质量评分是否可接受的最后 决定。
回头参考框540，方法500可将已标记网站加入到一个或多个已标 记网站的队列。不同的队列可反映不同的优先级和/或对政策违反的队 列的不同类型。例如，对不同的优先级水平，可提供不同的队列。作 为更具体的实例，可使用违反的严重程度、违反的类型、违反的数量 等的组合来将区分队列的优先顺序。这使具有单个的、严重性较低的 政策违反的网站(对其的拒绝有更高的可能会被人工驳回)比有多个 严重的政策违反的网站(较不可能被核准)能更快地得到审核。
作为另一个实例，可基于对政策的违反的类型提供队列。这使得 对违反政策的网站所做的人工审核专业化。例如，一个或多个人可能 负责审核据信是以仇恨为核心的网站，而一个或多个其它人可能负责 审核据信是出售酒类的网站。这类专业化使得政策的应用更统一和更 合适。
图6是以符合本发明的方式，可用于处理经人工审核的网站的示例 性方法600的流程图。特别地，方法600可接受人类审核者的决定(例 如，核准或不核准已标记的网站，或可能将审核重分配给另一个审核 者/部门)(框610)。参考框620，如果网站已被人工核准，那么，在 方法600离开之前(节点690)，方法600可将网站标记为已核准(或执 行任何需要的动作来将网站加到广告网络)，并且可安排后续的政策 检查。另外，方法600可采取需要的步骤以确定质量分值(框650)。
回头参考框620，如果网站没被人工核准，在那么方法600离开之 前(节点690)，如果是激活的(框660)，则方法600可将该网站从网 络参与者中移走。在这种情形中，方法600也可记录关于被拒绝网站的 信息，和/或通知网络发布商(框670和680)。
除了上述以外，可将人类操作者的决定与学习算法(朴素贝叶斯， SVM等)一起使用，以用来训练(例如，根据过往人类操作者的决定) 并调节网站的评分操作(回忆一下，例如图4的方法400)。这样做的 结果可使得评分过程更有效和准确，由此在减少人类干预(人工审核) 的同时，使得系统更有效。
§4.3.2示范性装置
图7是机器700的高层次框图，该机器可执行一个或多个上述讨论 的操作，并存储上述讨论的多种信息。机器700包括一个或多个处理器 710、一个或多个输入/输出接口单元730、一个或多个存储装置720、以 及用来促进在耦合的单元之间的信息通信的一个或多个系统总线和/或 网络740。可将一个或多个输入装置732和一个或多个输出装置734，与 一个或多个输入/输出接口730相耦合。
一个或多个处理器710可执行机器可执行指令(例如，在加州的帕 洛阿图市的Sun微系统公司(Sun Microsystems Inc.of Palo Alto， California)提供的Solaris操作系统上运行的C或C++，由多个诸如北 卡罗莱纳州达拉谟市的红帽公司(Red Hat，Inc.of Durham，North Carolina)之类的出售者广为提供的Linux操作系统)来执行本发明的一 个或多个方面。至少一部分机器可执行指令，可被存储在(暂时或更 长久地)一个或多个存储器件720中，和/或可通过一个或多个输入接口 单元730，从外部来源接收。
在一个实施例中，机器700可以是一个或多个传统的个人计算机。 在该情形下，处理单元710可以是一个或多个微处理器。总线740可包 括系统总线。存储装置720可包括系统存储器，例如只读存储器(ROM) 和/或随机访问存储器(RAM)。存储装置720也可包括用于读取或写 入硬盘的硬盘驱动器、用于读取或写入(例如可移动)磁盘的磁盘驱 动器、用于读取或写入诸如光盘或其它(磁)光介质之类的可移动(磁) 光盘的光盘驱动器。
用户可通过诸如键盘和指示装置(例如鼠标)之类的输入装置732， 将命令和信息输入到个人计算机。也可(或可选地)包括其它输入装 置，例如话筒、游戏杆、游戏板、碟形卫星天线、扫描仪或类似物。 这些或其它输入装置常常通过耦合到系统总线740的适当接口连接到 处理单元740。输出装置734可包括显示器或其它类型的显示装置，其 也可以通过适当的接口连接到系统总线740。除了(或代替)显示器， 个人计算机可包括其它(外围)输出装置(未示出)，例如扬声器和 打印机。
§4.3.3改进和选择
本发明不限于上述的对特定政策的违反，本发明也不限于上述的 特定质量分值。
尽管描述了网站政策遵守检查和网站评分，但不是都必须执行两 者。
政策遵守检查可由不同的参与方发起请求，并且可发生在不同时 间。例如，网络发布商可请求将其网站加入到广告网络中。在将网站 加入到广告网络之前，广告网络或广告网络的代理商可检查网站对政 策的遵守。作为另一个实例，因为在将网站接受进入广告网络之后， 网站可能发生变化，因此广告网络或广告网络的代理人(统称为“广 告网络”)可重新检查该网站的对政策的遵守。作为再另一个实例， 因为可改变(例如放松、使其更严、扩展、缩小等)政策，可能希望 考虑政策的改变使广告网络重新评价网站(先前被接受的和/或先前被 拒绝的)。作为再另一个实例，广告网络可检查广告网络中的参与者 对政策的遵守以帮助找到未经授权的网站。作为再另一个实例，广告 网络的业务开拓可能希望诱使网络发布商来加入广告网络。业务开拓 可使用本发明来过滤掉那些会违反该广告网络的一个或多个政策的潜 在候选网站。
可使用预定的探试法、预定或动态地确定(绝对和/或相对)的阈 值等来确定质量分值是否较低。
质量评分可由多方来请求，并且可在不同时间发生。例如，广告 网络可测量加入到其网络之中的网站的质量(例如，为满足广告主和/ 或终端用户)。广告网络为了提高广告网络上的网站质量，可能希望 提供激励和/或阻碍，或至少相应地调整广告主的付款和/或网络发布商 的补偿。
尽管许多示范性实施例在网站的环境中被描述，但是可将其应用 到网页和其它类型的文档或文档的集合。作为一个实例，可将广告与 电子邮件一起派发，例如Google公司提供的G-Mail。可对电子邮件内容 对政策的违反进行检查(例如实时地)。
§4.4总结
如可从上文所理解的，符合本发明的实施例帮助广告网络来(i) 成为良好的公司公民、(ii)确保在其网络上的网站将不是冒犯性或争 议性的、(iii)避免非法性、(iv)改进其网络上网站的质量、(v) 保护和提升其品牌、和/或(vi)调整广告主的付款和/或网络发布商的 补偿和/或基于网站质量的费用。这些实施例还允许广告网络更有效地 和更快速地完成这类方法。