用于同时进行关于内容有效性的因果实验和调整内容分配以优化商业目标的系统和方法专利检索-半监督学习机器学习人工智能专利检索查询-专利查询网

用于同时进行关于内容有效性的因果实验和调整内容分配以优化商业目标的系统和方法

阅读：533发布：2020-10-22

专利汇可以提供用于同时进行关于内容有效性的因果实验和调整内容分配以优化商业目标的系统和方法专利检索，专利查询，专利分析的服务。并且本发明涉及用于评价通信内容的有效性和优化内容分配以提高商业目标的系统、制品、和计算机实施方法。本发明的实施例涉及用于计算机实施方法的计算机实施方法，其包括使用实验内容进行实验以确定通信内容有效性以及在进行所述实验时使用机器学习程序(MLR)内容执行MLR以提高有效性尺度。，下面是用于同时进行关于内容有效性的因果实验和调整内容分配以优化商业目标的系统和方法专利的具体信息内容。

权利要求

1.一种计算机实施方法，其包括：
使用实验内容进行实验以确定通信内容的有效性；和
当进行所述实验时，使用机器学习程序(MLR)内容执行MLR以提高有效性尺度。
2.根据权利要求1所述的方法，其中所述实验为因果实验。
3.根据权利要求1所述的方法，其中所述实验为准实验。
4.根据权利要求1所述的方法，其中所述实验为相关性设计。
5.根据权利要求1所述的方法，其中所述实验确保所述通信内容的实验内容不会混淆。
6.根据权利要求1所述的方法，其中根据计划表进行所述实验，并且所述机器学习程序配合所述计划表执行。
7.根据权利要求1所述的方法，其中根据包括多个时间段的计划表进行所述实验，并且未用于进行所述实验的所述时间段中的至少一些用于所述机器学习程序。
8.根据权利要求1所述的方法，其中根据包括多个时间段的计划表来实施所述实验和所述机器学习程序，使用第一多个时间段来实施所述实验并且使用与所述第一多个时间段交叉的第二多个时间段来实施所述机器学习程序。
9.根据权利要求1所述的方法，其中根据包括多个时间段的计划表来实施所述实验和所述机器学习程序，使用具有多个部分的相同时间段来实施所述实验和所述机器学习程序中的每一个的至少一部分，并且实验内容和MLR内容为不相关的。
10.根据权利要求1所述的方法，其包括在显示器上同时显示实验内容和MLR内容，其中所述实验内容和MLR内容为不相关的。
11.根据权利要求1所述的方法，其中根据计划表进行所述实验，并且进行所述实验包括按照一定方式将通信内容分配到所述计划表的时隙样本以确保所述通信内容的实验内容不会混淆。
12.根据权利要求1所述的方法，其中所述机器学习程序包括强化学习程序、逻辑回归程序、无监督学习程序、半监督学习程序、或者一个或多个神经网络的使用。
13.根据权利要求1所述的方法，其中：
所述机器学习程序包括强化学习程序，所述强化学习程序包括与探索内容相关的探索程序以及与开发内容相关的开发程序；并且
根据包括多个时间段的计划表进行所述实验，将未用于进行所述实验的第一多个时间段用于所述探索程序并且将未用于进行所述实验的第二多个时间段用于所述开发程序。
14.根据权利要求13所述的方法，其包括识别用于显示所述探索内容和所述开发内容的频率，以提高预定有效性尺度。
15.根据权利要求1所述的方法，其包括执行实验以区别使用所述MLR揭示的相关性为伪相关还是因果关系。
16.根据权利要求1所述的方法，其中：
所述机器学习程序包括强化学习程序，所述强化学习程序包括与探索内容相关的探索程序以及与开发内容相关的开发程序中的一者或两者；
根据包括多个时隙样本的计划表进行所述实验；
对于与探索或开发内容任一者相关的实验内容，将未用于进行所述实验的第一多个时隙样本用于所述探索或开发程序；并且
对于与探索或开发内容任一者不相关的实验内容，在具有所述多个时隙样本的相同时隙样本内使用所述实验内容中的至少一些以及探索和开发内容的任一者。
17.根据权利要求16所述的方法，其包括生成所述时隙样本，其包括：
定义目标观察者在要呈现内容的位置处花费的观察者访问持续时间(VVD)；
定义用于目标观察者在其访问所述位置期间可影响的所关注数据流的数据采集的时间间隔(TI)；
使用VVD和TI确定时隙样本持续时间(TSSD)；以及
生成所述时隙样本，所述时隙样本各具有由所述TSSD定义的持续时间和针对所述TSSD的至少一部分定义的数据采集时间段。
18.根据权利要求17所述的方法，其中使用具有第一持续时间的第一VVD生成第一多个时隙样本以及使用具有不同于所述第一持续时间的第二持续时间的第二VVD生成第二多个时隙样本，并且基于所述第一和第二VVD中的每一个来确定TI、TSSD、和数据采集时间段。
19.根据权利要求1所述的方法，其包括执行评价以对于任何给定时间段来确定对于所述时间段使用实验内容是否比使用MLR内容有更大的价值。
20.根据权利要求1所述的方法，其包括：
接收(a)所述实验假设的值、(b)每类有效性尺度的值、(c)每个商业目标的VVD、(d)内容限制条件、以及(e)紧迫性信息中的一者或多者；和
根据(a)到(e)中的一者或多者来生成用于实施所述实验和机器学习程序的计划表。
21.根据权利要求20所述的方法，其包括基于时间和显示位置不断调整所述计划表以最大化至少一个有效性尺度。
22.根据权利要求1所述的方法，其包括分析表征用于所述机器学习程序的MLR内容有效性的测定数据，并且将所述测定数据存储在历史数据库中。
23.根据权利要求1所述的方法，其包括产生输出数据，所述输出数据表征基于时段和显示位置中的一者或两者的每条MLR内容的投资回报率。
24.一种计算机实施方法，其包括：
生成多个彼此不相关的计划表并且每个所述计划表包括用于呈现内容和采集表征内容有效性的数据的多个时间段；以及
使用包括多个地理学上不同的显示器和所述多个计划表的数字标牌网络以进行：
使用所述多个计划表中的至少两者同时进行至少两个关于通信内容有效性的因果实验以确保所述通信内容的实验内容不混淆；
使用所述多个计划表的至少两者同时执行至少两个使用机器学习程序(MLR)内容的MLR以提高预定商业目的；或
使用所述多个计划表的至少两者进行因果实验中的至少一个并同时执行所述机器学习程序中的至少一个。
25.根据权利要求24所述的方法，其中所述多个计划表的每一个至少由下述定义：
目标观察者在要呈现内容的位置处花费的观察者访问持续时间(VVD)；
目标观察者在其访问所述位置期间可影响的所关注数据流的数据采集的时间间隔(TI)；
使用VVD和TI的时隙样本持续时间(TSSD)；和
针对所述TSSD的至少一部分定义的数据采集时间段。
26.根据权利要求24所述的方法，其中VVD、TI、TSSD、和数据采集时间中的至少一者在所述多个计划表中为不同的。
27.根据权利要求24所述的方法，其中VVD、TI、TSSD、和数据采集时间中的每一个在所述多个计划表中为不同的。
28.一种计算机实施方法，其包括：
接收观察者在要呈现内容的位置处花费的观察者访问持续时间(VVD)；
部分地基于所述VVD和有效性尺度，生成包括多个用于实施机器学习程序(MLR)的时间段的计划表。和
根据所述计划表使用包括多个地理学上不同的显示器的数字标牌网络来执行与MLR内容相关的所述机器学习程序以确定所述MLR内容的有效性。
29.根据权利要求28所述的方法，其包括基于各显示器显示各条MLR内容的时间和显示位置不断调整所述计划表以最大化至少一个有效性尺度。
30.根据权利要求28所述的方法，其中所述机器学习程序包括强化学习程序，所述强化学习程序包括与探索内容相关的探索程序以及与有开发内容相关的开发程序中的一者或两者。
31.根据权利要求30所述的方法，其包括基于约束在所述探索程序和所述开发程序的执行之间随机选择，所述约束为以预定方式管理分配用于运行所述探索和开发程序中的每一个的总时间。
32.根据权利要求28所述的方法，其包括采集关于MLR内容有效性的数据，并且将所述采集数据存储在历史数据库中。
33.根据权利要求32所述的方法，其包括：
部分地基于存储在所述历史数据库中的所述采集数据，将MLR内容分配到所述计划表的时间段以生成调整的计划表；以及
根据所述调整的计划表将所述分配MLR内容分配到所述显示器。
34.一种计算机实施方法，其包括：
执行评价以对于任何给定时间段来确定对于所述时间段使用实验内容是否比使用MLR内容具有更大的价值；以及
基于所述评价结果将实验内容或MLR内容分配到所述时间段。
35.一种计算机实施方法，其包括：
接收根据包括多个时隙样本的计划表采集的数据；以及
使用从时隙样本内采集的内容执行机器学习程序(MLR)以提高有效性尺度。
36.根据权利要求35所述的方法，其中使用实验来采集所述数据。
37.根据权利要求35所述的方法，其中使用在所述实验中识别的内容来执行所述MLR。
38.根据权利要求34所述的方法，其包括在确定应运行的实验之后，使用实验内容进行实验以确定通信内容的有效性；以及
在进行所述实验时使用MLR内容执行机器学习程序(MLR)以提高有效性尺度。

说明书全文

用于同时进行关于内容有效性的因果实验和调整内容分配

以优化商业目标的系统和方法

[0001] 相关专利申请

[0002] 本专利申请涉及2008年7月2日提交的共同拥有的美国专利申请序列号12/166,969；12/167,002和12/166,984，所述专利申请均在此以引用方式并入本文中。本专利申请还涉及2006年12月29日提交的美国专利申请序列号12/159,107和12/159,106，所述专利申请均在此以引用方式并入本文中。

技术领域

[0003] 本发明涉及确定通信内容的有效性和优化内容分配以提高商业目标，并且更具体地讲涉及同时执行这些操作。

背景技术

[0004] 零售环境中的视觉信息经常采取广告内容的形式。这种内容为固有说服性的，并且通常设计成影响观察者的态度、感觉和行为，以便产生积极的商业影响，例如增加销售，提升品牌知名度或形成顾客忠诚度。

[0005] 2002年，例如，在一般称为购买点(POP)的零售环境中使用的广告内容方面的全部开销在美国估计是170亿美元，在全球每年超过(430)亿美元。这种开销水平在要求对其市场营销投资负有较大责任的品牌所有者的主管人员当中已得到了越来越多的详尽研究。

[0006] 根据业内人士估计，因为首席营销官的平均任期已经下降到22.9个月，所以对可测定性能的需求亦日益迫切。因此，市场营销领导人极少有时间以可测定方式展示其市场努力的结果。市场营销研究(研究行业子领域)已经从历史的角度使用相关的或匹配的对照研究成果，以针对目标评价广告内容的性能。然而，这些“最佳惯例”的市场营销研究方法没有可靠地反映市场营销消息与商业结果之间的因果关系，市场营销分析专家(如Don E.Schultz，Market Research Deserves Blame for Marketing’s Decline，Marketing News，February 15，2005(市场研究应归咎于市场营销的衰落，市场营销新闻，2005年2月15日))已经对此进行了广泛的评论。即使这样，市场营销研究的开销目前估计仅仅在美国每年就是80亿美元，这包括这些类型的研究。

发明内容

[0007] 本发明涉及用于评价通信内容的有效性和优化内容分配以提高商业目标的系统、制品、以及计算机实施方法。本发明的实施例涉及下述用于计算机实施方法的计算机实施方法，其包括使用实验内容进行实验以确定通信内容的有效性以及当进行实验时使用MLR内容执行机器学习程序(MLR)以提高有效性尺度。

[0008] 另一个实施例涉及下述计算机实施方法，其包括生成多个计划表，各个计划表彼此不相关并且各个计划表包括多个用于呈现内容和采集表征内容有效性的数据的时间段。所述方法还包括使用具有多个地理学上不同的显示器的数字标牌网络和多个计划表，其中使用多个计划表的至少两者同时进行至少两个关于通信内容有效性的因果实验以确保通信内容的实验内容不混淆、使用多个计划表的至少两者同时执行至少两个利用MLR内容的机器学习程序(MLR)以提高预定的商业目的、或者使用多个计划表的至少两者进行至少一个因果实验并同时执行至少一个机器学习程序。

[0009] 另一个实施例涉及下述计算机实施方法，其包括接收观察者在待呈现内容的位置处花费的观察者访问持续时间(VVD)、部分地基于VVD和有效性尺度来生成包括多个用于实施机器学习程序(MLR)的时间段的计划表。然后，根据确定MLR内容的有效性的计划表，使用包括多个地理学上不同的显示器的数字标牌网络，来执行MLR。

[0010] 另一个实施例涉及下述计算机实施方法，其包括对于任何指定的时间段进行评价以确定该时间段内使用实验内容是否比使用MLR内容更有价值。然后基于评价结果将内容分配到时间段。

[0011] 另一个实施例涉及下述计算机实施方法，其包括接收根据包括多个时隙样本的计划表采集的数据、以及使用从时隙样本内采集的内容来执行机器学习程序(MLR)以提高有效性尺度。

[0012] 本发明的上述发明内容并非意图描述本发明的每一个实施例或每种实施方式。结合附图并参照下文的具体实施方式以及所附权利要求书，再结合对本发明比较完整的理解，本发明的优点和成效将变得显而易见并且为人所领悟。

附图说明

[0013] 图1为示出根据本发明实施例的用于同时进行关于内容有效性的因果实验和自动调整内容分配模式以提高有效性尺度的过程的流程图；

[0014] 图2为示出根据本发明其它实施例的用于同时进行关于内容有效性的因果实验和自动调整内容分配模式以提高有效性尺度的过程的流程图；

[0015] 图3示出了根据本发明实施例的进行因果实验和优化有效性尺度之间的时间关系的若干非限制性实例；

[0016] 图4为示出根据本发明实施例的用于同时进行关于内容有效性的因果实验和自动调整内容分配模式以按照说明两个过程的价值和紧迫性的方式来提高有效性尺度的过程的流程图；

[0017] 图5为示出根据本发明实施例的内容分配以及揭示对用户的潜在价值的相关性的投资回报率优化方法的流程图；

[0018] 图6示出了根据本发明实施例的通过数字标牌网络的用户界面执行的过程，所述数字标牌网络用于从用户接收输入数据，所述输入数据用于生成在数字标牌网络上呈现内容的优化计划表以最大化投资回报率；

[0019] 图7为示出根据本发明其它实施例的通过数字标牌网络的用户界面执行的过程的流程图，所述数字标牌网络用于从用户接收输入数据，所述输入数据用于生成在数字标牌网络上呈现内容的优化计划表以最大化投资回报率；

[0020] 图8为示出根据本发明实施例的用于将数据输入到优化算法中以及优化程序如何使用这些数据来生成优化计划表的过程的流程图；

[0021] 图9为示出根据本发明实施例的用于通过数字标牌网络同时执行因果实验和机器学习程序的过程的流程图；

[0022] 图10示出了根据本发明实施例的播放列表计划表，其用于测试不同内容在不同的显示位置处的有效性以提高示例性调配方案的预定商业目的；

[0023] 图11为示出图10中所示方案的不同显示位置和时间段的内容限制的示意图；

[0024] 图12为根据本发明实施例的用于针对图10和图11的示例性调配方案来执行机器学习程序并同时进行因果实验的计划表，所述计划表示出了用于优化内容分配以最大化多个商业目的的“开放”时间段；

[0025] 图13示出了针对图10-12中所示的方案通过内容分配优化程序采集的历史数据；

[0026] 图14示出了图10-12的计划表中的各个时间段的预期投资回报率；

[0027] 图15为根据本发明实施例的用于针对图10-12的示例性调配方案来执行机器学习程序并同时进行因果实验的计划表，所述计划表示出了分配给机器学习程序的“开放”时间段；

[0028] 图16示出了在图15的开放时间段的采集持续时间期内采集的数据；

[0029] 图17示出根据本发明实施例的用于从数据流中解析出来、分析、并呈现给用户的图10-16中所示的实验的数据；

[0030] 图18示出了另一个示例性调配方案的数据，所述示例性调配方案表明本发明的优化程序可通过优化整个内容、时段、和位置而产生投资回报率的显著改善；

[0031] 图19示出了根据本发明的另一个示例性调配方案的具有多个商业目的的一日计划表；

[0032] 图20为第二计划表的实例，其中用户使用所述第二计划表来测试用于图19的调配方案中的不同内容的有效性；

[0033] 图21-23示出了根据本发明实施例的用于进行实验的成本评价的代表性过程；

[0034] 图24示出了根据本发明实施例的用于优化内容展示的频率的代表性过程；

[0035] 图25A和25B示出了根据图24实施例的在相同的时隙样本时间段内混合不同内容的结果；

[0036] 图26-28为根据本发明实施例的涉及使用自动假设生成方法来识别和揭示有价值的相关性的流程图；

[0037] 图29示出了根据本发明实施例的方法的代表性实施例，所述方法用于进行数字标牌网络的所有显示屏的评价以及在因果实验系统或机器学习系统的控制下来分配显示屏时间；

[0038] 图30为根据本发明实施例的可如何在各个时间段基于显示器互联方式来执行图29中所述的过程的系统视图；

[0039] 图31-33为示出根据本发明实施例的过程的流程图，所述过程用于连续评价因果实验系统或机器学习系统的显示时间段(如，TSS)的分配；

[0040] 图34A为示出根据本发明实施例的用于分配通信内容并且评价这种内容的有效性的基于计算机辅助执行的过程的示意图；

[0041] 图34B为示出根据本发明实施例的用于分配通信内容并且评价这种内容的有效性的基于计算机辅助执行的过程的示意图；

[0042] 图35示出了根据本发明实施例的涉及与符合因果实验的约束在算法上调度并显示通信内容有关的网络设置和数据采集的过程；

[0043] 图36A示出了根据本发明实施例的与分配通信内容和评价这种内容的有效性有关的控制位置残留效应的过程；

[0044] 图36B示出了根据本发明其它实施例的与分配通信内容和评价这种内容的有效性有关的控制位置残留效应的过程；

[0045] 图37示出了根据本发明实施例的符合因果实验的约束在算法上调度并显示通信内容的过程；

[0046] 图38A示出了根据本发明实施例的涉及生成时隙样本的多种过程；

[0047] 图38B示出了根据本发明实施例的涉及向时隙样本分配内容的多种过程；

[0048] 图38C示出了根据本发明实施例的可用于使用完整的随机化过程将计划表解析成时隙样本的算法的实施例；

[0049] 图38D示出了根据本发明实施例的可用于将计划表解析成顺序产生的时隙样本的算法的实施例；

[0050] 图38E示出了根据本发明实施例的可用于建立实验设计播放列表的算法的过程；

[0051] 图38F示出了根据本发明实施例的向时隙样本分配内容以用于测试内容的相对有效性的算法的过程；

[0052] 图38G示出了根据本发明实施例的使用受约束的随机化过程向时隙样本分配内容使得每一条实验内容分配到相同数目的时隙样本的算法的过程；

[0053] 图38H示出了根据本发明实施例的采取样本大小要求作为输入并且使用受约束的随机化过程向时隙样本分配内容以确保满足样本大小要求的算法的过程；

[0054] 图38I示出了根据本发明实施例的使用完整的随机化过程但加入优化因子约束向时隙样本分配内容的算法的过程；

[0055] 图38J示出了根据本发明实施例的使用完整的随机化过程但加入块因子约束向时隙样本分配内容的算法的过程；

[0056] 图39A示出了根据本发明实施例的向时隙样本分配内容的算法的过程，其中各条内容短于时隙样本；

[0057] 图39B示出了根据本发明实施例的向时隙样本分配内容的算法的过程，所述算法确保在关注的持续时间内不存在位置混淆；

[0058] 图40A为根据本发明实施例的数字标牌系统的框图，所述数字标牌系统具有用于设计和调配因果实验和机器学习程序的能力；

[0059] 图40B示出了根据本发明实施例的被构造用于设计、传导、和分析用于因果实验和机器学习程序中的数据的系统；和

[0060] 图40C为根据本发明实施例的数字标牌网络的示意图，所述数字标牌网络包括DSS的多个部件(包括通信耦合到实验系统和机器学习系统的DSN系统模块)；这些实施例涵盖包括图30中所示的决策工具的实施例。

[0061] 虽然本发明可经受各种修改形式和替代形式，但其具体的方式已以举例的方式在附图中示出并且将会作详细描述。然而，应当理解，其目的不在于将本发明局限于所述具体实施例。相反，其目的在于涵盖由所附权利要求书限定的本发明范围内的所有修改形式、等同形式、和替代形式。

[0062] 各种实施例的具体实施方式

[0063] 在以下所示实施例的描述中，参照形成实施例的一部分的附图，并通过举例说明的方式在该附图中示出在其中可以实施本发明的多种实施例。应当理解，在不脱离本发明范围的前提下，可以利用这些实施例，并且可以进行结构上的修改。

[0064] 本发明的实施例整体涉及用于评价通信内容的有效性以及优化内容分配以提高商业目标的计算机实施系统和方法。具体实施例涉及同时执行通信内容有效性评价(优选使用因果实验)和优化内容分配模式(使保持因果实验的有效性的一个或多个有效性尺度(购买点销售、升级、顾客忠诚度等等)最大化)。

[0065] 一般来讲，因果实验为受控实验，其中适当的平衡、反向平衡、分块、随机化、以及满足必需的样本大小要求用于确保无混淆的结果。有效性尺度是指消费者行为的测定结果。代表性的有效性尺度包括销售、顾客忠诚度、升级、品牌认知度、以及特定商业目的的其它可测定元素。

[0066] 商业目的是指具体说明体验一条内容与对内容作出反应之间的关系的观察者行为的一般种类。商业目的的代表性实例包括“酒吧销售”、“房间升级”、以及“包装食品销售”。其它商业目的包括影响关于品牌和产品的态度和信念以及/或者影响商业机构内的步行模式。商业目的与至少一个有效性尺度(如，房间升级的数目)相关，但对于特定商业目的(例如，优选的顾客升级、新的顾客升级、问候升级)可存在有效性尺度的集合。商业目标通常涉及多个商业目的并且可随时间推移而改变。例如，本周用户可具有最大化房间升级和酒吧销售的目标。下周，目标可改变为在控制酒吧销售的情况下最大化房间升级。

[0067] 本发明的各个实施例均涉及调度内容分配以及确定对于计划表的每个时间段而言，利用该时间段是进行因果实验还是优化内容分配模式，所述内容分配模式按照保持因果实验的有效性的方式来最大化一个或多个有效性尺度。为了本发明的各个目的，计划表可为固定计划或者为连续地动态更新的计划。符合本发明的实施例的调度方法通常涉及对于计划表的各个时间段进行基于显示器互联的这种测定。在本发明的某些实施例中，计划表的时间段对应于如本文和共同拥有的美国专利申请12/166,984[代理人档案号63002US003]中所述的时隙样本。符合这些实施例的调度方法还可涉及基于每个时间段动态地调整计划表来实现用户指定的要求(如，实验相对内容分配优化之间所需的平衡)。根据一些实施例，相对于基于在用于通过执行机器学习程序提高预定商业目的的每个显示器上使用相同时间段的损失机会，给定在用于实验的每个显示器使用特定时间段的成本，可实施系统和方法以针对给定的时间段不断地分析显示器应“受控于”因果实验系统还是受控于机器学习系统。

[0068] 可实施本发明的系统和方法来执行各种类型的机器学习程序以提高或优化一个或多个有效性尺度。一般来讲，机器学习程序是指用于学习行为(例如，内容)、状态(例如，标牌位置、时刻等等)以及回报(例如，销售、升级等等)之间关系的计算机实施方法。可用的机器学习程序的代表性实例包括强化学习程序、逻辑回归程序、无监督学习程序、半监督程序、或一种或多种神经网络的使用。除了别的以外，其它可用的机器学习程序包括转导、遗传算法、支持载体程序、和学会学习程序。

[0069] 已经发现，一种特定的机器学习方法，即强化学习，在本发明的各个实施例的背景中尤其有效。强化学习允许系统、机器、和软件代理自动地最大化特定问题空间的性能。可开发多种不同的算法来实施强化学习程序。强化学习可应用于其中存在状态、行为、和回报的问题。状态是指可识别特性，其不受控于其中可存在问题(如，时刻、显示位置、天气等等)的算法。行为是指受控于算法的元素(如，待显示内容)。回报为对通过当执行这些行为时给定状态的算法产生的行为的可测反应(如，购买点销售)。

[0070] 设计强化算法用于学习行为、状态、和回报之间的关系。更一般地讲，强化学习算法(和通常的机器学习)学习当系统处于特定状态并且产生特定行为时将产生的预期结果(回报)。在许多真实世界的条件下，回报、状态、和行为之间的关系为概率性的并且因此对于给定特定行为和状态的所得回报将随试验不同而不同。

[0071] 对于给定的问题，编程强化算法用于通过测试不同状态下的不同行为并且记录和分析所得回报来学习状态、行为、和回报之间的关系。结果为执行每个状态中的每个行为的预期回报的预测。因为系统不断地评价给定状态下的行为的预期回报，因此模型可学会针对静态问题(即，其中行为/状态对的回报保持恒定的系统)来最大化预期回报并且其也可适用于动态问题(即，其中特定行为/状态对的回报随时间推移而变化的系统)。在某些条件下，强化学习算法将会聚到全局最优。

[0072] 根据本发明中使用强化程序的实施例，可通过时刻、商店类型、以及商业的地理位置或任何其它状态因变量来定义状态。例如，可通过显示时间段的时刻(如，上午9:00-9:30)、商店类型(例如，城市)以及地理位置(如，中西部)来定义特定状态。行为涉及分配可用于算法中的具体内容条。回报为有效性尺度(单个或具体有效性尺度的组合)并且可包括购买点销售、忠诚度数据、升级等等。

[0073] 本发明的强化学习程序通常涉及探索程序和开发程序。应当注意，一些实施方式可仅使用这两个程序中的一者或可在这两个程序之间选择。开发通常涉及示出机器学习算法对于给定当前状态将产生最大回报的预测的内容。探索通常涉及示出不预期产生最大回报的内容，目的在于学习、更新、和/或验证用于当前状态的内容的预期回报。强化程序的目的在于提供理解状态、行为、和回报之间的关系。

[0074] 本发明的实施例涉及下述系统和方法，其有利于用户输入与用于因果实验的一个或多个假设相关的数据以及与一个或多个商业目的相关的数据。在输入这些以及任何其它必要数据之后，执行本发明的过程以确保对于播放列表计划表的每个时间段以及对于显示器网络的每个显示器而言，系统将致力于最大化网络的效用，以实现由用户的输入数据指明的用户要求。除非需要参与，用户不必进一步参与到这些过程中。用户可(例如)询问系统以确定具有高分辨率的网络显示器的状态(例如，网络显示器的状态可被解析到计划表的单个时间段)，并且如果需要，可例如通过结束实验或增加分配到探索和/或开发程序的时间段的数量，对这些过程实施更改。

[0075] 本发明的一些实施例涉及下述系统和方法，其用于在不进行通信内容的有效性评价的情况下来实施内容分配的优化以最大化商业目的。其它实施例涉及优化内容分配以最大化商业目的以及可选地调用因果实验(如果因子指出需要这种实验)。

[0076] 本发明的各个实施例涉及用于通过数字标牌网络来执行机器学习程序的系统和方法。一些实施例涉及生成包括分配到时隙样本的机器学习程序(MLR)内容的播放列表计划表，以及使用时隙样本来执行机器学习程序。具体实施例涉及使用强化学习程序以及生成包括分配到播放列表计划表的时间部分(例如，时隙样本)的强化学习内容的播放列表计划表。优选地通过数字标牌网络来执行根据这些实施例的播放列表计划表以优化内容分配模式，从而最大化一个或多个有效性尺度，例如购买点销售、升级、以及顾客忠诚度等等。

[0077] 可通过计算机可控制的、多位置内容显示基础设施(例如数字标牌网络)来实施本发明的这些和其它实施例。应当理解，本发明的实施例不限于视觉介质，还可涉及听觉介质、触觉介质、或者其它单独的或与视觉介质结合的感官介质。

[0078] 现在转向图1，其示出了根据本发明实施例的用于同时进行关于内容有效性的因果实验和自动调整内容分配模式以提高有效性尺度的过程的流程图。根据图1的实施例涉及进行关于通信内容有效性的因果实验以确保通信内容的实验内容不混淆(10)。根据图1的实施例还涉及当进行实验时来执行分配内容的机器学习程序以最大化预定组的回报(即，有效性尺度)(12)。

[0079] 图2示出了根据本发明其它实施例的用于同时进行关于内容有效性的因果实验和自动调整内容分配模式以提高商业目的的过程的流程图。根据图2的实施例涉及提供包括时间段的计划表、以及使用分配给实验的时间段来进行关于通信内容有效性的因果实验(20)。根据图2的过程还涉及使用计划表中未分配给实验的时间段来同时实施利用MLR内容的机器学习程序以提高或优化预定的有效性尺度。MLR内容是指可用于通过MLR算法考虑的内容集合。其可包括专门设计用于MLR的内容、实验内容、或任何其它内容。

[0080] 图3示出了根据本发明实施例的进行因果实验和优化商业内容之间的时间关系的若干非限制性实例。根据图3的实施例涉及提供包括可分配通信内容的时间段的计划表(30)。根据图3的过程还涉及当使用MLR内容实施机器学习程序以提高/优化一个或多个预定有效性尺度时进行关于实验内容有效性的因果实验(32)。实施因果实验和优化内容分配之间的时间重叠可呈现若干形式。

[0081] 例如，且同样如图3所示，可使用计划表中未用于进行一个或多个实验的时间段中的至少一些来执行一个或多个机器学习程序(34)。根据另一个方法，可使用计划表的第一组时间段进行实验，同时可使用计划表中与第一组时间段交叉的第二组时间段来执行机器学习程序(36)。应当理解，可分配不止两组时间段来同时进行一个或多个实验和一个或多个机器学习程序。根据另一个方法，对于不相关的实验内容和MLR内容，可使用同一时段或周期来实施实验和机器学习程序中的每一个的至少一部分。

[0082] 图3中所示的方法以及其它可供选择的方法可单独地或以各种组合来实施。另外，多个计划表可被提供并用于以下述方式来实施图3中(以及其它图中)所示的方法，所述方式在使用机器学习程序以最大化有效性尺度时同时确保因果实验的完整性。

[0083] 迄今为止，本领域已知的传统方法仍不能在执行如图1和2所示的机器学习程序时同时进行无混淆的因果实验。在数字标牌网络(DSN)的背景下进行因果实验(例如)通常涉及实施谨慎设计、控制、和进行的性能评价(实验)，所述性能评价测定经数字递送的消息对于特定因变量(即，顾客行为)的影响。这些结果对用于受用户关注的特定因变量(如，诸如升级、产品销售等等之类的尺度)的特定受关注自变量(如，消息类型、消息形式)产生洞察力。这些洞察力通过在为用户提供无混淆结果的用户网络上谨慎地调度内容而产生。常规方法仍不能有利于因果实验而同时有利于执行优化程序以自动地最大化预先指定的有效性尺度。

[0084] 在一些实施例中，使用实验(例如本文所述的因果实验)来实施本发明的方法。在其它实施例中，使用其它类型的实验(例如准实验或相关设计)来实施本发明的方法。

[0085] 此前，当使用现有技术方法时用户不得不在这些替代实验之间选择，因为因果实验要求非常精确地分配内容，使得在实验内最小化或消除混淆。相比之下，优化程序不断地调整内容分配以最大化功能(例如，总收入)，并且这样做无需任何机制来确保混淆未插入到内容分配计划表中。由此，常规实施方式要求最终用户在下述之间进行选择，即使用分配用于因果结果的内容的系统或者自动最大化特定有效性尺度的系统。

[0086] 本发明的实施例涉及下述系统和方法，所述系统和方法同时在整个显示器网络上，在有利于使用最大化有效性尺度的优化程序时来提供因果实验的完整性。诸如图4中所示的实施例涉及同时执行关于内容有效性的因果实验，以及自动化内容分配模式来最大化消费者尺度(40)。本发明的实施例还可涉及利用考虑这些成分中的两者的价值和紧迫性的因果内容的分配来平衡投资回报率(ROI)最大化的分配(42)。这些成分的平衡考虑到用于一定时间段内分配因果实验内容而非MLR内容的预定机会成本，所述MLR内容将最大化特定有效性尺度。系统将选择将保持实验(如，推论统计所需的合适的反向平衡和统计假设)完整性的时间段，所述实验最小化与本实验有关的机会成本。

[0087] 机会成本降低可呈现多种形式，包括(但不限于)根据实验者有兴趣回答的问题的价值/优先权来设计处于不同条件下的具有不等样本数的实验、使用特定样本的成本、以及提供持续的成本分析以相对利益确定预期成本，从而在给定当前结果(即，不同条件的方法和差异)下发现可靠效应以及根据统计特性(例如功效和效应大小)指定停止规则。本发明的实施例包括优化因果实验和MLR程序的样本分配，以最小化与因果实验相关的成本并且最大化来自MLR程序的预期回报。

[0088] 因为MLR程序一直学习状态、行为和回报之间的关系，因此最终将存在非常丰富的历史数据库。除了使用该数据库来预测在特定数字显示器上分配给特定时间段的最佳行为(即，内容)之外，该历史数据库可用于对于用户可感兴趣了解和/或测试的数据中的特定关系给用户提供提示。因为这些关系并非使用实验设计而产生，在大多数条件下它们将为自变量和因变量之间的简单相关性。这些相关性结果不为用户提供因果结果，而是仅提供自变量和因变量之间的关系。

[0089] 因为系统一直学习状态和内容之间的关系，因此将存在可用的一巨大组的关系。用于通过这些可能关系进行快速过滤的一种方法为向用户询问他们认为有兴趣和/或有价值的关系。通过向用户询问有价值的关系，系统可不断地分析有价值关系的历史数据。
可为用户提示数据中的特定关系并且使其进行选择以运行因果实验(测试自变量对因变量的因果影响)，并且/或者用户可指示系统应自动地设计和运行有价值且满足特定标准(如，预测成本)的实验。

[0090] 本领域的技术人员将易于理解，本发明的上下文中的术语“最优化”(optimize)、“优化”(optimization)、“最大化”(maximize)、以及类似的最高级用语并非绝对术语。相反，这种术语描述基于问题的当前约束条件来最小化或最大化数值的过程。例如，当优化内容分配模式时，系统不断地监测其可用的行为特性(即，可分配到计划表的内容)并且分配将最大化特定值的内容(给定其当前知识)。但由于优化、或最大化程序工作于高度动态的问题空间中并且特定的潜在函数为未知的，因此系统相对于将实际最小化或最大化目标函数的行为而一直处于不确定状态中。这些术语普遍用于有关机器学习的技术文献中。因此，在本要求保护的主题的上下文中，诸如优化或最大化之类的术语与表征提高、改进、改善、增加、提升等等之类的术语同义。

[0091] 图5为可通过数据处理系统实施的内容分配方法的流程图，所述数据处理系统用于不断地调整经数字分配介质(例如数字标牌网络的数字标牌)的内容分配模式。根据图5的实施例涉及进行实验以产生有关通过用户输入到系统中的假设(如，内容中有人物图像会影响销售吗？)的因果数据(50)。根据图5的实施例还涉及使用优化程序(52)，同时进行实验(50)，以最大化在整个多元互补和竞争类型和产品上的总收入。

[0092] 互补产品的实例为洗发水和护发素。即，如果顾客趋于购买洗发水，则他们也更有可能购买护发素。竞争产品的实例为相对库存方便食品的预包装食品。如果顾客趋于购买库存方便食品，则他们将不太可能购买预包装食品。通过使用多个有效性尺度(如，洗发水销售、护发素销售、方便食品销售、和包装食品销售)并且指明这些有效性尺度的相对值，MLR学会最大化考虑这些竞争的和互补的顾客行为的目标函数。

[0093] 使用优化程序来增加或最大化整个多元有效性尺度上的目标函数(52)通常涉及优化数字显示网络中的每个显示器专用于不同内容消息的时间量(54)，和显示预测最大化用于特定屏幕、位置、和时间的有效性尺度(或目标函数)的内容版本(55)。目标函数是指用于不同顾客尺度中的每一个的一组相对值。其被MLR用于预测哪一条内容将对特定状态(显示位置、时刻等等)最有效。其也被因果实验分配系统用于确定与实验有关的机会成本以优化实验设计和选择一组将最小化实验总成本的样本(时间段)。

[0094] 根据图5的实施例还涉及分析从优化程序采集的历史数据(56)以及提醒用户用户可能认为有价值的相关性(58)。这种相关性的实例示出具有人物的内容与上午的销售增加相关，但是示出不具有人物的内容与傍晚的销售增加相关。

[0095] 图6示出了通过数字标牌网络的用户界面实施的过程，所述数字标牌网络用于从用户接收输入数据，所述输入数据随后可提供至DSN系统处理器。将此输入数据提供至下述算法，其产生用于在数字标牌网络上分配内容的计划表，所述计划表被预测来最大化有效性尺度(或目标函数)。根据图6所示的实施例，将各个有效性尺度的值(如，相对顾客/购物者经验的收入)输入/提供至优化算法处理器来提供目标函数(60)。将一个或多个内容分配约束条件(如，在时间Z时于显示器Y上不显示内容X)输入/提供至处理器(62)。各种商业目标均可具有一个或多个有效性尺度。将各种商业目标内的各个有效性尺度的值(如，由出售不同产品产生的利润、不同实验假设的值)输入/提供至处理器(64)。

[0096] 内容分配和数据处理模块或处理器被构造用于在整个网络上分配内容(65)并且以数据流形式(如，销售点数据)处理有效性尺度(67)。内容分配和数据处理模块被构造用于不断地调整内容分配模式以便学习内容(如，行为)与状态(如，显示性能)之间的关系并且最大化由不同有效性尺度的相对值指定的目标函数(69)。

[0097] 下述方案代表根据本发明实施例的多种可行实施方式中的一种。下述代表性过程是通过本发明的系统实施的，所述系统能够测定关于有效性尺度的内容的效应。所述系统优选被构造用于产生下述必要条件，所述必要条件用于分配内容以优选按照下文所述方式进行可控的因果实验。通过用户将实验的下述成分输入到系统中，如图7所示：

[0098] 实例#1

[0099] 1.何为所关注的因变量测定值以及何为其特性？输入/提供这些因变量测定值(70)。

[0100] a.如，总销售、房间升级、酒吧销售等等

[0101] 2.何环境因子受关注？输入/提供这些因子(72)。

[0102] a.如，酒店规模、酒店位置等等

[0103] 3.何内容因子受关注？输入/提供这些因子(74)。

[0104] a.如，背景颜色不同的内容。

[0105] b.策略消息不同的内容(如，放任对比效率)。

[0106] 4.何为用于所关注的因变量测定的观察者访问持续时间(VVD)？输入/提供VVD(75)。

[0107] a.VVD定义观察者可体验数字内容的最长(或典型)时间段以及它们可对内容作出反应的时间。

[0108] b.VVD用于定义指定用于运行特定学习情况的独立时间段的时隙样本(TSS)。

[0109] 5.实验紧迫性/价值：

[0110] a.指定需要完成实验的时间(77)。

[0111] b.指定实验假设的价值(79)(如，用户将对于知道假设是否真实而支付多少钱)。

[0112] 系统按照下文所述的方式使用这些因变量和自变量(即，环境和内容因子)来设计特定实验。系统算法接收上文所定义的数据并且将内容分配到不同的TSS，使得某些因子为精确受控的并且其他因子为随机的(如，显示哪个内容版本在整个占有水平上为随机的)。对于许多实验，所述实验仅需要某些数量的显示时间，从而使得某些时间段(如，TSS)“开放”。为清晰起见，如前述句子中所用的术语“开放”是指有待用于某个目的而非用于实验(如，机器学习程序)的给定时间段(如，TSS)的现存可用性。然而，对于给定的时间段，特定的“商业目的”可“开放”。在这种情况下，例如，如果时间段(如，TSS)正用于评价某特定商业目的(例如升级)，则另一个商业目的(例如酒吧销售)为“开放”。

[0113] 一旦已定义实验，就优选使用下述代表性过程填充“开放”时间段(即，未专用于实验的那些)，具体方式为使用机器学习算法来生成增加用户目标函数(即，设置在不同顾客尺度上的值)的内容分配模式。下文描述图8所示的代表性方法步骤，其用于将数据输入到机器学习程序以及程序如何使用此信息来生成计划表。然后显示涉及这些代表性过程的示例性调配方案。

[0114] 实例#2

[0115] 1.将每种特性的有效性尺度输入/提供到系统中(80)。

[0116] a.如，酒吧销售、房间升级、饭店销售等等。

[0117] 2.输入/提供每个有效性尺度的值(82)。

[0118] a.不同有效性尺度可具有不同利润率(如，酒吧销售对比饭店销售)或它们可具有不同尺度(如，房间升级数量对比酒吧销售)。为每个商业目的定义数值允许算法基于这些值来计算不同条内容的单个目标函数。

[0119] 3.选择显示在网络上的内容(83)。

[0120] a.用户从其内容数据库选择他们期望用于机器学习算法的内容。此内容可来自先前实验的内容数据库和/或可明确地进行制备以用于机器学习程序(如，涉及探索和开发过程的强化学习程序，如下文所述)。

[0121] 4.在显示特定的内容条方面指定任何位置/时间约束(84)。

[0122] a.机器学习程序(如，涉及探索和开发过程的强化学习程序)提供不同位置不同时间的内容以便学习哪些内容条是最有效的。然而，内容可不适用于某些位置或某些时间段。

[0123] 5.对于每条内容，指定VVD(85)。

[0124] a.体验(如，观看)内容与按照内容行动之间的可测定的预期(或最长)持续时间。

[0125] 6.系统调度(86)并且不断地调整(88)具有时间和位置的计划表，其中每条数字标牌内容显示在数字标牌网络中的每个显示器上，所述数字标牌网络具有下述约束并且如图9所示：

[0126] a.识别完成学习所需的时间段或部分(90)。

[0127] i.将实验内容分配到时间段以使得

[0128] 1.所要求实验将在“紧迫性”日期(上述步骤5.a所定义的)结束之前完成。

[0129] 2.就与运行实验(相对于使用MLR)相关的机会成本而论，实验成本为最小化的。

[0130] b.识别未专用于实验的时间段(91)。

[0131] i.这些时间段为其中不存在实验内容的显示时间段。

[0132] c.针对时间段(位置、时间、以及标牌/显示器)，识别可在特定时间显示在标牌上的内容(定义于步骤3和步骤4中)(92)。

[0133] i.不考虑不适合于此时间的(如，上午4-10点广告娱乐时间)或特定标牌上的(如，不在登记台后面的标牌上的房间升级内容)或特定场所的(如，在不具有餐厅的酒店中广告餐厅)的相关内容。

[0134] d.确定系统在各个时间段内是在“探索”还是在“开发”(93)。对此进行确定的多个方法包括(但不限于)下述方法：

[0135] i.随机法：预先确定开发时间段(如，90％)相对探索时间段(如，10％)的数量。利用这些概率，随机地选择分配探索内容还是开发内容。

[0136] ii.半智能法：根据历史差异，修改探索或开发的概率。当测定值的差异减小时，增加开发的可能性。

[0137] iii.成本分析法：估计探索相对开发的机会成本，并且当机会成本高时开发更常见。

[0138] e.如果处于“开发”模式(94)：

[0139] i.在给定标牌和时间段的性能的情况下，使用历史数据来识别最大化加权商业目的的内容。

[0140] 1.如果不存在先验知识，将内容随机地分配到计划表。

[0141] 2.对历史数据使用回归分析(或其它通用预测函数)以预测最大化性能(加权商业目的)的最佳内容“混合”。

[0142] a.回归分析将使用具有各条内容(以及内容的组合)的显示、位置和时间变量的历史数据来预测最佳内容混合。

[0143] f.如果处于“探索”模式(95)：

[0144] i.识别待显示的探索内容：

[0145] 1.随机法：从待显示的授权内容中随机地选择一条内容。

[0146] 2.时基法：基于内容被探索的最后时间来选择多条内容。

[0147] 3.半智能法：针对当前显示的特性(时间、位置等等)来识别系统的历史数据库中的“知识沟”并且显示将填充该知识沟的内容。

[0148] 7.内容分配和数据处理模块在整个网络上分配内容(96)。

[0149] 8.采集和处理数据(97)：

[0150] a.生成用于研究的报告。

[0151] b.将新数据集成到历史数据库。

[0152] 9.重复步骤6-8直至用户终止探索/开发过程(98)。

[0153] a.如果步骤1-5提供的任何信息改变，则其可修改步骤6中的内容分配模式。

[0154] 下述调配方案示出了可如何根据本发明实施例实施上述过程。

[0155] 实例#3

[0156] 3a.实验内容分配

[0157] Manticore为拥有五个具有数字标牌网络的酒店的连锁酒店。Manticore已将其五个酒店通过位置类型(城市对比郊区)以及其就房间数目而言的规模(小、中、大)进行分类。

[0158] Manticore期望了解在广告中增加人物模型是否增加顾客将选择升级其房间的可能性(上文实例#2中的步骤1)。因为在其广告中使用模型使Manticore花费特许权使用费，因此他们有兴趣确定使用模型相比不使用模型的有益效果。他们有理由相信增加模型对于其城市酒店对比其郊区酒店的效应可为不同的(上文实例#2中的步骤2)。

[0159] Manticore设计了除一者之外在各方面均相同的两条内容：一条内容具有模型(房间升级有模型)而另一条不具有模型(房间升级无模型)(上文实例#2的步骤3)。Manticore还知道全部顾客中的99.9％在进入其酒店的1小时之内登记并做出其升级决定(VVD＝1小时，TSS＝2小时；上文实例#2中的步骤4)。

[0160] 使用下述用于设计因果实验的程序，系统生成计划表并且将实验内容分配到计划表。图10示出了本研究中用于五个Manticore酒店地产的内容分配。此外，Manticore期望在第二天结束前知道答案(上文实例#2中的步骤5)。应当注意，通过延伸紧迫性日期，可评价/证明系统将如何调节MLR相对因果实验的显示时间分配。使用此数据，算法将内容调度至五个Manticore地产，如图10所示。

[0161] 图10示出了用于测试在城市对比郊区中房间升级无模型相对房间升级有模型的效应的播放列表计划表。具体地讲，生成如图10所示的播放列表计划表以用于实施由Manticore酒店设计的因果实验从而来测试在城市对比郊区的酒店中两条内容(房间升级无模型相对房间升级有模型)的性能。在此设计中，因变量测定值为房间升级的数目，并且酒店规模不是所关注的变量。因此，算法相对此变量来随机化内容分配。斑点和斜线方格指示专用于实验的时间段(如，时隙样本时间段)。用于房间升级(即，因变量测定值)的时间段(如，TSS)估计为2小时。如图10中可见，存在多个“开放”时间段，其未专用于此调配方案中的实验。这些开放时间段(可为TSS)显示为筛网方格。在这种情况下，紧迫性将在一天内完成研究(参见上文实例#2中的步骤5a)。

[0162] 3b.证明：将优化内容分配到开放时隙

[0163] Manticore也有兴趣使用“开放”时间段(在图10中示为筛网方格)来增加其ROI。

[0164] 1.Manticore有兴趣最大化两个商业目的：房间升级和酒吧销售。

[0165] 2.Manticore已确定每个升级价值$100，而酒吧中的利润率为40％。

[0166] 3.Manticore在其数字内容库中具有四条内容：

[0167] i.房间升级无模型

[0168] ii.房间升级有模型

[0169] iii.酒吧放任

[0170] iv.酒吧效率

[0171] 4.Manticore限制在清晨时间段(4:00-8:00)播放酒吧内容。此外，其机构中的一个(酒店_U_S)不具有酒吧，因此他们不希望在该设施处播放酒吧内容。图11示出了这些限制。

[0172] 图11为示出用于不同位置和时间段的内容限制的示意图。斑点方格为不可播放内容的时间段和位置。白色方格指示在这些位置处可在这些特定时间播放内容。

[0173] 5.在此方案中，先前的顾客研究已发现，全部顾客中的99％将进入酒店并在一小时内升级房间(对于使用TSS的实施例，VDD＝1小时并且TSS＝2小时)。相比之下，进入酒店和准备去酒吧之间的典型时间为12小时(对于使用TSS的实施例，VDD＝12小时并且TSS＝24小时)。

[0174] 6.采用此信息，算法现在为Manticore调度四条内容。这些实验时间段和受限时间段示于图3中，该图为探索/开发优化计划表的实例。斑点区域指示专用于实验的时间。筛网方格指示内容限制。第一开放时间段(白色方格)是从上午4:00-上午6:00。

[0175] a.假定已建立实验时间段(如，TSS)。

[0176] b.图12为针对多个商业目的(两小时的房间升级)分成最小时间段(如，TSS单元)的开放时间段(白色区域)的示意图。

[0177] c.对于这些时间段，将仅考虑房间升级无模型和房间升级有模型。

[0178] d.探索/开发系统在探索与开发模式之间随机选择，其中使用开发模式90％的时间并且使用探索模式10％的时间。应当理解，这些百分比可变化。使用随机数值生成器，系统确定此第一开放时间段将为“开发”时间段。

[0179] e.系统着眼于历史数据以确定哪条内容对于此设施在此时间将为最佳的。对于酒店_U_S，酒吧内容为受限的，因为此酒店中不存在酒吧。使用酒吧的加权分数(参见图14)和此开发时间段内的升级，由此得出结论，提供的最佳内容条为房间升级无模型(图14中1800美元对比800美元)。

[0180] 图13示出了针对两条升级内容和两条酒吧内容的用于给定TSS(2小时)的升级数量的历史数据。图14示出了每个时间段的预期ROI。图13中所示的数值为升级的ROI(100美元/升级)和酒吧销售的ROI(40％利润率)的加权值。商业目的值在上文实例#3(3b)的步骤2中得到指定。图14中的实际值来自历史数据(图13)和这些商业目的值。4:00下的粗体轮廓区域为当前所考虑的时间段。由于在酒店中不存在酒吧，则用于酒吧放任与酒吧效率的性能的数据实际上是相同的。

[0181] 7.使用历史数据和商业目的加权，探索/开发算法将内容分配到所有开放时间段并且将内容分配到网络的显示器。结果示于图15中。

[0182] 在图15中，具有间断斜线图案的方格指示已分别专用于房间升级和酒吧内容的时间。斑点方格代表“探索”时间段，其中算法在该时间段内随机选择待提供的较低执行内容条中的一个。

[0183] 8.然后从顾客处采集数据。在这种情况下，将升级数和酒吧销售数下载到系统数据库。然后解析数据以将每条数据分配到适当的时间段以及与该时间段相关的内容，如图16所示。

[0184] 如图16可见，在显示内容的时间段内采集数据。图案化和白色方格中的数字指示该TSS期间的升级数。用于与酒吧销售相关的TSS的酒吧性能列于最右侧。酒店_U_S不具有酒吧，因此其不具有任何酒吧销售。

[0185] a.将用于实验的数据从数据流中解析出、进行分析，并且提供给顾客，如图17所示。这是通过识别与实验相关的时间段(如，时隙样本)、随后通过与这些时间段相关的内容进行分析(例如按照下文所述的方式)来完成的。图17示出了研究的实验结果。可以看出房间升级有模型内容比房间升级无模型内容明显更有效。在内容类型与酒店为城市还是郊区设施之间不存在相互影响。

[0186] b.利用新数据更新存储在历史数据库中的历史数据。历史数据将指明不同内容条(以及内容的组合)随不同环境变量(时间、位置等等)变化而对商业目的结果(如，升级数、酒吧销售数)的影响。

[0187] 实例#4

[0188] 下述示例性调配方案举例说明实施本发明的ROI最大化方法的价值。图18中所示的数据表明本发明的优化程序可通过优化整个内容、时段、和位置而在ROI中产生显著改善。在此代表性实例中，存在四种商店类型(城市、郊区、远郊和农村)。系统使用三条内容(A、B、和C)来最大化上午、下午、和傍晚时间段的ROI。

[0189] 在这种情况下，仅提供最佳的整体内容与仅随机地(即，等几率)提供每条内容相比产生2.53％的ROI增长。为特定时段选择最佳内容与将内容等几率地分配到整个网络相比产生5.11％的增长。为特定位置选择最佳内容与随机分配内容相比产生3.53％的ROI增长。然而，为所有这些环境变量(时段、内容、位置)选择最佳内容与随机分布方法相比产生12.94％的增长。

[0190] 实例#5

[0191] 下述代表性调配方案阐明当产生负责多个VVD和多个商业目的的播放列表计划表时所涉及的额外复杂度，其中机器学习程序与因果实验同时运行。此实例阐明用户可如何使用机器学习程序(例如使用探索和/或开发算法的强化学习程序)以在计划表的特定时间段期间调度内容。

[0192] 在此示例性方案中，假定将数字标牌网络调配到百货商店中，并且将网络构造用于进行ROI测定。另外假定时隙样本将被用作播放列表计划表的时间段。

[0193] 一个显示器靠近店内小餐馆，其中VVD已确定为45分钟。小餐馆显示器一直运行持续实验，所述实验涉及为饮食获取一杯葡萄酒、开胃菜、甜点等等的建议。此外，所进行的实验具有涉及百货商店的各个零售部门的销售规划的内容。实验内容穿插食物相关内容。

[0194] 另一个显示器位于百货商店的图书/音乐部门，其中VVD已确定为20分钟。此显示器运行仅涉及在图书/音乐部门中销售的货物的实验。另一个显示器位于一楼的自动楼梯附近，并且从百货商店入口相距不远且可见。此显示器运行涉及多种内容的实验，所述内容包括小餐馆、零售部门、以及图书/音乐部门。用于百货商店的总VVD已确定为70分钟。每个显示器具有由下文所述的算法所确定的长度的开放时隙样本。

[0195] 用户决定将机器学习提高整合到百货商店的数字标牌网络。对于下一季度，将用户的商业目的定义为：

[0196] (1)增加图书/音乐的市场份额。在两个街区外有家竞争商店并且用户将愿意取得其生意中的一些。

[0197] (2)将更多的人带入小餐馆作为晚餐目的地，而非只是顾客购物时吃快餐的地方。

[0198] (3)通过恢复旧式的预付款保留销售法来销售更多的皮大衣，由此人们挑选出他们的大衣并且在顾客支付150美元/月时商店保存此大衣，直至这件大衣的费用被付清。

[0199] 然后可按照本文所述的负责上述必要条件和约束条件的方式来生成计划表。此方案阐明使用播放列表计划表时可导致的额外复杂度，所述播放列表计划表被构造用于根据本发明的实施例来同时运行因果实验和优化程序。

[0200] 实例#6

[0201] 为简便起见，并且为了强调上文实例#5所述的播放列表计划表生成方案中的多个商业目的和多个VVD的作用，应当考虑位于图书/音乐部门内的显示器。初始步骤涉及定义回答下述问题的实验。哪个将执行地较好：对于傍晚对比上午的购物者来说，广告把书籍购买描述成“投资”对比“赢得的奢侈”？在此示例性实例中，已确定VVD为30分钟并且TSS为60分钟。假定将使用包括探索/开发算法的强化学习程序。

[0202] 根据上文实例#2中的步骤1-5，下述为适用的：

[0203] 探索/开发算法将使用多个商业目的，所述商业目的包括：

[0204] 1.图书/音乐部门销售：

[0205] a.VVD为30分钟。

[0206] b.15％利润率

[0207] c.无时间限制

[0208] d.使用2条内容

[0209] 2.小餐馆销售：

[0210] a.VVD为1小时。

[0211] b.25％利润率

[0212] c.无时间限制

[0213] d.使用3条内容

[0214] 3.皮大衣预付款保留销售法：

[0215] a.VVD为4小时(通常情况顾客将看到大衣的预付款保留销售法广告、离开商店、并且在咨询其配偶之后返回进行购买)。

[0216] b.60％利润率

[0217] c.无时间限制

[0218] d.使用3条内容

[0219] 4.上文实例#2中的步骤6-指定计划表：

[0220] a.在这种情况下，将在上午(8AM-12AM)和傍晚(4PM-8PM)运行实验。下文所述的方法用于调度如图19所示的这些内容条(筛网图案)。

[0221] b.探索/开发算法将调度这些时间内的“小餐馆”和“预付款保留销售法”内容。

[0222] c.在下午时间段(12PM-4PM)期间，探索/开发算法也将调度除“小餐馆”和“预付款保留销售法”内容之外的“图书/音乐”内容。

[0223] d.探索/开发算法将选择该时间段内(开发)执行最好的内容或者将评价先前并非是最好执行者的一条内容(参见上文实例#2中的步骤6d和6e)。

[0224] e.每条内容将显示30秒时间段并且将在该特定时隙样本期间重复。

[0225] i.如，从上午8点-9点，将以30秒的增量重复三条内容：

[0226] 1.图书/音乐-投资

[0227] 2.小餐馆-A

[0228] 3.预付款保留销售法-A

[0229] 图19示出了具有多个商业目的(图书/音乐；小餐馆；预付款保留销售法)的一日计划表。斜线图案化方格示出了用于每个商业目的的TSS时间段。所述图案指示该时间段是否专用于实验、探索或是开发内容。对于每个1小时的时间段，显示用于图书/音乐、小餐馆、以及预付款保留销售法的一条内容。应当注意，所构造的此计划表仅用于一日和一个位置(图书/音乐部门显示器)。通常，将在多天并且可能在多个位置运行实验。

[0230] 图20为第二计划表的实例，其中用户测试“小餐馆-A”内容对比“小餐馆-B”内容的有效性。在此示例性实例中，“图书/音乐”商业目的受控于探索/开发算法，并且此算法根据上文实例#2的步骤6d和6e来调度内容。在实例#6中可看出，探索/开发时隙样本可优选按照下文所述的方式构造为具有不同的观察者访问持续时间和数据采集持续时间。

[0231] 根据另一个方法，探索/开发程序可使用来自单个时隙样本的数据，从而理解因果关系的置信度显著较低。然而，重要地是，VVD、TSS、和数据采集持续时间之间的关系的所述用途确实消除了相同位置残留效应。为了保持真实验约束的完整性，在实验TSS期间所示的所有探索/开发程序内容必须为“不相关的”。

[0232] 以举例的方式，一小时的TSS可连续示出实验内容、开发内容(商业目的A)、开发内容(商业目的B)、和天气预报内容的15秒内容剪辑。在这种情况下，可同时在三个独立的销售点系统进行数据采集，其中一个测定实验效应、一个测定商业目的A开发的效应、并且一个测定商业目的B开发的效应。采集的所有数据因通信内容的不相关性而为“纯净的”。

[0233] 根据其它实施例，可实施两个不同且“不相关的”计划表以在同一显示器上同时运行。可每隔30秒或如由两个不相关的计划表指定的其它时间间隔进行内容转换。两个计划表可具有极为不同的时间特征。例如，在两个计划表之间，VVD、TSS、和数据采集持续时间中的至少一者可不同。又如，在两个计划表之间，VVD、TSS、和数据采集持续时间中的每一者均可不同。

[0234] 例如，可生成两个计划表以进行因果实验(如，真实验)。进一步如，可生成两个计划表以执行机器学习程序(例如探索/开发程序)。根据另一个实例，可生成一个计划表以进行因果实验，并且可生成另一个计划表以执行机器学习程序。应当理解，可构造不止两个计划表以实施多个因果实验、机器学习程序、或者因果实验和机器学习程序的组合。

[0235] 每当进行研究时，其产生顾客成本。将专用于研究的时间段用于采集数据或知识而非集中于产生投资回报率(如，使用探索/开发算法)。研究成本可计算为通过使用优化算法产生的收入相对实际研究期间产生的资金量的差值。因为存在与运行实验相关的可测定成本(即，与不使用机器学习程序相关的机会成本)，本发明的实施例为用户提供在适当的或预定的阶段自动终止的能力。

[0236] 例如，当(1)数据已显示显著性结果或(2)当给定当前效应大小和评价差异，与研究相关的成本超过顾客在研究上设置的值时，用户可指定自动终止研究。尽管存在描述可如何确定是否继续采集数据的已知方法，但迄今为止这些方法中没有一者适用于或设想利用数字内容分配系统来评价实验。

[0237] 实例#7

[0238] 下述为根据本发明的实施例来评价进行研究的成本的示例性实例。如图21-23所示，用于进行本发明的研究的成本评价的代表性过程包括下述过程：

[0239] 1.按本文所述来实施因果实验(100)。

[0240] 2.实验值：用户指定当前实验的值(102)。

[0241] 3.用户按上文实例#2中所述来指定优化变量(104)。

[0242] 4.分配内容并且采集数据(106)。

[0243] 5.分析数据(108/100)：

[0244] a.运行实验的持续分析(112/130)：

[0245] i.计算内容和条件的均值和标准差(参见上文实例#2的步骤8a以及图17)(132)。

[0246] ii.计算功效分析(134)：

[0247] 1.统计功效分析指定对于给定当前内容效应大小(条件之间的差异)、当前方差(测定中存在差异大小)、和已采集的样本数而言还将需要的更多样本数量。

[0248] iii.计算真实效应大小大于用户将认为有价值的效应大小的可能性(136)：

[0249] 1.如果可能性过低(或使用功效分析发现的成本昂贵)，则建议终止研究(138)。

[0250] b.实验_ROI：计算在这种情况下为实验生成的ROI(使用上文实例#2的步骤2中指定的权重)(114)。

[0251] c.探索/开发_ROI：基于历史数据，计算可使用探索/开发程序对比实验生成的预测ROI(使用上文实例#2的步骤2中指定的权重)(116)。

[0252] d.确定研究价值是否超过研究成本(118)：

[0253] i.如果：

[0254] 实验_值＜(探索/开发_ROI-实验_ROI)，则终止或提醒用户(120)。

[0255] ii.否则继续(122)

[0256] 6.向用户提供估计成本以确定用户是否有兴趣终止研究(124)。

[0257] 7.重复上述步骤1-6(126)。

[0258] 上文实例#7的方法步骤描述了一种用于决定是否以及何时终止研究的方法。本领域的技术人员将会知道，存在用于计算何时终止研究的其他算法，并且可根据本发明的实施例使用这些算法。

[0259] 在本发明的背景下使用数字标牌网络的优点为可在单个显示器上显示多个消息。这提供了机会以及挑战。市场营销和基本记忆研究均清晰地显示人类通常需要消息多次显示以便记忆消息以及对消息作出反应。一方面，数字标牌网络提供随时间推移向观察者呈现不同消息的机会。然而，考虑到顾客对消息作出反应通常需要多次显示，如果一个人不仔细，则当顾客没有体验到足够次数的消息以实际上改变其行为时，消息可变为无效。

[0260] 挑战是不存在将确保最大有益效果的规定体验次数。所需体验次数将取决于多个因子，包括(但不限于)：

[0261] 1.消息的强度/功效：

[0262] a.即，内容如何有效

[0263] 2.消息所要求的行为：

[0264] a.如，“购买佳洁士牙膏”对比“购买本田雅阁”

[0265] 3.观察者在处理内容时如何分心：

[0266] a.即，观察者能够处理多少内容

[0267] b.如，在高难度的立体交叉道内行驶对比坐在公共汽车站等待公共汽车[0268] 4.顾客对消息的接受程度：

[0269] a.即，向素食大会广告“Calfand Steer”饭店。

[0270] 本发明的实施例涉及识别用于在数字标牌上显示内容的频率，所述数字标牌能自动地优化内容的显示频率以最大化顾客的ROI。参照图24和25A-25B，下述实例阐明了根据本发明的实施例的频率优化过程：

[0271] 实例#8

[0272] 1.按本文所述来实施因果实验(140)。

[0273] 2.用户按上文实例#2中所述来指定优化变量(141)。

[0274] 3.分配内容并且采集数据(142)(参见上文实例#2的步骤6)：

[0275] a.使用上文实例#2的步骤6d中所述的过程，确定系统是否将基于历史数据提供当前最佳混合频率(开发)或将测试不同的混合频率(探索)(143)。

[0276] b.如果处于“开发”模式，则使用历史数据来确定最佳频率混合(144)。

[0277] i.图25A示出了历史数据的结果，所述历史数据示出两条内容随时隙样本时间段内的显示频率变化的有效性。图25B示出了这两条内容的预测频率混合和下述预测，即时隙样本时间段(具有10个显示周期)的最佳混合将显示6次房间升级无模型和4次酒吧效率。

[0278] c.如果处于“探索”模式，则选择当前并非为最佳频率混合的频率混合(145)。

[0279] 4.分析数据并且更新历史数据库(参见上文实例#2的步骤8b)(146)：

[0280] a.保存以当前比率显示内容的主要效应(参见图25A)。

[0281] b.保存显示内容以及与该内容配对的当前频率的组合效应(参见图25B)。

[0282] 5.重复上述步骤3-4直到用户修改上述步骤2或终止过程(147)。

[0283] 图25A和25B示出了在时隙样本时间段内“混合”房间升级无模型与房间升级有模型的结果。在这种情况下，时隙样本时间段可提供总计10次显示。图25A示出了用于在时隙样本时间段期间显示1到10次房间升级无模型和酒吧效率的ROI。图25B示出了混合这两条内容的显示的效应。优化算法返回表明，对于时隙样本时间段，最佳频率提供6个房间升级无模型的样本和4次(10-6)酒吧效率内容的显示。

[0284] 探索/开发算法的有益效果中的一个为其被设计用于自动地“探索”内容显示模式的空间从而找到最好的、或者最佳的内容混合以向顾客返回ROI值。在此探索阶段，存在大量算法开始揭示的知识。这个知识以内容(以及内容属性，例如颜色、策略等等)、位置、顾客类型、时刻等等之间的特定相关性的形式出现。这些相关性中的多者为因随机机会产生的伪相关。其它相关性可对其具有因果成分。为了区别伪相关和因果关系，需要对照研究。

[0285] 挑战为确定实际追寻的相关性。探索/开发算法将揭示数据中的多个相关性。一些相关性可对用户具有显著价值而其它将不具有太多价值。本发明的实施例涉及使用自动假设生成方法(在本文中称为自动假设生成法)来识别和揭示有价值的相关性，其代表性实例在下文参照图26-28进行描述。

[0286] 实例#9

[0287] 1.按照本文所述来实施因果实验(150)。

[0288] 2.用户按上文实例#2中所述来指定优化变量(152)。

[0289] 3.用户定义用于自动假设系统的相关因子(153/160)：

[0290] i.用户指定不同有效性尺度、有效性尺度的组合(目标函数)的值，其因变量测定值为有兴趣发现相关性(如，酒吧销售、房间升级等等)的用户(161)。

[0291] b.用户指定所关注因子(162)：

[0292] i.如，酒店类型(如城市对比郊区)之间的任何可区分相关性

[0293] c.用户指定有意义的效应大小(163)：

[0294] i.多大的效应(如，10％的差异)将触发系统提醒用户或设计特定实验[0295] d.用户指定其是否想被提醒或具有自动生成实验研究的系统(164)：

[0296] i.用户可指定他们愿意支付自动生成实验的最大成本(参见上文实例#7的研究的成本评价)(166)。如果预测成本低于可接受成本，则自动生成实验(168)。

[0297] 4.分配内容并且采集数据(参见如上文实例#2的步骤6)(154)。

[0298] 5.分析历史数据(156/170)：

[0299] a.计算商业有效性尺度与所关注因子(上述步骤3b所定义的)和其它因子之间的相关性(172)

[0300] b.找到效应大小大于可接受效应大小的相关性(参见上述步骤3c)(173)[0301] c.确定系统是否应该向用户发送提醒、自动生成实验、或这两者(参见上述步骤3d)(174)：

[0302] i.如果提醒，则向用户发送提醒(175)。

[0303] ii.如果自动生成实验：

[0304] 1.计算研究的预期成本(参见上文实例#7)并且与上文步骤3d(i)中可接受成本进行比较(176)。

[0305] 2.如果成本为可接受的，则自动生成实验(178)。

[0306] 6.重复上文的步骤1-5(159)。

[0307] 可根据各个实施例实施本发明的系统和方法，即连续地分析数字标牌网络中的所有显示器，以确定每个显示器是否应为进行因果实验或执行机器学习程序而显示内容。可实施本发明的实施例以连续地分析所有DSN显示器从而有效地确定每个显示器是否受控于因果实验系统或受控于机器学习系统。优选通过DSN系统基于相对于下述损失机会的下述成本做出此决策，所述成本为使用用于实验的每个显示器上特定时间段的成本，所述损失机会为使用用于通过执行机器学习程序来优化预定商业目的的每个显示器上的相同时间段的损失机会。

[0308] 图29示出了下述方法的代表性实施例，所述方法用于进行DSN的所有显示屏的评价以及在因果实验系统或机器学习系统的控制下来分配显示屏时间。图29所示的方法基于显示器互联方式有效地将一段时间(如，TSS)移交至因果实验系统或者机器学习系统，并且每个时间段均是如此。

[0309] 如图29所示，如果所述时间段将由机器学习程序还是因果实验使用或控制，则DSN系统处理器或模块被构造(即，被设计为执行保存在存储器中的程序指令)用于确定对于每个播放列表计划表和相关显示器的每个时间段(如，TSS)(201/203)。如果模块确定时间段将用于机器学习程序，则将适当的内容分配到通过机器学习程序确定的时间段(205)。例如，可设计机器学习程序以在该时间段期间显示探索内容或开发内容。如果模块确定时间段将用于因果实验，则将适当的内容(如，实验内容或安慰剂内容)分配到通过因果实验确定的时间段(207)。分配并显示分配到时间部分的内容(209)。对于数字显示网络中的每个显示器的每个时间段重复图29所示的过程。

[0310] 图30在系统范围上示出可如何根据本发明的实施例在各个时间段基于显示器互联方式来执行图29中所述的过程。诸如DSN系统处理器或模块之类的决策工具基于系统范围条件来决定特定时间段(如，TSS)将由因果实验还是机器学习程序使用或控制(220)。如果为前者，则实验系统有效地控制时间段(222)。如果为后者，则MLR系统有效地控制时间段(224)。因此适当的内容被分配到整个网络的显示器上(226)。

[0311] 在图30所示的实施例中通过服务器(228)管理内容分配(226)。服务器(228)通信耦合至多个显示器(229)，其中在图30中示出六个以用于举例说明。各个显示器(229)的状态在示为此实施例中的时隙样本的所有时间和所有时间段下均为已知的。对于每个显示器(229)，均针对计划表中的每个时间t示出当前TSS和模式(实验或MLR模式)，所述计划表被服务器(228)(优选被DSN系统处理器或模块)用于控制内容分配。在一些实施例中，时间t和时间t+1之间的时间为时隙样本的持续时间。在其它实施例中，时间t和时间t+1之间的时间为由本文所述的时间间隔(TI)定义的持续时间。

[0312] 沿时间轴竖直观看，针对计划表控制的每个时间增量(即，@时间t、t+1、t+2等等)均示出各个显示器的状态。例如，DSN系统已确定TSS 1将用于由显示器1在时间t处执行机器学习程序。对于时间t+1，DSN系统已确定TSS 7将用于由显示器1进行因果实验。继续此实例，可看出对于时间t+2，DSN系统已确定TSS 13将用于由显示器1进行因果实验。根据本发明的此实施例，对于计划表中的t至t+n的每个时间，DSN系统中的所有显示器的状态均以类似方式已知并且进行控制。

[0313] 图30提供进一步强调使用常规系统和技术不可实现的优点和有益效果的系统视图。为进一步强调上文所述的真实世界实施问题的各方面，应当理解，每当显示器用于通过MLR优化时，显示器则不用于通过因果实验获得洞察力，并且反之亦然。将相对显示时间的分配视为最佳的系统将分析各个显示器的各个时间单元，并且通过用于因果实验对比用于最大化商业目来确定显示时间单元是否将增加更大数值。目前，不存在可实现或达到此最佳系统的常规系统或方法。

[0314] 有利地是，本发明的系统和方法自动地通过顶层决策工具中的优化算法来制定此最佳分配决策。即，顶层决策工具确保在整个内容分配网络上最大化独立得自两个子部件(因果实验系统和MLR系统)的值，前提条件是每个子部件需要控制时间段(如，时隙样本)以便实现其目的。

[0315] 其中决策工具可重新分配控制的一种方法为基于在因果实验期间获得的并且与因果实验相关的信息。提供下述实例，其涉及时隙样本形式的时间段以进行示意性的说明。

[0316] 实例#10

[0317] 由于存在用于当因果实验在进行时调整实验执行的方法，顶层决策工具可不断地重新评价成本/利益方程，子系统应利用所述成本/利益方程来控制随时间发展的各个时隙样本。即，从因果实验获得的洞察力的值可通过在其中实际实施实验的时间段期间进行/完成实验的成本来克服。

[0318] 基于早先的因变量数据，决策工具(或实验系统)可确定探索中的因子的计划效应大小可能远小于初始预期，由此，将花费较长时间来进行实验以达到所需的统计功效，并且因此按照网络所有者可通过由MLR系统控制而另外获得的利益，进行实验的成本可超过洞察力的预期利益。

[0319] 实例#11

[0320] 将特定时隙样本(在特定的显示器上，在特定的位置处)专用于控制实验系统的值可由于MLR系统有能力控制该时隙样本/显示器和获得更高值而改变。例如，然而特定时隙样本可已开隙以运行实验的“条件x”，如果MLR系统可通过控制该显示器、该位置处的时隙样本获得更大值，则决策工具可将用于实验的“条件x”的实施方式移至系统上的另一个显示器。即，“条件x”可已开隙为在上午10点于迪比克(Dubuque)的显示器上播放，但现在决策工具决定将该条件移至不同的时隙样本以使其在上午10点于圣地亚哥(San Diego)的显示器上播放。

[0321] 由此，存在下述方法，其中决策工具可通过时隙样本的移位控制来加速或减速实验，并且存在下述方法，其中决策工具可将实验保持为相同速度、但在整个网络上重新设置实验条件在物理世界的物理位置。同样，决策工具可因从机器学习程序获得的信息而重新分配控制。

[0322] 再次参见图30和40C，并且参照决策过程(220)，“实验对比MLR系统决策工具”为一套不断监测网络并且决定如何分配每个显示器的每个TSS对子部件系统的控制的算法：a)实验系统(423)，b)MLR系统(427)。决策工具(220)使用的输入来自：涉及实验洞察力的值的用户、涉及所需样本大小/持续时间以满足所需统计功效的实验系统、随实验发展的输入因变量数据、以及允许MLR控制TSS以便最大化当前商业目的的预估值或已知值。

[0323] 实验系统(423)为被构造用于接收输入(例如所关注的因变量测定值以及它们的特征、所关注的环境因子、所关注的内容因子、用于所关注的因变量测定值的观察者访问持续时间、以及实验紧迫性/价值)的子部件。实验系统(423)然后生成将在内容分配网络上进行的实验。实验系统(423)可估计达到统计功效的期望水平所需的预期持续时间/样本大小。

[0324] MLR系统(427)为一套执行机器学习算法的处理器，所述机器学习算法不断地管理内容分配以便最大化所关注数据流中的输出。MLR系统(427)接收下述输入，例如商业目的及它们的值、每个有效性尺度的值、可用于在网络上显示的内容、任何位置或时间约束、以及与内容有关的观察者访问持续时间。在实验系统(423)和MLR系统(427)(和/或顶层决策工具(220)本身)的指导下，通过计算机硬件和软件(如，服务器(228)/(421))在整个内容分配网络上进行内容分配(133)。

[0325] 图30示出了六个单独物理位置的代表性网络，其中每个位置具有一个显示器(229)，总网络具有六个显示器。例如，这些可为位于美国的六个城市中的六个不同的快速服务餐馆。在网络操作期间的某一时刻，所有显示器(229)均将显示通过如何采集各个TSS定义的内容。即，网络上的TSS的持续时间中可为30分钟，并且每条内容的长度可为30秒。因此，每个TSS中将播放60条内容。内容条得自可用内容库中(如，保存在服务器(228)/(421)中)。

[0326] 优选通过与实验系统(423)或MLR系统(427)相关的算法来控制填充每个30分钟TSS的(至多)60个独特内容条的混合。然而，如图表中所示，整个网络上的任何特定TSS均可在实验或MLR算法的控制下(其中‘控制’是指选择填充TSS的内容及其在TSS内的播放顺序)。并且，任何时间点的每个TSS均可受控于实验系统(423)或MLR系统(427)。

[0327] 在下一个TSS(下一个30分钟时间段)，显示器(229)可在TSS内显示内容，所述TSS受控于与先前TSS相同的子部件、或其他子部件(如通过沿图30中随时间向前发展的竖直轴观看所示)。例如，决策工具(220)可决定在TSS 1，显示器1将显示由MLR系统(427)(用于优化商业目的)定义的内容。然而，当显示器1在TSS 7内显示内容时，决策工具(220)可计算出(对于给用户的最大值)TSS 7应受控于实验系统(423)。因此，在任何时间点，不同位置的显示器(229)可受控于相同或不同的子部件(实验系统(423)或MLR系统(427))，依据为在时隙样本内显示由实验系统(423)或MLR系统(427)定义(或控制)的内容。

[0328] 图31-33为示出根据本发明实施例的过程的流程图，所述过程用于连续评价因果实验系统或机器学习系统的显示时间段(如，TSS)的分配。符合图31-33的过程的代表性实施方式在下文中描述于下述实例的上下文中。

[0329] 实例#12

[0330] 1.定义因果实验(230)：

[0331] a.定义因变量因子和自变量因子。

[0332] 2.输入紧迫性日期和假设值(231)：

[0333] a.指定实验中主要效应和交互作用的相对值。

[0334] 3.输入不同有效性尺度的相对值(232)。

[0335] a.例如，每次升级价值100美元并且在酒吧花费的每一美元值0.20美元。

[0336] 4.定义用于因果研究的要求/期望的实验时间段(如，时隙样本)的性能(233)：

[0337] a.指定在实验中需要运行的所有条件。

[0338] b.基于主要效应和交互作用的值，指定每个条件内的样本数。

[0339] 5.生成调度分配的多个时隙样本(235)，其将：

[0340] a.在紧迫性日期之前完成实验。

[0341] b.满足要求的实验条件。

[0342] 6.使用历史数据来计算与每个调度分配相关的机会成本(236/241)：

[0343] a.对于特定调度分配中每个时隙样本周期，生成目标值预测(243)。

[0344] i.通过采取用于有效性尺度和来自MLR的预测ROI的相对值并且计算预测的目标值预测来生成目标值预测(245)。

[0345] 1.如，对于TSS1，据预测，将在酒吧中存在10次升级和500美元。此TSS的目标值将为$1,100＝(10×$100/升级)+($500×0.2)。

[0346] ii.将调度分配内的TSS的所有预测目标值加和(247)。此值指定未将TSS专用于MLR的机会成本(249)。

[0347] 7.选择具有最低机会成本的计划表(238)。

[0348] 8.不断地重新评价调度分配并且当识别到具有较低机会成本的计划表时重新分配(239/250)。

[0349] a.新近获得的历史数据和/或关于有效性尺度的新相对值将改变不同TSS的预测值。这些变化可影响费用最低的调度分配。

[0350] b.分析用于将足够的样本分配到每个主要效应和相互作用以生成统计学上可靠的效应的成本(252)。

[0351] i.基于功效分析，重新评价剩余条件(即，重新分配样本条件)，需要进行所述剩余条件，其考虑各假设的值和与每个假设相关的成本(253)。

[0352] c.识别仍需要测试的剩余实验条件(如，与时刻、商店类型等等相关的那些)(254)。

[0353] i.这些条件为仍有待测试的在上述步骤4中识别的条件。

[0354] d.考虑测试所有剩余条件的多个计划表分配(255)。

[0355] i.使用与上文步骤6中所述相同的方法。

[0356] e.识别具有最低机会成本的计划表(256)。

[0357] f.确定机会成本是否小于假设值(上文步骤2)。

[0358] i.如果不小于，则提醒用户(259)。

[0359] 实例#13

[0360] Manticore有兴趣评价在升级数量方面，升级内容中的人物模型是否比无模型更有效。Manticore也有兴趣评价具有模型是否与时段相互作用。更具体地讲，Manticore有兴趣评价上午登记对比傍晚登记。所关注的主要问题为有模型是否相对无模型改善业绩，无论其显示时刻如何。次要问题为模型的使用是否与时刻相互作用。

[0361] 为了优化研究设计，用户输入两个问题的值。在此示例性实例中，用户指定有模型对比无模型具有$10,000的值，而相互作用具有$3,000的值。紧迫性日期设定为在30天内完成研究。用户也会被询问关于其认为有价值的最小效应大小。用户指定至少10％的效应大小将需要为受关注的。

[0362] 系统首先评价与两个不同设计相关的机会成本是否低于由用户应答所问的两个问题(即，有模型对比无模型以及模型与时刻的相互作用)而设定的价值的阈值。

[0363] 第一分析将确定用于运行评价使用有模型对比无模型的有效性的实验的预测机会成本。首先，系统识别可用于完成研究的时间段的采集。利用时隙样本的特性，系统使用历史数据来确定升级数据的差异并且完成功效分析来确定样本数以找到具有由用户指定的大小(10％)的显著主要效应。功效分析预测需要150个样本(75个有模型和75个无模型)以找到可靠效应。

[0364] 基于时隙样本的此集合，系统使用其历史数据来生成有关使用机器学习程序的这些不同时隙样本的预期回报(用于机器学习程序的预期回报，在此示例性实例中表示为ER(MLR))预测。另外，使用历史数据库，系统制定有关用于显示升级内容的预期回报(用于真实验的预期回报，在此示例性实例中表示为ER(TE))的预测。此实例中的预测ER(MLR)为$20，000并且ER(TE)预测为$15,000。将这两个预测值之间的差值计算为机会成本：

[0365] OC_模型＝ER(MLR)-ER(TE_模型)

[0366] 在这种情况下机会成本($5,000＝$20,000-$15,00)低于与在内容中使用模型相关的假设的答案值($10,000)。

[0367] 系统随后考虑用于回答有关相互作用的问题的机会成本(有模型对比无模型以及上午对比傍晚)。考虑仅包括上午和傍晚时间段的第二组时间段。根据用户输入(上文所述)，相互作用的值为$3,000。因此，如果增加时刻的约束将实验成本提高超过$3,000，则将提醒用户此事实。通过下述公式计算生成具有相互作用的实验的机会成本：

[0368] OC_相互作用＝(ER(MLR)-ER(TE_相互作用))-OC_模型

[0369] 通过制定有关仅上午和傍晚时段的MLR预测值来计算ER(MLR)——其它时段不予考虑。在这种情况下，ER(MLR)经计算为$23,000。

[0370] 使用历史数据库，用于在这些相同时间段期间显示升级内容材料的预测的预期回报为$16,000。因此，用于运行具有相互作用的实验的预测机会成本为$2,000(($23,000-$16,000)-$5,000)。初始分析表明，运行具有相互作用的实验的机会成本($2,000)低于由回答用户指定的值($3,000)。

[0371] 基于两个问题的机会成本均低于答案值，系统生成满足具有适当反向平衡和随机化(将在由用户指定的30天紧迫性时期之前完成)的研究的要求的初始计划表。

[0372] 当采集数据时，系统不断地重新评价功效分析和完成研究所需的样本数。此外，也不断地评价机会成本以确定与回答每个问题相关的预测机会成本是否一直低于由用户指定的答案值。

[0373] 在此实例中，在第3天的研究之后，相互作用的功效分析表明，因为存在小的相互作用效应，因此将需要大量样本来生成显著的(并且有意义的)差异(从初始估计的200个样本到1000个样本)。必要样本大小的增加会产生相互作用的下述机会成本，其超过由用户指定的相互作用的值($3000的值以及$12,000的预测机会成本)。即，相互作用的效应大小非常小。相比之下，有模型对比无模型的主效应的效应大小非常大并且用于完成仅具有主要效应的实验的预测机会成本仍低于答案值($10,000的值和$5,000的预测机会成本)。提醒用户下述事实，即与找到显著相互作用相关的机会成本当前超过研究值，并且询问用户愿意继续具有相互作用的研究还是仅运行研究来对相互作用生成答案。

[0374] 对于任一回应，系统将需要生成新计划表。如果用户决定继续进行研究，则计划表将必须包括显著较大组的样本。如果用户决定继续进行研究，但仅运行具有相互作用的研究，则系统将重新调度内容以包括所有时段期间(不只是上午和傍晚时段)的内容。

[0375] 系统将继续生成功效分析以确保存在足够的样本以完成具有统计可靠性的研究并且确保用于找到答案的机会成本不超过与问题相关的值。

[0376] 本系统的其它实施例包括其中用户未提供紧迫性日期的那些。在这种情况下，系统将开始实验并且将不断地评价特定时间段是否应该用于此实验。用于系统自动决定是否应将特定时间段分配至实验的一种方法是获得用于实验对比MLR的时间段的值。用于计算MLR的预测的预期回报的方法与上文所述相同。用来计算用于实验的时间段的值的方法是通过获取实验(或正在研究的假设)的值并且用该值除以进行研究(使用功效分析)所需的估计时间段数而得到。当考虑进行实验所需的时间段时，系统将进行此计算(实验不必要的时间段具有零值)。如果时间段的值大于MLR的预期回报，则系统将该时间段分配给实验——否则将时间段分配给MLR。用户可监测实验的进展，并且如果假设值开始增加，则用户可修改该值以提高系统将完成研究的速度。在另一个实施例中，用户可只指定紧迫性日期并且不指定假设值。在这种条件下，系统将指定计划表并且不断地更新计划表以在紧迫性日期结束之前最小化用于进行实验的成本。

[0377] 本发明的实施例涉及有利于用户输入与用于因果实验的一个或多个假设相关的数据以及与一个或多个商业目的相关的数据的系统和方法。在输入这些以及其它必要数据之后，执行本发明的过程(例如上文参照图29-33所述的那些)以确保对于播放列表计划表的每个时间段以及对于显示器网络的每个显示器，系统将用于最大化网络的实用性以实现由用户的输入数据指示的用户要求。用户不必进一步参与到这些过程中，除非需要参与。如果需要，用户可在任何时间询问系统以确定网络显示器的状态，并且可在各级决策水平这样做——其中，如果需要，间隔尺寸可低达时间段接时间段的基准(如，TSS接TSS基准)。用户可对这些过程实施改变，例如通过终止实验或增加分配至探索和/或开发程序的时间段的量。

[0378] 如此前所述，可根据本发明的实施例来执行除因果实验系统之外的机器学习系统。根据本发明的实施例，优选使用本文所述的类型的数字标牌网络来执行机器学习系统。播放列表计划表的时间段被分配用于根据特定的机器学习程序在DSN网络的每个显示器上显示各种内容。根据MLR算法来分配内容并且采集数据，所述MLR算法用于优化内容分配模式以最大化一个或多个有效性尺度(如，购买点销售、升级、顾客忠诚度等等)。可执行各种MLR系统，包括被构造用于执行(除了别的以外)强化学习程序、逻辑回归程序、无监督学习程序、半监督程序、转导程序、遗传算法、支持载体程序、和学会学习程序的那些，以及使用一个或多个神经网络的那些。

[0379] 根据各种实施例，MLR可在不存在任何因果实验的情况下进行。在这些情况下，当前可移除因果实验所需的约束条件。更具体地讲，当考虑在特定时间段显示内容时，DSN系统不必考虑内容是否具有混淆因果实验的可能性。因此，当在不存在因果实验的情况下运行MLR时，MLR可考虑在其处理之下的所有内容(如，探索内容、开发内容等等)。根据本发明实施例的用于执行不包括因果实验的内容优化程序的代表性过程包括(例如)示于图9的块92-98中的那些。

[0380] 在不存在因果实验的情况下使用MLR程序的系统和方法的其它代表性实施例为使用时隙样本的那些。根据这些实施例，系统将内容分配到由与下述时间相关的观察者访问持续时间(VVD)定义的TSS，在所述时间顾客可能看到显示器标牌并且最后对由显示器显示的内容作出反应。用于定义TSS的方法在本文有所描述。对于特定的TSS，MLR在不考虑内容是否会混淆因果实验的情况下选择内容。MRL随后执行(例如)如图9的块92-98中所示的必要算法。

[0381] 下面的讨论主要涉及根据本发明的实施例来实施因果实验的细节。虽然主要描述因果实验，但下面讨论的多个方面适用于或适合于机器学习系统的实施，例如上文所述的实施例。通过介绍，存在两个主要的研究类别：实验的和非实验的。本发明中涉及因果实验的实施例整体涉及用于进行“真”实验研究的系统和方法以及这种系统和方法的具有独立式实用性和有效性的子系统和子过程。然而，虽然发现本文所述的本发明的系统和过程当用作真实验的一部分时具有特定有效性，但发现本文所述的多个系统、过程和方法具有真实验之外的有效性和价值。

[0382] 例如，可以在准实验、相关性研究或其它形式的非实验研究中执行描述为真实验的一部分的系统和过程的多个方面(如，子系统和子过程)。执行本文所述的多个系统方面和方法可显著提高非真实验系统和方法的效率和准确度。因此应当理解，本文所述的过程、方法、系统和装置不限于仅在真实验研究环境内使用，但可以有利地在其它形式的研究(例如，非实验或准实验研究和相关性研究)中使用。

[0383] 通常进行实验以根据经验确定在两个或更多个变量之间是否存在关系，并且通常以形成断定在一个或多个自变量与一个或多个因变量之间存在关系的一个或多个假设开始。例如，制药公司的研究人员可设置患者服用的新药剂量与患者的血压有关的假设。通过能够减少或消除混淆变量的效应的方式和程度可以区分多种类型的实验。混淆变量是可随自变量的水平发生系统性变化的因子。然而，只有“真实验”可根据经验确定因果关系这就是Food and Drug Administration(食品和药物管理局)要求使用“真实验”从而得到有关(例如)新药有效性的数据的原因。

[0384] 自变量是实验期间由实验员进行定义或操纵的变量，例如对患者施用药品的量和/或频率。因变量是断定由自变量的值进行预测的变量(例如，患者的血压)。实验员然后进行试验以确定自变量与因变量之间是否实际上存在关系，例如在医药实验中患者接受的药品的量是否与患者的血压有关。

[0385] 混淆变量另外可以影响因变量。虽然这些混淆变量不是实验中的主要关注对象，但它们仍会影响因变量并且因此使自变量与因变量之间的准确的因果关系模糊。虽然实验员试图理解自变量与因变量之间的因果关系，但这些混淆变量可使实验结果无法解释。混淆变量中的一些实例包括霍桑效应、顺序效应、残留效应(例如，位间混淆和位内混淆)、需求特性和/或可随自变量的水平发生系统性变化的任何其它因子(如例如上述医药实验中的测试对象的体重)。

[0386] 混淆变量使得很难或不可以知道哪个因子(变量)导致任何观测到的因变量的变化。实验期间没有得到恰当控制的混淆变量的存在使得很难或不可以对自变量与因变量之间的因果关系进行统计推论。

[0387] 通过能够减少或消除混淆变量的效应的方式和程度可以区分多种类型的实验。可靠反映因果关系的唯一研究方法是真实验。术语“真实验”表示其中必须存在下面三种特性的实验：

[0388] 1.存在自变量的至少两个水平。

[0389] 2.样本随机分配到自变量的水平。即，实验中的每一个样本等几率分配到自变量的水平。

[0390] 3.存在某种控制或消除混淆的方法。

[0391] 缺乏以上三种特性中的任何一个的实验不是真实验，经常称为准实验或相关性设计。只有真实验才可以得出有关自变量与因变量之间的因果关系的统计推论。准实验和相关性设计可以允许建立自变量与因变量之间的关系，但不可以确定这些关系是否是因果关系。例如，在Campbell，D.T.，& Stanley，J.C.，Experimental and Quasi-Experimental Designs for Research，Rand McNally，(1963)中描述了多种类型的实验设计(包括真实验)。

[0392] 在物理环境中在数字标牌网络的显示器上递送内容可能充斥在互联网领域内不存在的混淆。在物理环境中，虽然人们产生因变量数据(如，销售点或POS日志、满意度调查响应、传感器事件)，但很难将因变量数据连接到它们可能已经向其暴露的自变量的水平(如，显示器上的内容)。顾客逛商店，有可能注意到也可能没有注意到显示器或在这些显示器上播放的内容。此外，当顾客位于观看范围内时，播放的内容可以变化，从而使他们暴露于自变量的多个水平。此外，许多其它变量(在或多或少可预测变量(例如，变化的酒店入住率或季节的温度变化)到不可预测变量(例如，竞争市场营销促销和道路建设)的范围内)会影响因变量数据。

[0393] 物理环境内的两类混淆存在极其困难的测定相关的挑战：位间混淆和位内混淆，也称为位间和位内残留效应。可具有位内和位间残留效应二者。当处于一个实验条件(如，当显示对照内容时)下的观察者仍然处于不同的实验条件(如，当显示实验内容时)下时，出现位内残留效应。当在一个位置处的观察者在不同位置处对内容进行反应时出现位间残留效应。

[0394] 本发明的实施例涉及下述方法和系统，其用于确定通信内容与其在接受者上的有效性之间的因果关系的存在以及测定所述因果关系的强度。根据本发明的实施例执行的方法和系统有利于通信内容的分配和所分配的通信内容有效性的评价，并且如上文所述有利于内容分配模式的自动优化以最大化投资回报率或其它预先确定的商业目标。本发明的实施例按照一定方式分配通信内容，使得该分配模式能够测定内容有效性。本发明的实施例对分配通信内容的模式(即，定时和位置)进行系统性控制，以便控制和/或消除混淆。

[0395] 通信内容可以采取多个形式，包括视觉、听觉、或可影响人的感官系统(如，人的感官系统的五官感觉，包括触觉、味觉、嗅觉、视觉和听觉)或由人的感官系统检测到的任何形式。通信内容可以是静态的、动态的或其组合。

[0396] 可以通过多种方法分配通信内容，这些方法包括(例如)电子方式、光学方式、音频广播、或通过静态或动态图像的图形或图画方式。通信内容可以分配到多种物理环境并在多种物理环境内分配，包括零售商店、银行、酒店、机场、公路、铁路、以及其它公共或私人场所。可以通过固定或移动结构、装置和系统呈现通信内容。

[0397] 根据本发明的实施例，计算机实施系统和方法可以生成时隙样本，时隙样本中的每一个被分配了时钟时间。每一个时隙样本具有指定的称为时隙样本持续时间的持续时间(可以将内容分配到其上)以及用于测定分配的内容的效应的数据采集时间。时隙样本的数据采集时间是采集因变量数据的时间段。根据其它实施例，计算机实施系统和方法将多条内容分配到时隙样本，以用于在显示器上显示，以测定分配的内容条的有效性。

[0398] 本发明的实施例提供通信内容的分配以及评价这些内容符合真实验的约束的有效性。本发明的实施例涉及提供在计算机的执行过程中使用的显示符合真实验的约束的通信内容的规则。可以基于时间或事件驱动的规则优选控制或消除(例如)残留效应的混淆。通信内容根据规则显示。采集关于通信内容的有效性的数据，并且基于采集的数据评价通信内容的有效性。

[0399] 本发明的实施例涉及在算法上在一个或多个显示器上分配内容，使得分配模式满足真实验的约束，以用于测定内容的效应。在通信内容分配网络(例如数字标牌网络或互联网)上执行真实验，可以确定通信内容与成功的经营措施(如，销售、传感器事件、调查数据等)之间的因果关系的存在以及测定该因果关系的强度。

[0400] 本发明的实施例采用算法以自动调度并显示标牌内容，使得内容呈现模式精确对应于实验设计。算法的输出可以用作对应于实验条件分析因变量数据的基础。

[0401] 虽然数字标牌网络(例如)呈现许多挑战，但与其它媒体(例如，广播或有线电视、无线电和印刷)相比，这种网络另外提供理想的实验条件。参照电视和无线电，例如，广告商不能够控制哪些电视播放他们的商业广告(即，不能够操纵自变量)，也不能够测定商业广告对产品销售的直接效应(即，不能够测定自变量对因变量的效应)。由于大多数的市场营销研究方法从这些媒体模型进化而来，所以市场研究员看起来已经忽视了执行真实验的可能性。

[0402] 作为另一个实例，数字标牌网络可以精确调度广告内容(即，可以精确操纵自变量)。另外，因为显示器通常靠近产品或者说是位于可测定行为变化的环境中，所以可以测定由内容引起的行为变化(即，可以测定自变量对因变量的效应)。另外，通常已经以在实验内可易于采用的形式采集了用于针对目标评价成功的数据。

[0403] 根据本发明的方法，自变量优选是数字标牌内容，因变量可以是具有商业含义(如，销售数据、传感器数据、调查数据)的任何措施。使用本发明的系统和方法，可以系统性控制数字标牌内容分配在整个数字标牌网络上的模式(即，定时和位置)，以控制和消除混淆。

[0404] 在本发明的多种实施例的上下文中，自变量对应于内容的性质(例如，策略消息或甚至类似主要色彩或使用拍摄图像的执行性元素)。通常存在至少两个水平的自变量：两者均为实验内容或者一个水平是实验并且一个为对照内容。实验内容是假设对因变量产生影响的内容(模拟临床药品实验中进行测试的药品)。对照内容是不期待影响因变量的任何内容(模拟临床药品实验中的安慰剂药丸)。操纵自变量涉及分配在不同时间和不同地点在标牌上待显示的实验内容或对照内容。不同水平的自变量被随机(基于约束，如下所述)分配到不同的标牌和不同的位置。因变量可以是断定受内容影响的任何变量(如，销售数据、测定预购买行为的传感器数据)。

[0405] 如上所述，混淆变量可以影响因变量，因此使自变量与因变量之间准确的因果关系模糊不清。如果实验是双盲的(例如)，并且给定适当的随机化，则仅存在两类可能的混淆；上述残留效应(如，位间和位内混淆)、以及内容混淆。

[0406] 当在正在测定因变量的测定的同一时隙内针对相同因变量播放不止一个版本的实验内容时，出现内容混淆。这种情况使得无法知道哪个内容成为任何观察到的因变量中的变化的基础。通过确保在给定时隙内仅仅呈现实验内容和/或对照内容，可以消除这些类型的混淆。

[0407] 如前所述，当观察者在与实验条件对应的一个时隙内观看内容而在与不同的实验条件相关的时隙内对该内容作出反应时，出现残留效应。再次，这种情况使得无法知道哪个内容成为任何观察到的因变量中的变化的基础。当处于一个实验条件(如，当显示对照内容时)下的观察者仍然处于不同的实验条件(如，当显示实验内容时)下时，出现位内残留效应。通过确保可将内容分配到其上的时隙样本足够长以确保在时隙样本中的一些(如，时隙样本的二分之一)期间出现在观看位置处的绝大多数观察者(如，95％)不会处于此前的时隙样本期间，可以控制位内混淆。在这种情况下，优选仅仅在处于此前时隙样本期间的绝大多数观察者离开该位置的时隙样本的部分期间记录数据。

[0408] 替代方法涉及使用在时隙样本期间记录的大多数或所有数据，但与时隙样本的开始部分相比，向时隙样本的结束部分更加加重数据的权重。此外，通过反向平衡呈现内容的顺序(如，确保在整个实验中，内容B跟随内容A的频率与内容A跟随内容B的频率相同)，可以消除任何仍然存在的位内残留效应(如，从可能已经感受两个版本的测试内容的5％或更少的顾客产生的位内残留效应)。

[0409] 当在一个位置处的观察者在不同位置处对内容进行反应时出现位间残留效应。通过以下方法可以消除位间残留效应：确保位于彼此似乎合理的移动距离内的位置受到播放内容的约束，使得无法在一个实验条件有效时离开一个位置，并在另一个实验内容有效时到达附近位置，并以影响因变量的方式作出反应。

[0410] 可由于不同原因而采用两类分块；通过优化因子分块和通过噪声变量分块。优化因子是在标牌位置处可以对内容的有效性产生暗示的那些因子。这种因子包括标牌位置、环境光照度、观察者的社会经济地位、时段等等。基于这些因子的分块可以进行因数分析，以测定内容与优化因子之间的交互作用(如，测定内容A是否在上午更有效，而内容B是否在傍晚更有效)。通过消除与会影响可预测但并非相对于实验所关注的因变量的因子相关的变化性，基于噪声变量的分块可用于增加统计功效。

[0411] 下文提供涉及以符合真实验的约束的方式分配通信内容以及评价这种内容的有效性的代表性实例。这些实例仅仅是为了进行示意性的说明而提供的，并非限制本发明所公开的原理的范围或应用。相反，可以设想大量的多种媒体以及通信分配架构和方法，包括涉及印刷媒体、蜂窝或无线通信装置、包括固定装置和便携式(如，手持式)装置的互联网访问的内容和装置、店内和户外(如，电子广告牌)显示系统的那些媒体以及通信分配架构和方法。另外可以设想能够通过这些架构和装置进行通信的大量的多种内容，包括(例如)广告内容、教导内容和寻路内容。

[0412] 虽然本文所述的自动化实验设计方法总体集中在数字标牌应用上，但应当理解，除了别的以外，这种方法可以应用于许多市场营销通信策略，包括网页设计、互联网广告、购买点印刷市场营销、以及直销。例如，可根据本发明修改互联网分析方法或基于网络的自动化实验系统(例如，在美国专利No.6,934,748和No.7,130,808中公开的系统，该专利以引用方式并入本文中)，从而执行真实验设计或具有真实验的约束的子过程。

[0413] 本发明的方面可以并入没有涉及以实验方式测定分配的内容的效应、但涉及基于(例如)履行合同义务的其它约束分配内容的自动化内容分配系统和方法中。在美国专利公布No.2006/0287913中公开了这种系统和方法的实例，该专利以引用方式并入本文中。在这种系统和方法中，在根据本发明测定分配的内容的有效性的同时，可以执行内容分配。

[0414] 系统和方法的以下非限制性实例示出了本发明的多种实施例。实例中的一些涉及方便符合真实验的约束测定通信内容的有效性的系统和算法。实例中的一些涉及方便控制分配通信内容的模式以便控制和消除(或显著减少)混淆的系统和算法。实例中的一些涉及可以执行以方便(例如)准实验分析和相关性研究中的内容有效性的非实验分析的系统和算法。

[0415] 本发明的多种实施例可以对应于实验条件自动分析因变量数据。图34A示出了涉及符合真实验的约束的显示通信内容的规则中的第310条的实施例。在一些实施例中，这些规则中的第310条涉及符合真实验的约束建立这种规则。在其它实施例中，建立的规则提供给符合真实验的约束的显示通信内容的系统。如图34A中进一步所示，根据规则显示通信内容(312)。采集有关通信内容的有效性的数据(314)，并且基于采集的数据评价通信内容的有效性(316)。

[0416] 图34B示出了更具体地涉及数字标牌内容的自动化调度和显示的实施例。根据图34B，提供符合真实验的约束的显示通信内容的播放列表和计划表(311)。播放列表是指各条内容的顺序，并且计划表指示(例如)由播放列表定义的那些内容条的回放。

[0417] 在一些实施例中，播放列表和计划表的第311条涉及符合真实验的约束建立播放列表和计划表。在其它实施例中，此前建立的播放列表和计划表提供给可以符合真实验的约束的显示通信内容的系统。在整个数字标牌系统上分配通信内容(313)。根据播放列表和计划表在数字标牌系统的显示器上显示通信内容(315)。采集有关通信内容的有效性的数据(317)，并且基于采集的数据评价通信内容的有效性(319)。

[0418] 应当理解，可使用一个或多个处理装置(如，PC机、微型计算机、网络处理器、网络服务器等等)来执行图34A-34B中以及本公开的其它图中所示的一个、一些、或所有过程。例如，第一处理器或处理器组可以用于播放列表和计划表的建立过程中。第二处理器或处理器组可以用于在一个位置处或在整个数字标牌系统上分配内容。第三处理器可以用于根据播放列表和计划表显示内容，而第四处理器可以用于采集有关内容有效性的数据。第五处理器可以用于基于采集的数据评价内容的有效性。在一些实施例中，可通过一个或多个可组网的处理器来执行本文所述的这些过程以及其它过程(如，与机器学习系统相关的那些)以便在一些或所有这些处理器之间进行通信。

[0419] 在其它实施例中，通过没有组网而以其它方式链接以在两者间进行通信的处理器可以执行这种过程中的一些或每一个。例如，第一处理器可以被构造用于执行一组程序指令以实现播放列表和计划表的建立，而第二处理器可以被构造用于执行一组程序指令以用于将内容分配到一个或多个显示装置。除非另外指明，本文和权利要求书中所用的术语处理器、计算机、或模块(及它们的变型形式)设想为单个处理器、一些或全部均可进行通信耦合的多个处理器、未通信耦合在一起的不同处理器(子网中的单个处理器)、以及处理资源的其它配置。

[0420] 图35和图36A-36B示出了根据本发明实施例的与符合真实验的约束在算法上调度并显示通信内容相关的过程。图35示出了根据本发明实施例的涉及与在算法上调度并显示通信内容结合的网络建立和数据采集的多种过程。

[0421] 根据图35所示的示例性实例，建立数字标牌网络涉及确定有利于控制、减少、或消除(例如)残留效应的混淆的显示位置。例如，建立该网络可以涉及确定至少预定百分比(如，95％)的顾客不会访问显示实验内容或对照内容的另一个位置的位置(330)。选择95％的值并非关键所在。然而应当理解，所选的值越大，结果低估该内容的投资回报的精确量的可能性越低。95％的值只是足够大，从而基于适当反向平衡，残留效应的影响将几乎不存在。

[0422] 重要的是，确保绝大多数的观察者没有机会在一个部位处看见消息而在显示不同对照内容或实验内容的另一个部位处对该消息作出反应。这种情况的情形将是残留效应情形，这会混淆实验结果。例如，如果人们在汽车经销商的显示器上进行实验，则该人需要知道在附近哪些经销商彼此足够靠近，使得观察者可在一个经销商处看见内容而在参与实验的另一个经销商处购买车辆。这可作为数字标牌网络建立的一部分而实现。例如，软件可提示安装人员选择观察者在离开其经销商以后可真正访问的整个网络上的所有位置(如，同一地理区域中的其它经销商)。

[0423] 作为数字标牌网络建立的一部分，优选识别在标牌位置处显示的网络属性和优化因子(332)。这种因子可以包括预测影响在标牌位置处的因变量的值的每一个场所的特性(如，商店大小、社会经济类别、其它广告效果、在标牌位置处的观察者的通常数目的时段差别)。这些因子然后变成实验中的块因子。

[0424] 存在两种块因子。一种包括实验将测试交互作用并且将暗示关于显示哪个内容的战略决策(如，在社会经济地位(SES)低的经销商处内容A可能更有效，而在SES高的经销商处内容B可能更有效)的因子。另一种块因子是没有明显暗示显示哪个内容、但无论如何应当被分块以便增加实验的统计功效的因子。此外，这些因子可在软件安装期间指定并且可在以后更新。

[0425] 网络建立另外包括估计实验的样本大小要求(334)。理想的是，优选使用统计功效分析，以计算找到商业关注的至少某一最小量级的统计显著性结果需要多少数据。

[0426] 作为网络建立的一部分，定义对照内容和实验内容(336)。对照内容(即，安慰剂)可以是既不预期也不可能影响所需的行为的任何消息(例如，当地天气或新闻)、或关于与因变量无关的产品或服务的消息。实验内容是假设导致因变量发生变化的内容。应当注意，在一些情形下，用于一个假设的实验内容可起到用于不同假设的对照内容的作用。

[0427] 采集有关绝大多数观察者进行他们商业活动在该场所花费的最长持续时间的数据并且用于控制残留效应(338)。用于消除或控制位置残留效应的过程的实例描述于2008年7月2日提交的共同拥有的美国专利申请序列号12/166,984中，该专利申请以引用方式并入本文中。

[0428] 图36A示出了根据本发明实施例的与分配通信内容并且评价这种内容的有效性有关的控制(如，减小或消除)位置残留效应的过程。图36A示出了如果95％的顾客在标牌位置处花费的最长持续时间是30分钟的情况下如何控制位内残留效应。在该示例性实例中，期间播放内容的时隙样本(322)和(324)是95％的顾客在该位置处花费的最长持续时间的两倍。

[0429] 直到处于此前时隙样本期间的95％的顾客已经离开标牌位置，才开始记录数据。在该实例中，在时隙样本(322)和(324)的最后30分钟部分(323)和(325)期间才记录数据。注意：用于每一个位置的时间间隔优选由可测定因变量数据的整个最小时间单位表示。例如，在一些销售点系统中采集的销售数据以秒为单位提供，而其它系统仅仅以整个小时为单位报告销售。图36B示出了根据本发明其它实施例的与分配通信内容并且评价这种内容的有效性有关的控制位置残留效应的过程。

[0430] 图37示出了根据本发明实施例的符合真实验的约束在算法上调度并显示通信内容的过程。图37所示的过程示出了本发明的实验设计和执行过程的多个行动。图37旨在示出综合系统，它包括许多特征，这些特征方便调度并显示符合真实验的约束的通信内容。应当理解，图37所示的所有特征不必并入本发明的系统和方法中。图37所示的所选特征可以应用于独立式应用中，或可以与其它特征结合，从而得到根据本发明的实施例的有用的系统和方法。图38A-39B(例如)示出了图7所示的特征的多种可用的组合。可以在非实验系统(例如，准实验系统和采用相关性分析或回归分析或人工神经网络的那些系统)中实现图37所示的特征的许多组合。

[0431] 除了别的以外，图37-39B(以及与上论各种机器学习实施例相关的图)中所示的多个过程具有通常从其它过程、系统(如，POS系统)、传感器(如，在场传感器)、或从用户接收的输入。这些输入包括下述：用于对有效性进行测试的每条内容的持续时间数据(CD)；所关注的持续时间(DI)，在其之后如果内容导致正在测定的行为数据或交易数据发生变化则该内容被视为不是关注的内容。成对内容关联性数据(CR)(即，期望内容A与内容B以不同方式影响相同的行为数据或交易数据吗？)；成对位置关联性(LR)(即，观察者可在位置A处感受内容并且在位置B处于上述规定的所关注持续时间内作出反应的可能性)；显示在标牌位置的优化因子(OF)；通过优化因子估计的样本大小要求(SS)，其可为任选的，以用于针对每条内容需要多少时隙样本；目标观察者的特定百分比(如，95％)在显示器所处的场所花费的最长持续时间(观察者访问持续时间或VVD)；用于目标观察者在其访问所述场所期间可影响的所关注数据流的数据采集/集合的时间间隔(TI)；块因子(即，用于优化内容的最大功效因子，其预测因变量数据而非自身受关注)；绝对安慰剂内容；以及实验内容。

[0432] 观察者访问持续时间是一个重要参数，它代表指定百分比的观察者在某个位置处花费的最长时间。通常，基于许多观察者的各个VVD计算VVD，应当理解，各个VVD的分配取决于影响各个人在某个位置处花费的时间的大量的因子。VVD的精度取决于场所的大小。小场所(如，小商店)可以提供用于在几分钟内观看内容然后对内容作出反应的良好限定的机会。

[0433] 可以通过多种方法确定观察者访问持续时间，例如基于期待的VVD估计VVD。确定VVD可以基于一个或多个因子，例如交易数据、先前销售数据、传感器数据(如，邻近或在场传感器数据)和观察数据。在下文提供的示例性实例中讨论用于确定VVD的其它方法。

[0434] 应当理解，虽然一些“观察者”从来不会看到(或理解)显示的内容，但仍会购买广告的货物(归纳到测定的行为)。有些观察者看到内容但不购买广告的货物，有些观察者看到并购买广告的货物。就这一点而言，本发明的方法涉及随显示的内容的变化(实验内容对比对照内容)反映测定的行为之间的差别。应当注意，进行测定的这种行为差别另外随显示位置而变(如，在偏僻角落中，很少有人能看到，而在醒目位置，所有人都能看到)。如果很少人或没有人看到显示器，则最引人注目的内容(今天平板电视机免费！！！)对于测定的行为(得到免费电视机)实质上不会产生任何差别。

[0435] 位置是重要条件，它是指物理空间，在该物理空间内，观察者既可感受因变量的水平(如，以数字标牌内容的形式)、又可导致与自变量相对应的因变量数据发生变化(因变量数据经常由销售点或传感器数据组成)。通常，零售环境中的位置是零售商拥有的物理空间。然而，存在位置是零售商拥有的空间的一部分的一些情况。例如，考虑在登记台附近具有显示器(即，在该位置正通过实验测试设计用于增加客人升级到非标准房间的可能性的两条数字标牌内容的相对有效性)的酒店大堂的情况。在这种情况下，由于观察者仅仅可在酒店大堂内感受内容，并且除了观察者在第一次访问酒店大堂过程内升级到非标准房间以外观察者不太可能以后再升级到非标准房间，所以该位置是酒店大堂区域(而非整个酒店)。同样，在该受控的物理空间内可以获得精确的VVD。

[0436] 例如，在具有单个户外显示器和多个零售商业机构的城市里测定顾客行为(如，通过购买在城市的单个户外显示器上呈现的广告产品)的情况下，VVD变得更不精确。购物中心环境通常落在允许精确VVD的受控位置与上述示例性城市场景之间的某处。通过对比，应当注意，最受控的情况是由坐在计算机显示器旁边并通过点击鼠标和/或敲击键盘响应内容(即，对内容作出行为反应)的人员代表的位置。

[0437] 如此前所述，当自变量的一个水平的效应持续时尝试测定同一自变量的另一个水平的效应时，出现残留效应。由本发明的实施例提供的控制或消除残留效应的解决方案是：确保在如下两个事件之间经过了足够的时间(1)改变自变量的水平；与(2)在改变自变量的水平以后采集数据。

[0438] 确保在数字标牌内容的环境中消除残留效应的一种方法是：在自变量的水平变化之间等待很长时间，和/或在改变自变量的水平与采集因变量数据之间等待很长时间。例如，可在一个星期仅显示自变量的一个水平或一次显示更多水平。然后，通过在整个星期内采集数据，在该星期内采集的数据点中的多个将不会受到自变量的不同水平(如，在该实例中，“省钱”)的影响。然而，这种方法严重限制了在自变量的水平可被改变的整个时间内的实例的数目。

[0439] 本领域技术人员将会知道，可从实验产生结论的速度与可操纵的自变量的整个时间内的实例的数目直接有关。本发明的实施例有利地提供了将VVD和TI用作输入，以确定自变量的水平的变化频率，因此使人们能够在尽可能频繁地改变自变量水平时控制或消除残留效应。

[0440] 再次参见图37，将计划表解析成时隙样本(340)。分析计划表对于消除残留效应是非常重要的。分析通常涉及在算法上分析计划表，使得时隙样本可分配到指示内容的回放的计划表。

[0441] 建立播放列表涉及在算法上将内容分配到时隙样本，使得内容分配模式(即，播放内容的定时和位置)满足实验的约束(342)。例如，可以通过以下步骤完成这项工作：确保实验内容和对照内容不混淆(345)；在确保基于网络优化因子(即，正在进行研究的因子)的分块的特定约束的条件下，将内容随机分配到时隙样本(346)；通过可控制和预测但并非研究中所关注的其它因子(即，噪声因子)进行分块(347)；反向平衡顺序效应(348)；对全部非对照的因子进行随机化处理(349)；确保平衡设计，使得在整个块上存在大致相同数目的时隙样本(350)；以及满足建立的样本大小要求(344)。

[0442] 根据播放列表计划表分配内容(352)。理想的是，该过程和相关算法嵌入在内容管理软件内(352)，从而内容可根据建立的播放列表计划表进行自动分配。优选产生上述算法过程的报告(354)。该报告优选识别呈现什么内容以及何时何地呈现该内容。该报告另外可以表明对什么因变量数据进行编码以及存在或使用任何优化、噪声和块因子。有关影响算法的过程或性能的其它数据另外可以包括在生成的报告上。应当理解，记录这些和其它数据/信息，从而可以生成算法过程的报告。该报告优选指定在每一个时隙样本内对哪个因变量进行编码，以及由于由残留效应或其它混淆导致的可能的污染而使用或丢弃哪个因变量数据。

[0443] 可以根据实验条件使用产生的报告的数据解析因变量测定(355)。例如，因变量数据(如，POS销售数据)优选进行时间和位置标注，使得可根据实验条件自动解析该数据以用于分析(和/或由机器学习系统使用，所述机器学习系统例如在上文所述的那些)。

[0444] 图38A示出了根据本发明实施例的涉及生成时隙样本的多种过程。根据图38A，接收目标观察者在显示器所处场所正常花费的观察者访问持续时间(353)。接收在访问该场所期间目标观察者可影响的所关注数据流的数据采集或集合的时间间隔(357)。使用观察者访问持续时间和时间间隔，确定要测定分配到时隙样本的内容的效应所需的时隙样本的数目，并且确定与时隙样本中的每一个相关的数据采集时间(359)。

[0445] 如图38A所示的过程举例，本发明的实施例产生可对其分配内容以用于测定分配的内容的效应的“样本”(本文中称为时隙样本)。这些“样本”以及产生这种样本的方法具有显著价值，并且表示可由这些样本的购买者用于测试内容的有效性的最终产品。

[0446] 图38B示出了根据本发明实施例的涉及将内容分配到时隙样本的多种过程。根据图38B，接收相对于其它条内容将每一条内容识别为实验内容条或对照内容条的内容关联性数据(361)。图38B的过程还涉及在算法上使用内容关联性数据将实验内容条或对照内容条分配到时隙样本(363)。分配到特定时隙样本的内容条相对于此前分配到该特定时隙样本的实验内容条不包括不相同的实验内容条。

[0447] 在一种意义上，图38B所示的过程描述了可用于提高对内容的有效性进行实验的速度和准确性的技术或工具(如，软件)。根据图38B实现的技术或工具代表有价值的最终产品，该最终产品向希望对内容的有效性进行实验的人提供实用性。以此类推，在生物研究领域的环境中，开发了工具并用于增加(例如)对癌细胞进行实验的速度和准确性以及降低进行这种实验的成本。例如，已经开发出基因测序工具以自动控制基因测序的步骤。以相似方式，根据图38B实现的工具和技术可以用于提高对内容有效性进行实验的速度和准确性以及降低进行这种实验的成本。

[0448] 图38C示出了根据本发明实施例的可以用于使用完整的随机化过程将计划表解析成时隙样本的算法的实施例。根据图38C，识别并量化用于每一个显示位置的时间间隔(TI)的持续时间(362)。确定用于每一个位置的观察者访问持续时间(VVD)(364)。如此前讨论的，TI表示可测定因变量数据的最小时间单位，VVD为预定百分比(如，95％)的观察者在任何一次访问期间在该位置花费的最长时间量。

[0449] 针对每一个显示位置确定时隙样本持续时间(TSSD)(366)。时隙样本持续时间是时隙样本持续的特定持续时间。在TSSD期间，优选以不存在将产生混淆的重叠的方式播放不同的实验内容和对照内容。根据一种方法，以及如图38C的块(368)、块(370)和块(372)所指出的那样，可以如下计算时隙样本持续时间：

[0450] TI≥VVD

[0451] 如果否，则TSSD＝VVD*2

[0452] 如果是，则TSSD＝TI+VVD [1]

[0453] 应当注意，如果在上式[1]中TI不等于或大于VVD(如，TI为1秒)，则在时隙样本持续时间的二分之一长度内，将会出现没有看见此前时隙样本的内容的观察者。重要的是，仅仅在该第二个一半(即，在该实例中，TSSD的数据采集时间)内采集的数据被包括在分析中，并且结合反向平衡，这消除残留效应。

[0454] 接着进行随机化过程，对时间间隔进行随机选择(376)。该算法随机选择于特定位置的开放时间以后的该位置的TSSD中的至少一个开始的任何“开放”时间间隔。此上下文中的术语“开放”时间间隔是指还没有已与之相关的时隙样本的时间间隔。

[0455] 分配时隙样本，以在随机选择的TI开始之前开始该位置的一个TSSD(377)。该过程(376)、(377)和(378)一直持续到没有合法TI以分配TSS。应当注意，根据以下约束选择时隙样本：不包括由此前选择的时隙样本所包含的时隙样本(如，如果内容已经在9:01-9:20进行了播放，则系统不会选择9:01-9:20作为候选时隙)。

[0456] 图38D示出了根据本发明实施例的可以用于将计划表解析成顺序产生的时隙样本的算法的实施例。图38D的过程(362)-(372)与图38C的对应过程相同。图38C的过程(376)、(377)和(378)示出了完整的随机时隙样本生成方法。图38D的过程(383)、(373)、(375)、(379)和(381)示出了顺序时隙样本生成方法。

[0457] 根据图38D的顺序时隙样本生成方法，对每一个位置建立时隙样本(374)涉及选择要呈现内容的位置(383)。找到与该位置的开放时间相距TSSD的第一TI的开始(373)。分配TSS以在该TI开始之前开始一个TSSD(375)。对于与前一个TSSD的结束相距TSSD的最近的TI重复该过程(373)和(375)(379)，直到到达关闭时间(381)。对于每一个选择的位置(383)重复该TSS建立过程(374)。以如图38D所示的顺序方式生成时隙样本，通常导致实现较高的TI利用效率。

[0458] 迅速产生评价内容有效性所需的结果的另一种方法是能够使用网络上的每一个均具有能够示出内容的显示器的多个位置。每一个位置可产生实现用于验证假设的数据量所需的时隙样本。通常，数据产生率与位置的数目成比例，如，音乐会中同时工作的十个位置可产生的样本量大约是单个位置的10倍。该布置导致增加获知内容有效性与显示位置之间的交互作用的可能性。

[0459] 假定与不同的自变量相关的内容是不相关的，本专利申请中所公开的方法另外可以在相同的时隙样本期间同时测试多个自变量。这是因为一个自变量的实验内容可以是另一个自变量的对照内容。使用该技术还增加实验的速度，因为可以针对多个商业目的同时进行实验，因此释放了显示时间以实现商业目标。

[0460] 图38E示出了根据本发明实施例的可以用于建立实验设计播放列表的算法的过程。图38E所示的算法涉及确保实验内容与对照内容不会混淆(382)。根据图38E所示的方法，每一条实验内容随机分配到时隙样本。该过程确保相对于对因变量的影响彼此进行比较的两条内容绝不会在相同时隙样本内播放。

[0461] 基于仅仅对照内容分配到与任何条实验内容相同的时隙样本的约束，重复随机分配的过程。这确保不存在位置混淆。应当注意，假定一个假设的实验内容可用作其它假设的实验内容的对照，可以将一个假设的实验内容分配到已经包含另一个假设的实验内容的时隙样本。即，可同时运行两个实验，前提条件是假设为正交的(并且此外可运行如上文所述的一个或多个机器学习程序)。

[0462] 图38E的算法还可涉及基于优化因子进行分块(387)。这可以进行因子分析，以测定内容与优化因子之间的交互作用。图38E所示的算法另外可以涉及基于噪声因子进行分块以增加统计功效(388)。这些过程优选持续向时隙样本分配内容直到主要效应和交互效应样本大小需求得到满足并且设计得到平衡。该算法还可以对顺序效应进行反向平衡(389)。在每一个时隙样本内，使用已知技术(如，Latin Squaring(拉丁方阵))反向平衡显示各条内容的顺序。

[0463] 图38F示出了根据本发明实施例的向时隙样本分配内容以用于测试内容的相对有效性的算法的过程。图38F所示的算法涉及选择实验的开始点与结束点之间的还没有被分配实验内容的任何时隙样本(502)。该算法还涉及随机选择任何一条实验内容并且在步骤(506)中分配选择的实验内容以在选择的TSS的整个持续时间内进行播放(504)。

[0464] 重复块(502)、(504)、和(506)所示的过程直至受控于实验系统的所有时隙样本均被实验内容填充(508)。可以产生该算法的输出的报告(510)。该报告可以包含多种信息(例如，此前参照图37描述的信息)。应当注意，如果对时隙样本标记了属性，则可以基于在分配到时隙样本的内容与时隙样本的属性之间发现的任何交互作用产生假设并且进行探索性的数据分析。

[0465] 在多个实验情况下，期望将自变量(或变量)的每一个水平分配到相同数目的样本。图38G示出了根据本发明实施例的使用受约束的随机化过程向时隙样本分配内容以使得每一条实验内容分配到相同数目的时隙样本的算法的过程。图38G所示的算法涉及选择实验的开始点与结束点之间的还没有被分配实验内容的任何时隙样本(520)。该算法还涉及随机选择任何一条的实验内容(522)并且将选择的实验内容分配到选择的TSS(524)。

[0466] 基于每一条的实验内容分配到相同数目的时隙样本的约束(526)，重复块(520)、(522)和(524)中所示的过程。如此前进行的讨论，可以产生该算法的输出的报告(528)。

[0467] 在一些实验环境下，可以人工设计或使用现成的统计软件或例如使用下文中描述的专家系统设计实验，在这种情况下，已经指定了多种实验内容和对照内容的样本大小要求。图38H示出了根据本发明实施例的采用这些样本大小要求作为输入并且使用受约束的随机化过程向时隙样本分配内容以确保样本大小要求得到满足的算法的过程。图38H所示的算法涉及随机选择所有内容样本所需的时隙样本的数目(540)。该算法还涉及对选择的内容样本随机分配实验内容(542)。应当注意，由于样本大小要求得到满足而不需要的剩余时隙样本可以填入对于商业结果进行优化，而非用于测试任何假设的内容。

[0468] 图38I示出了根据本发明实施例的使用完整的随机化过程但加入优化因子约束向时隙样本分配内容的算法的过程。优化因子约束可以以类似方式加入相等的样本大小或预定的样本大小过程。应当注意，每一个内容样本优选具有识别与之相关的优化因子的元数据，并且时隙样本还具有识别哪些优化因子与时隙样本相关的元数据。

[0469] 图38I所示的算法涉及随机选择任何(第一)条的实验内容(550)，并且随机选择实验开始点与实验结束点之间的任何(第一)时隙样本(552)。随机选择的(第一)条的实验内容分配到选择的(第一)时隙样本(554)。

[0470] 图38I的算法涉及基于约束随机选择另一个(第二)时隙样本(556)，其中，该约束是另一个(第二)时隙样本与此前选择的(第一)时隙样本相比较所具有的不同水平的优化因子。随机选择的(第一)条实验内容分配到该(第二)选择的时隙样本(558)。重复上述的TSS选择过程(560)，直到在所有水平的优化因子内选择的(第一)内容条已经分配到一个TSS。

[0471] 图38I的算法还涉及随机选择任何(第二)条的实验内容(562)，并且针对该接下来的(第二)条的实验内容重复过程(552)到(560)(564)。重复块(550)到(564)的过程(566)，直到填充最大数目的时隙样本而不导致非平衡设计(即，直到时隙样本少于优化因子的数目与实验内容条的数目的乘积)。

[0472] 图38J示出了根据本发明实施例的使用完整的随机化过程但加入块因子约束向时隙样本分配内容的算法的过程。块因子约束可以以相似方式加入相等样本大小或预定的样本大小过程。应当注意，每一个内容样本优选具有识别与之相关的块因子的元数据，并且时隙样本还具有识别哪些块因子与时隙样本相关的元数据。

[0473] 图38J所示的算法涉及随机选择任何(第一)条实验内容(602)，并且随机选择实验开始点与结束点之间的任何(第一)时隙样本(604)。随机选择的(第一)条实验内容分配到选择的(第一)时隙样本(606)。

[0474] 图38J的算法涉及基于约束随机选择另一个(第二)时隙样本(608)，该约束是另一个(第二)时隙样本与此前选择的(第一)时隙样本相比较所具有的不同水平的块因子。选择的(第一)条的实验内容分配到该(第二)选择的时隙样本(610)。重复上述的TSS选择过程(612)，直到在所有水平的块因子中选择的(第一)条内容已经分配到一个TSS。

[0475] 图38J的算法还涉及随机选择任何(第二)条实验内容(614)，并且针对该接下来的(第二)条实验内容重复过程(604)-(612)(616)。重复块(602)到(616)的过程(618)，直到已经填充最大数目的时隙样本而不导致非平衡设计(即，直到时隙样本少于块因子的数目与实验内容条的数目的乘积)。

[0476] 图39A示出了根据本发明实施例的向时隙样本分配内容的算法的过程。图39A所示的实施例涉及向时隙样本分配内容(其中各条内容比时隙样本短)的算法。图39A的算法确保不会出现内容混淆并且可以使用相同的时隙样本测试多个假设(即，可以在相同的时隙样本内测试不相关的自变量)。可以以相似方式对相同患者测试多种药品，这会省钱和省时。例如，在药品测试境况下，能够对正在用于测试口臭药物的相同患者测试局部止疼膏。即，局部止疼膏不会影响口臭而口臭药物也不会影响皮肤情况。然而，不希望对正用于测试例如新牙膏的相同患者测试口臭的治疗。

[0477] 图39A所示的算法涉及随机选择实验开始点与结束点之间的任何开放时隙样本(640)。随机选择一条的实验内容(642)，并且选择的实验内容条分配到选择的TSS(644)。图39的算法还涉及基于约束随机选择一条实验内容(646)，该约束是选择的这条实验内容与已经分配到TSS的内容不相关。选择的这条实验内容分配到选择的TSS(648)。重复块(646)和(648)的过程，直到不可以加入一条实验内容而所有选择的实验内容的持续时间的和不会超过TSS的持续时间，或直到不存在剩余的不相关的实验内容条，以先到者为准。

[0478] 如果在选择的TSS中还存在任何开放时间，则对TSS的剩余开放时间填入绝对安慰剂内容(652)。图39A的算法还涉及在TSS内对内容进行随机排序(654)。如果TSS包含任何绝对安慰剂内容，则接着进行随机化从而相等持续时间的安慰剂内容对实验内容条进行分离。

[0479] 在实验开始点与结束点之间随机选择另一个开放TSS(656)。随机选择没有分配到此前填入的TSS的一条实验内容(658)。如果已经分配了所有的内容条，则选择绝对安慰剂内容。如果在块(658)中选择了绝对安慰剂内容，则对选择的TSS填入绝对安慰剂内容(660)，否则选择的实验内容条分配到选择的TSS，并且根据块(646)到654的过程对该TSS进行填充。根据块(640)到660的过程继续对开放TSS进行填充，直到所有的实验内容条已经分配到TSS。

[0480] 图39B示出了根据本发明实施例的向时隙样本分配内容的算法的过程。图39B所示的实施例涉及一种算法，这种算法确保在关注的持续时间期间不会出现位置混淆，并且在关注的持续时间以后，如果内容导致正在测定的行为数据或交易数据发生变化则该内容被视为不是关注的内容。即，图39B的算法确保在关注的持续时间期间，观察者不可以感受自变量的一个水平并在正在测试自变量的不同水平的不同位置对它作出反应。

[0481] 使用所有实验位置以消除所有的位置混淆的潜在缺点在于：以这种方式使用的任何位置不能够暴露到相同自变量的多个水平。同样，很难测定自变量的不同水平的组合在相同位置内如何彼此进行交互。在一些境况下，可以期望首先选择预定数目的位置以分配实验内容以用于完整的位内测试效应，然后运行该算法以使用剩余位置在没有位间混淆的情况下进行测试。即，例如，可以使用图38H满足用于位内因子的预定的样本大小，然后使用图39B测定位置之间的内容的效应。

[0482] 图39B所示的算法涉及随机选择任何实验位置(670)，并且选择与选择的位置有关的所有位置(672)。基于约束，内容随机分配到前面两块670和672中选择的位置(674)，该约束是仅仅不相关的内容条分配到这些位置。基于约束，随机选择另一个实验位置(676)，该约束是该选择的实验位置与已经选择的任何位置不相关。选择与前面的块中选择的位置有关(676)，并且与块670和672中选择的位置不相关的所有位置(678)。基于约束，内容随机分配到在前面两个块676和678中选择的位置(680)，该约束是仅仅不相关的内容条分配到这些位置。重复块676到680的过程，直到不存在剩余的不相关的位置。

[0483] 根据本发明的实施例的系统可包括本文所述的一个或多个特征、结构、方法、或其组合。例如，系统可被实施为包括图40A-40C示出的一个或多个有利的特征和/或进程。其目的在于，这类系统并不需要包括本文所述的所有特征，而是可被实施为包括提供可用结构和/或功能的选定特征。

[0484] 根据本发明的实施例的数字标牌系统(DSS)示于图40A中。图40A中所示的DSS为计算机化的系统，其被构造用于以音频、视频和/或其它媒体格式呈现信息内容。DSS可以包括自动或半自动产生播放列表和计划表的功能，其中，播放列表提供要进行呈现的信息内容的列表，计划表定义呈现内容的顺序。在半自动模式下，用户可以通过交互式用户界面(410)访问DSS控制处理器(405)。基于DSS控制处理器(405)的辅助，用户可以识别要进行呈现的内容并且产生用于控制在一个或多个DSS播放器(415)上进行呈现的定时和顺序的播放列表和计划表。每一个播放器(415)根据针对播放器进行开发的播放列表和计划表向感受者呈现内容。例如，信息内容可以包括图形、文本、视频剪辑、静止图像、音频剪辑、网页和/或视频和/或音频内容的任何组合。

[0485] 在一些具体实施中，在开发了播放列表和计划表以后，DSS控制处理器(405)确定播放列表所需的内容，从内容服务器下载内容，并且将内容与播放列表和计划表一起传递到向播放器(415)分配内容的播放器控制器(420)。虽然图40A仅仅示出了一个播放器控制器(420)，但多个播放器控制器可以连接到一个DSS控制处理器(405)。每一个播放器控制器(420)可控制一个播放器或多个播放器(415)。通过恰当提供识别内容/播放列表/计划表所指向的播放器(415)的信息，内容和/或播放列表和计划表可以以压缩格式从DSS控制处理器(405)传递到一个或多个播放器控制器(420)。在某些应用中，播放器(415)可在商店或购物中心内分配，并且在播放器(415)上展示的内容可以是广告。

[0486] 在其它具体实施中，DSS控制处理器(405)可以仅仅将播放列表和计划表传递到播放器控制器(420)。如果内容没有驻留在播放器控制器(420)上，则播放器控制器(420)可以访问内容存储器(425)以采集要进行呈现的内容。在某些场景中，借助于网络连接(如内联网或互联网)(有线的或无线的)可以访问DSS系统各部件中的一个或多个(包括内容存储器(425))。播放器控制器(420)可以汇编期望内容，或方便根据播放列表和计划表在播放器上显示期望内容。例如，用户可以周期性地或可以按照意愿、或者通过播放器控制器(420)自动地(在算法上)、或者通过DSS控制处理器(405)来修改播放器(415)上呈现的播放列表、计划表和/或内容。

[0487] 在一些具体实施中，DSS控制处理器(405)方便在播放器上进行播放的内容的节目的开发和/或格式化。例如，DSS控制处理器(405)可以方便使用模板格式化视听节目。该模板包括在开发要进行呈现的视听节目过程中应用的格式化约束和/或规则。例如，该模板可以包括与用于一些类型的内容的屏幕的多个部分相关的规则，在每一个部分中可以显示哪种类型的内容、按照什么顺序、字体大小和/或可用于节目的显示的其它约束或规则。每种显示结构可以期望一组独立的规则和/或约束。在一些实施例中，DSS控制处理器(405)可以自动格式化针对不同显示器的节目。

[0488] 在一些实施例中，基于通过认知科学领域内的研究和实验获得的信息，DSS可以建立模板、产生内容，选择内容，汇编节目，和/或格式化要进行显示的节目。认知科学尝试理解人类感觉的机制。认知和视觉科学的学科已经产生了关于人类感觉系统如何处理信息、形成注意力的机制、人类大脑如何存储并表现记忆中的信息、以及语言和问题解决的认知基础的大量知识基础。

[0489] 通过对内容设计、布局、格式化和/或内容呈现应用认知科学，可以产生易于人类感觉系统进行处理、易于理解以及易于存储在人类记忆中的信息。从认知科学采集并存储在认知科学数据库(430)中的知识可以自动或半自动用于通知包括建立模板、内容设计、选择内容、分配内容、汇编节目和/或格式化显示节目的DSS的一个或多个过程。结合DSS的编程使用的认知科学数据库(430)产生通过认知科学的教导加强的广告或其它数字标牌节目，并且减轻了系统用户对特定领域内的训练的需要。

[0490] 例如，认知科学数据库(430)可以存储在内容设计、分配和/或调整过程内进行使用从而提供易于人类感觉系统进行处理、易于理解并易于存储在记忆中的内容的认知和视觉科学信息。认知科学数据库(430)可以包括可由计算机进行实现以根据认知和视觉科学的原理开发和修改内容的设计规则和模板。认知科学数据库(430)还可以包括认知和视觉科学的原理的计算机可实施模型(例如，视觉注意、文本可读性、和记忆原理的模型)。

[0491] 在开发数字标牌节目(如，广告活动等等)的过程内，DSS控制处理器(405)可以引导用户经过使用通过认知科学采集的知识进行加强的多个过程。例如，存储在认知科学数据库(430)中的信息可应用于产生最佳节目布局的模板的选择和/或内容的选择(例如，内容元素是否应当是图形、文本，是否涉及移动、色彩、大小)和/或节目开发的其它方面的实施。

[0492] 本发明的计算机辅助方法和系统可实施为允许通常没有接受过应用认知科学和视觉科学原理所需培训的内容设计者提高内容设计和分配的有效性。本发明的系统和方法可并入以多种方式涉及认知科学数据库(430)的特征和功能，这在2006年12月29日提交的代理人卷号61288WO003、名称为“Content Development and Distribution Using Cognitive Sciences Database”(“使用认知科学数据库内容开发和分配”)的指定美国的国际专利申请US2006/049662的共同待审美国专利申请序列号12/159106中进行了更加全面的描述，该专利申请以引用方式并入本文中。

[0493] DDS能够设计数字标牌节目的其它版本以适应不同的显示器类型和观看条件。显示技术是多种多样的，并且用于在数字标牌网络上呈现内容的多种类型的显示器之间存在较大差别。例如，在整个数字标牌网络上，显示器的大小、形状、亮度、以及观看条件变化很大(如，一些显示器可能较小、柔性和非直线，而另一些显示器可能是标准大格式的液晶显示器(LCD)和等离子体显示器)。显示器类型和观看条件的变化意味着一条内容的任何一个版本不可能对于整个网络上的所有显示器均是最佳的。

[0494] 为了克服该问题，需要对每种显示器类型和观看条件产生每一条内容的多个版本并且将内容的这些版本选择性分配到网络中的它们的对应屏幕。然而，期待内容设计员具有整个大的DSS网络上的显示器类型和观看条件的这些详细知识是不现实的。此外，即使这些内容设计员具有这种详细知识，针对每种显示器人工建立内容的版本以及人工对内容进行调度以在恰当时间在每一个对应显示器上进行显示将是耗时的。

[0495] DSS可以包括数据采集单元(435)，用于采集用于提高展开的内容的有效性的数据。基于数据采集单元(435)，在内容展开过程内可以实时连续聚集成为数字标牌网络的有效性的基础的分配因子。采集的信息可以方便持续提高DSS的内容有效性以及改进内容条的各个版本。例如，此前采集的数据可以用于获知哪些传感器或销售事件应当触发特定类型的内容的显示。

[0496] 任何内容节目内的各条内容均具有特定目的(如，销售特定产品)。一般情况下，数字标牌网络的用户的每一个目标的值是可变的。例如，涉及产品的目标的值的每一个产品的利润率和库存水平是可变的。实现每一个目标的值在调配数字标牌节目的时间内连续变化。例如，产品的库存水平可以变化，因此影响产品的销售目标。

[0497] 整体上加强DSS的有效性涉及1)准确预测调配数字标牌节目对与数字标牌节目相关的目标的影响；以及2)随着与内容条对应的每一个独立目标的值的变化，连续改变各条内容的分配模式(定时、频率和位置)。在许多情况下，DSS的用户不可以预测调配内容的影响以及基于与每一条内容相关的目标的连续变化值人工改变内容分配模式。DSS提供预测数字标牌节目的影响以及基于预测改变内容的分配的功能。

[0498] 如此前所述，在播放器(415)上显示内容，用于影响人类行为(如，影响购买行为)。然而，先前的数字标牌系统不能够反映标牌内容与人类行为之间的因果关系或测定因果关系的强度。出现该难题的原因在于：在整个当前数字标牌网络上传递内容的方法不支持确定人类行为的任何测定的变化是由标牌内容导致的还是由一些混淆因子的结果(例如，天气变化、对产品的一般需求的变化、产品的价格的变化)导致的。

[0499] 决定性确定标牌内容与人类行为之间的因果关系的方法只有进行真实验，在真实验过程内，使用复杂的实验设计系统性操纵标牌内容，并且仔细测定这些操纵对人类行为的效应。人工进行这种实验是耗时的并且需要关于如何设计真实验的科学方法的大量知识和训练。数字标牌系统的用户可以不具有理解如何设计真实验以采集无混淆结果的充足训练。

[0500] 图40A所示的DSS包括实验设计处理器(440)和提供设计真实验的能力的用户界面(410)，并且也包括机器学习设计处理器439和提供设计机器学习程序的能力的用户界面(410)。图40A所示的DSS还包括被构造用于控制因果实验的执行的实验调配单元(445)和被构造用于控制机器学习程序的执行的机器学习调配单元437。

[0501] 图40B示出了根据本发明实施例的被构造用于设计、执行、和分析用于因果实验和机器学习程序中的数据的系统。图40B所示的系统包括实验设计处理器(440)，所述实验设计处理器(440)被构造用于设计真实验或具有真实验的约束的子过程(例如，在图37-39中描述的那些子过程)。如此前讨论，实验设计处理器(440)可以被构造为全自动或半自动与用户交互进行工作。在半自动模式下，实验设计处理器(440)可以引导用户经过通过用户界面(410)执行的多个交互式会话以设计真实验。在该过程内，实验设计处理器(440)确保产生无混淆数据的真实验的设计。因此，用户能够依赖实验设计处理器(440)的设计并且不需要具有设计真实验的知识或经验。DSS可仅包括实验设计处理器(440)，或可包括附加部件，例如实验调配单元(445)、数据采集单元(435)、和数据分析单元(450)。图40B所示的系统还包括被构造为有利于设计一个或多个机器学习程序的机器学习设计处理器439。

[0502] 系统还可包括实验调配单元(445)。实验调配单元(445)被构造为有利于实验调配。在代表性数字标牌系统的环境下，实验调配单元(445)对实验内容和对照组内容进行格式化以用于多种播放器配置，而且有利于把实验内容和对照内容转移至播放器控制器(420)，以按照播放列表和计划表在播放器(415)上进行展示。DSS系统的机器学习调配单元437协调一个或多个机器学习程序(例如上文讨论的那些)的执行，以及格式化被MLR使用的内容。机器学习调配单元437有利于将MLR内容转移至播放器控制器(420)，以按照MLR播放列表和计划表在播放器(415)上进行展示。

[0503] 数据采集单元(435)可被构造用于采集来自对照组和处理组的实验数据以及用于机器学习程序的优化数据。数据采集单元(435)可通过任何方式执行或有利于与实验和机器学习程序相关的数据的采集。例如，在示例性DSS中，数据采集单元(435)可以连接到多种传感器或数据采集装置(462)、(464)和(466)，这些传感器或数据采集装置(462)、(464)和(466)采集包括产品移动、产品销售、顾客行动或反应和/或其它信息的信息。传感器(462)例如可以用于检测顾客是否拾取了产品或当显示内容时顾客是否在显示器的附近。可以基于由销售点(POS)系统(464)采集的信息确定销售。还可以使用证实内容显示的一个或多个装置(466)。可以通过库存控制系统获得产品的库存水平的变化。可以通过问卷采集顾客反应。如果执行的实验是真实验，则由数据采集单元(435)采集的数据基本是无混淆的。

[0504] 数据采集单元(435)可以连接到数据分析单元(450)，数据分析单元(450)可以被构造用于对由数据采集单元(435)采集的实验数据进行分析。数据分析单元(450)可以确定和/或量化实验的自变量与因变量之间的因果关系。对于所示的DSS，分析结果可以用于确定内容是否会有效影响产品销售。数据分析单元(450)可分析所采集数据以便优化最大化一个或多个有效性尺度(例如购买点销售、升级、以及顾客忠诚度等等)的内容分配模式。

[0505] 由于分析单元(450)将接收关于自变量和因变量的信息(如，IV和DV是连续还是离散的)，所以分析单元(450)将具有大量必要地信息来选择对实验数据应用的恰当统计测试。例如，如果存在具有两个离散水平的一个IV和一个连续的DV，则T-Test将用于推论统计测试，而如果存在具有两个离散水平的一个IV和具有两个离散水平的一个DV，则Chi-Squared测试将用于推论统计测试。同样地，由于分析单元将从设计处理器(440)访问关于哪些实验条件是特定假设的诊断的信息，所以分析单元(450)将具有确定哪些实验和对照条件应当进行统计比较所需的大多数或全部信息。

[0506] 这些分析的结果可另外或作为另外一种选择用于实施或修改多个不同进程。例如，如果内容会有效影响产品销售，则可以将该内容并入广告活动。可以基于增加销售的有效性由内容评价过程(472)对内容分配值。根据内容的值由开账单单元(474)对使用内容的广告顾客开出账单。数据分析单元(450)还可以向库存控制(476)提供信息。另外，数据分析单元(450)可以向销售预测单元(478)提供信息，当调配广告活动时销售预测单元(478)产生销售预测。此外或另外，销售预测单元(478)可以预测支持通过广告活动产生的销售所需的产品库存。

[0507] 在2005年12月29日提交的共同待审美国专利申请序列号11/321,340以及2006年12月29日提交的美国专利申请序列号12/159107(即，代理人案件号61292WO003、名称为“Expert System for Designing Experiments”(“设计实验的专家系统”)的国际专利申请US2006/049657)中进一步描述了能够产生数字标牌内容、对由专家系统设计的实验进行调配以及采集实验数据的数字标牌系统的具体实施，其中，该专利申请以引用方式并入本文中。

[0508] 根据本发明的实施例，本文所述的系统和方法可以形成咨询业务的基础。除了别的以外，提供的服务可以包括(但不限于)：与顾客进行工作以针对某些通信目标和某些顾客观察者恰当定义他们的时隙样本，确定研究涉及哪些变量，确定用于进行测试的自变量的水平，确定用于进行分块和随机化处理的因子，以及执行功效分析。此前描述的测定算法可以用于针对交叉优化和块因子指定时隙配置要求。

[0509] 本发明的另一种应用涉及将总获利能力进行最大化的系统和方法。本发明的系统可用于针对两个目标优化所有可用时隙样本的分配：(1)上文中详细描述的内容有效性测试，以及(2)没有进行测试但涉及(例如)增加销售、提升顾客满意度、通知员工等等的任何数目的商业目的的内容。

[0510] 本文所述的根据本发明实现的系统可以提供数据以“平衡”时隙样本的总量，使得用户可以确定测试相对非测试时隙样本的最佳水平，并且在这些组内进行配置以使用最小数目的时隙样本更加有效地测试内容，从而对非测试内容释放更多的时隙样本。当用户寻求连续监视和调整内容分配以将获利能力、满意度等最大化时结果数据可以通知用户，并且能够辅助用户确定何时内容“过时”(即，定义为当此前有效内容由于过度暴露给顾客或员工观察者而不再非常有效的时间点)。

[0511] 图40C为根据本发明实施例的包括DSS的多个部件的数字标牌网络的示意图。根据图40C，DSN包括通信耦合到实验系统(423)和机器学习系统(427)的DSN系统模块(429)。服务器(421)也通信耦合到DSN系统模块(429)，所述服务器配合控制整个DSN的内容分配。

[0512] DSN系统模块(429)被构造用于在整个网络(在图40C中示为DSN基础结构)分配内容，并且采集和处理各种数据。DSN系统模块(429)与实验系统(423)配合以进行因果实验，并且与机器学习系统(427)配合以执行机器学习程序。对于执行不包括运行实验的机器学习程序的那些实施例，图40C中所示的DSN系统可排除实验系统(423)。

[0513] DSN系统模块(429)可包括顶层决策工具，例如上文在多个实施例的上下文中所述(如，参见图30)。例如，DSN系统模块(429)可被构造用于执行不断监测网络的算法并且决定如何将各个显示器的各个时间段(如，TSS)控制分配给子部件系统(a)实验系统(423)和(b)MLR系统(427)。如此前所讨论的，决策工具使用下述输入：涉及实验洞察力的值的用户、涉及所需样本大小/持续时间以满足所需统计功效的实验系统、随实验进展的输入因变量数据、以及允许MLR控制TSS以便最大化当前商业目的的估计或已知值。应当理解，决策工具可在DSN系统中除DSN系统模块(429)之外的部件(如，实验系统(423)、MLR系统(427))内执行，并且可在各个部件中进行分配。

[0514] DSN系统模块(429)通过DSN基础结构(413)与多个显示器(415)通信，所述DSN基础结构(413)可包括有线和无线的网络中的一者或两者。图40C所示的DSN基础结构(413)并入一个或多个移动网络(417)以及一个或多个数据网络(419)。移动网络(417)可表示任何一个或多个已知的或未来的无线网络技术，例如全球移动通信系统(GSM)、通用移动通信系统(UMTS)、个人通信服务(PCS)、时分多址联接方式(TDMA)、码分多址联接方式(CDMA)、宽带CDMA(WCDMA)、或其他移动网络传输技术。一个或多个数据网络(419)可与移动网络(417)协同配合(或不与移动网络(417)配合)以有利于往返DSN系统模块(429)的数据转移。例如，所示数据网络(419)可表示互联网，其接合至所示移动网络(417)从而提供与DSN系统模块(429)的输送路线连接。

[0515] 在一些实施例中，显示器(415)组耦合至一个或多个播放器控制器(420)，所述一个或多个播放器控制器(420)通过DSN基础结构(413)与DSN系统模块(429)通信。播放器控制器(420)和显示器(415)与DSN基础结构(413)之间的连接可分别为有线的、无线的或者有线和无线连接的组合。在其它实施例中，播放器控制器(420)不需要用于充当显示器(415)与DSN基础结构(413)之间的接口。可使用流技术管理内容分配和数据采集，所述流技术允许DSN系统模块(429)在不存在播放器控制器(420)的情况下来协调和执行用于多个显示器(415)的播放列表计划表。合适的传输方法包括除了别的以外，自动重试查询(ARQ)、TCP、以及UDP流传输。

[0516] 使用本文提供的描述，本发明的实施例可以实现为机器、过程、或通过使用用于产生编程软件、固件、硬件或它们的组合的标准编程和/或工程技术制造的制品。

[0517] 可以在一个或多个计算机可用媒体(例如，常驻存储装置、智能卡、DVD、CD或其它可拆卸存储装置、或传输装置)上编入具有计算机可读程序代码的任何所得程序，从而形成根据本发明的计算机程序产品或制品。同样，本文所用的术语“制品”和“计算机程序产品”旨在涵盖永久或临时位于任何计算机可用介质上或传输该程序的传输介质中的计算机程序。

[0518] 上文对于本发明的各种实施例的描述，其目的在于进行举例说明和描述，并非意图穷举本发明或将本发明局限于所公开的精确形式。可以按照上述教导进行多种修改和变化。例如，本发明的实施例可以在许多种应用中得以实施。

标题	发布/更新时间	阅读量
一种机器学习算法自动选择方法和系统	2020-05-12	161
一种移动式供热机组故障诊断方法	2020-05-17	61
一种基于Triple-GAN的分类方法	2020-05-11	739
锥束计算机断层扫描图像注册与重叠方法	2020-05-15	667
基于半监督学习的DPI数据中host的自动化挖掘方法及系统	2020-05-18	132
基于半监督学习算法的移动设备实体识别方法及装置	2020-05-12	243
一种室外场景三维彩色点云分类方法	2020-05-14	821
一种多示例学习框架下的鞋印图像检索方法及系统	2020-05-16	253
基于半监督学习的渣土车偷倒判别方法、系统和装置	2020-05-08	791
一种融合半监督学习和主动学习的搜索引擎用户满意度评估方法	2020-05-13	1013