技术领域
[0001] 本
发明涉及互联网技术领域，尤其涉及一种搜索引擎优化的方法和装置。
背景技术
[0002] 在
网站搜索引擎优化(Search Engine Optimization；以下简称：SEO)中，各个搜索引擎的爬虫都会对各种网站进行抓取，产生大量的爬虫的行为日志，这时SEO人员需要对海量日志进行分析，得到分析结果，再根据SEO人员的工作经验，开始对网站进行SEO，以达到对网站SEO的目的。
[0003] 但是，对搜索引擎的爬虫的行为日志进行分析需要由具有SEO专业知识的SEO人员执行，而许多公司、团队或者个人没有SEO的知识，因此无法对搜索引擎的爬虫的行为日志进行分析，进而也就无法进行SEO。另外，不同SEO人员考虑的维度不同，容易造成遗漏。并且，
现有技术中，SEO人员需要从大量日志中得出分析结果，然后通过手动编辑进行SEO，操作复杂，效率低下。
发明内容
[0004] 本发明的目的旨在至少在一定程度上解决相关技术中的技术问题之一。
[0005] 为此，本发明的第一个目的在于提出一种搜索引擎优化的方法。该方法可以通过解析搜索引擎爬虫爬取网站内容的日志，获得日志数据，进而根据日志数据获得在
选定的维度下的日志分析结果，从而可以根据该日志分析结果对网站进行SEO，简化了SEO的操作，提高了SEO的易用性，并能及时发现网站更新维护中出现的SEO问题，提高了SEO的效率。
[0006] 本发明的第二个目的在于提出一种搜索引擎优化的装置。
[0007] 为了实现上述目的，本发明第一方面
实施例的搜索引擎优化的方法，包括：获取搜索引擎爬虫爬取网站内容时所产生的日志；根据配置的日志格式对所述日志进行解析，获得所述日志包含的日志数据；根据所述日志数据获得在选定的维度下的日志分析结果，所述选定的维度为所述日志数据所包括的数据的维度的之一或组合；根据所述日志分析结果对网站进行搜索引擎优化。
[0008] 本发明实施例的搜索引擎优化的方法，通过解析搜索引擎爬虫爬取网站内容的日志，获得日志数据，进而根据日志数据获得在选定的维度下的日志分析结果，从而可以根据该日志分析结果对网站进行SEO，简化了SEO的操作，提高了SEO的易用性，并能及时发现网站更新维护中出现的SEO问题，提高了SEO的效率。
[0009] 为了实现上述目的，本发明第二方面实施例的一种搜索引擎优化的装置，包括：获取模
块，用于获取搜索引擎爬虫爬取网站内容时所产生的日志；解析模块，用于根据配置的日志格式对所述日志进行解析，获得所述日志包含的日志数据；获得模块，用于根据所述日志数据获得在选定的维度下的日志分析结果，所述选定的维度为所述日志数据所包括的数据的维度的之一或组合；优化模块，用于根据所述获得模块获得的日志分析结果对网站进行搜索引擎优化。
[0010] 本发明实施例的搜索引擎优化的装置，通过解析模块解析搜索引擎爬虫爬取网站内容的日志，获得日志数据，进而获得模块根据日志数据获得在选定的维度下的日志分析结果，从而优化模块可以根据该日志分析结果对网站进行SEO，简化了SEO的操作，提高了SEO的易用性，并能及时发现网站更新维护中出现的SEO问题，提高了SEO的效率。
[0011] 本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0012] 本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0013] 图1为本发明搜索引擎优化的方法一个实施例的
流程图；
[0014] 图2为本发明搜索引擎优化的方法中日志分析结果一个实施例的示意图；
[0015] 图3为本发明搜索引擎优化的装置一个实施例的结构示意图。
具体实施方式
[0016] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加
权利要求书的精神和内涵范围内的所有变化、
修改和等同物。
[0017] 图1为本发明搜索引擎优化的方法一个实施例的流程图，如图1所示，该搜索引擎优化的方法可以包括：
[0018] 步骤101，获取搜索引擎爬虫爬取网站内容时所产生的日志。
[0019] 步骤102，根据配置的日志格式对上述日志进行解析，获得上述日志包含的日志数据。
[0020] 本实施例支持多种日志格式，例如：普通日志格式(Common Log Format；以下简称：CLF)、国家超级计算应用程序(National Center for Supercomputer Applications；以下简称：NCSA)的中心通用日志文件格式、组合日志格式(Combined Log Format)和自定义日志格式等等。
[0021] 配置日志格式后，可以根据配置的日志格式，对上述日志进行解析，获得上述日志包含的日志数据，通常日志都会包含以下表1中的数据，也是进行SEO必不可少的数据。
[0022] 表1
[0023]
[0024] 从表1中可以看出，上述日志数据包括以下至少一个维度的数据：搜索引擎爬虫的IP地址、搜索引擎爬虫爬取网站内容的时间、搜索引擎爬虫的
请求方法、搜索引擎爬虫的请求地址、网站响应的状态码和搜索引擎爬虫的UA。
[0025] 步骤103，根据上述日志数据获得在选定的维度下的日志分析结果，上述选定的维度为上述日志数据所包括的数据的维度的之一或组合。
[0026] 具体地，根据上述日志数据可以确定搜索引擎爬虫抓取网站内容时的行为。表1 中 爬 虫 UA“Mozilla/5.0(compatible；Baiduspider/2.0；+http://www.baidu.com/search/spider.html)”出现了2次，简略记为“Baiduspider”，通过爬虫UA可从日志数据中分析出各个搜索引擎爬虫产生的日志。例如：通过爬虫UA“Baiduspider”，可得知是百度搜索引擎的爬虫日志，根据爬虫UA“Baiduspider”就可以筛选出百度爬虫日志，可以得知百度爬虫
访问各种网页资源的情况，如爬取网站内容的时间、请求方法、请求地址和状态码等，根据上述日志数据即可获得在选定的维度下的日志分析结果，如图2所示，图2为本发明搜索引擎优化的方法中日志分析结果一个实施例的示意图。
[0027] 图2中，3.1为爬虫UA维度的筛选，3.2为时间维度的筛选，3.3为状态码的筛选，本实施例中可以获得单一维度的日志分析结果，也可以获得组合维度的日志分析结果。
[0028] 3.4为对百度爬虫的日志分析结果，从3.4可见各请求路径的抓取量及总和，以及对各级路径的优化建议。
[0029] 3.5为选定请求路径下的详细日志分析信息，可见如请求地址“/index.html”的抓取量、网站响应的状态码，以及对各请求地址的优化建议。
[0030] 步骤104，根据上述日志分析结果对网站进行搜索引擎优化。
[0031] 本实施例的一种实现方式中，根据日志分析结果对网站进行搜索引擎优化可以为：根据上述日志分析结果给出对网站的优化建议，根据上述优化建议对网站进行SEO。
[0032] 如上所述，图2中，3.4和3.5给出了对网站的优化建议，因此可以根据上述优化建议对网站进行SEO。
[0033] 本实施例的另一种实现方式中，根据日志分析结果对网站进行搜索引擎优化可以为：判断上述日志分析结果是否触发自动优化条件，如果是，则对网站进行自动SEO。
[0034] 其中，上述自动优化条件包括自动禁止抓取携带动态参数的地址；这样，上述日志分析结果触发自动优化条件可以为：上述日志分析结果中搜索引擎爬虫的请求地址为携带动态参数的地址；对网站进行自动搜索引擎优化可以为：将上述地址自动添加到
网络爬虫排除标准(robots.txt)文件中，以禁止抓取上述地址。
[0035] 上述自动优化条件可以包括自动导出状态码异常的地址，这样，上述日志分析结果触发自动优化条件可以为：上述日志分析结果中包括状态码异常的请求地址；对网站进行自动搜索引擎优化可以为：自动导出状态码异常的请求地址，提供给SEO人员进行处理。
[0036] 上述自动优化条件可以包括自动禁止抓取大于X级路径的请求地址，X为整数，X≥1；这时，日志分析结果触发自动优化条件可以为：上述日志分析结果中包括大于X级路径的请求地址；对网站进行自动搜索引擎优化可以为：将上述地址自动添加到robots.txt文件中，以禁止抓取上述地址。其中，X的具体数值可以在具体实现自行设置，本实施例对X的大小不作限定，举例来说，X可以为5。
[0037] 当然上述自动优化条件仅是本发明的几种示例，不构成对本发明的限定，本发明提供可以配置的自动优化条件，同时这些自动优化条件也可以扩展，当自动优化条件被触发时，进行自动SEO，从而降低了在网站新增功能中造成的不利于SEO的问题，降低了SEO的成本。
[0038] 上述搜索引擎优化的方法中，通过解析搜索引擎爬虫爬取网站内容的日志，获得日志数据，进而根据日志数据获得在选定的维度下的日志分析结果，从而可以根据该日志分析结果对网站进行SEO，使得不具备SEO能
力的团队和个人都能够进行SEO，简化了SEO的操作，提高了SEO的易用性，并能及时发现网站更新维护中出现的SEO问题，提高了SEO的效率，同时提供自动SEO功能，降低了SEO持续优化的成本。
[0039] 图3为本发明搜索引擎优化的装置一个实施例的结构示意图，本实施例中的搜索引擎优化的装置可以实现本发明图1所示实施例的流程，如图3所示，该搜索引擎优化的装置可以包括：获取模块31、解析模块32、获得模块33和优化模块34；
[0040] 其中，获取模块31，用于获取搜索引擎爬虫爬取网站内容时所产生的日志；
[0041] 解析模块32，用于根据配置的日志格式对上述日志进行解析，获得上述日志包含的日志数据；本实施例支持多种日志格式，例如：普通日志格式(Common Log Format；以下简称：CLF)、NCSA的中心通用日志文件格式、组合日志格式(Combined Log Format)和自定义日志格式等等。配置日志格式后，解析模块32可以根据配置的日志格式，对上述日志进行解析，获得上述日志包含的日志数据，通常日志都会包含以下表1中的数据，也是进行SEO必不可少的数据。从表1中可以看出，解析模块32获得的日志数据包括以下至少一个维度的数据：搜索引擎爬虫的IP地址、搜索引擎爬虫爬取网站内容的时间、搜索引擎爬虫的请求方法、搜索引擎爬虫的请求地址、网站响应的状态码和搜索引擎爬虫的UA。
[0042] 获得模块33，用于根据上述日志数据获得在选定的维度下的日志分析结果，上述选定的维度为上述日志数据所包括的数据的维度的之一或组合；具体地，根据上述日志数据可以确定搜索引擎爬虫抓取网站内容时的行为。表1中爬虫UA“Mozilla/5.0(compatible；Baiduspider/2.0；+http://www.baidu.com/search/spider.html)”出现了2次，简略记为“Baiduspider”，通过爬虫UA可从日志数据中分析出各个搜索引擎爬虫产生的日志。例如：通过爬虫UA“Baiduspider”，可得知是百度搜索引擎的爬虫日志，根据爬虫UA“Baiduspider”就可以筛选出百度爬虫日志，可以得知百度爬虫访问各种网页资源的情况，如爬取网站内容的时间、请求方法、请求地址和状态码等，获得模块33根据上述日志数据即可获得在选定的维度下的日志分析结果，如图2所示。图2中，3.1为爬虫UA维度的筛选，3.2为时间维度的筛选，3.3为状态码的筛选，本实施例中可以获得单一维度的日志分析结果，也可以获得组合维度(即两个或两个以上维度的组合)的日志分析结果。3.4为对百度爬虫的日志分析结果，从3.4可见各请求路径的抓取量及总和，以及对各级路径的优化建议。3.5为选定请求路径下的详细日志分析信息，可见如请求地址“/index.html”的抓取量、网站响应的状态码，以及对各请求地址的优化建议。
[0043] 优化模块34，用于根据获得模块33获得的日志分析结果对网站进行搜索引擎优化。
[0044] 本实施例的一种实现方式中，优化模块34，具体用于根据上述日志分析结果给出对网站的优化建议，根据上述优化建议对网站进行SEO。如上所述，图2中，3.4和3.5给出了对网站的优化建议，因此可以根据上述优化建议对网站进行SEO。
[0045] 本实施例的另一种实现方式中，优化模块34，具体用于判断上述日志分析结果是否触发自动优化条件，如果是，则对网站进行自动SEO。
[0046] 其中，上述自动优化条件包括自动禁止抓取携带动态参数的地址；这样，上述日志分析结果触发自动优化条件可以为：上述日志分析结果中搜索引擎爬虫的请求地址为携带动态参数的地址；则优化模块34，具体用于将上述地址自动添加到网络爬虫排除标准(robots.txt)文件中，以禁止抓取上述地址。
[0047] 上述自动优化条件可以包括自动导出状态码异常的地址，这样，上述日志分析结果触发自动优化条件可以为：上述日志分析结果中包括状态码异常的请求地址；则优化模块34，具体用于自动导出状态码异常的请求地址，提供给SEO人员进行处理。
[0048] 上述自动优化条件可以包括自动禁止抓取大于X级路径的请求地址，X为整数，X≥1；这时，上述日志分析结果触发自动优化条件可以为：上述日志分析结果中包括大于X级路径的请求地址；则优化模块34，具体用于将上述地址自动添加到robots.txt文件中，以禁止抓取上述地址。其中，X的具体数值可以在具体实现自行设置，本实施例对X的大小不作限定，举例来说，X可以为5。
[0049] 当然上述自动优化条件仅是本发明的几种示例，不构成对本发明的限定，本发明提供可以配置的自动优化条件，同时这些自动优化条件也可以扩展，当自动优化条件被触发时，优化模块34进行自动SEO，从而降低了在网站新增功能中造成的不利于SEO的问题，降低了SEO的成本。
[0050] 上述搜索引擎优化的装置中，通过解析模块32解析搜索引擎爬虫爬取网站内容的日志，获得日志数据，进而获得模块33根据日志数据获得在选定的维度下的日志分析结果，从而优化模块34可以根据该日志分析结果对网站进行SEO，使得不具备SEO能力的团队和个人都能够进行SEO，简化了SEO的操作，提高了SEO的易用性，并能及时发现网站更新维护中出现的SEO问题，提高了SEO的效率，同时提供自动SEO功能，降低了SEO持续优化的成本。
[0051] 需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0052] 流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、
片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0053] 应当理解，本发明的各部分可以用
硬件、
软件、
固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在
存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据
信号实现逻辑功能的
逻辑门电路的离散
逻辑电路，具有合适的组合
逻辑门电路的
专用集成电路，可编程门阵列(Programmable Gate Array；以下简称：PGA)，
现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。
[0054] 本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0055] 此外，本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0056] 上述提到的存储介质可以是
只读存储器，磁盘或光盘等。
[0057] 在本
说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0058] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
