技术领域
[0001] 本
发明是关于一种数据库系统及数据存取方法，且特别关于一种利用索引的数据库系统及数据存取方法。
背景技术
[0002] 随着
电子技术的进步，计算机或各式电子装置所处理与储存的数据量也越来越大。虽然，储存装置的存取速度不断的提升，然而，如果没有一套有效的数据存取方法，即使有庞大的数据，也难以有效撷取有用的信息。
[0003] 因应此类需求，人们发展出数据库(database)及相关技术，使信息撷取(data retrieval)的效率获得相当程度的改善。数据库通常具有许多数据表(table)，每个数据表由许多数据纪录(data record)组成，而每一数据记录则具有多数个属性值(attribute value)。
[0004] 请参照图1，此图例示一数据表102与储存媒体106之间的关系。在此例中，数据表102具有多数笔数据记录，而每笔数据记录各自具有姓名、公司、年纪、电子邮件等属性值。例如，Peter的公司为B&G，年纪45岁、其电子邮件为Peter@BG.com。
[0005] 为了将数据表102储存于数字设备中，数据表102的数据，会先借由ASCII或Unicode等编码，转换成对应的位序列(binary sequence)104。这些位序列104再进一步储存到
硬盘、磁带或光盘等储存媒体106。
[0006] 假设在此范例中，数据记录是依数据表102所示顺序存于存储媒体106中，当我们想要查询有哪些人是属于MIDHOST公司时，我们需要从第一笔记录开始，逐笔记录检查各数据记录的公司属性值，直到找到“公司”属性值为“MIDHOST”为止。
[0007] 然而，此种方法对于数据量庞大的数据库来说，将耗去过多的时间。因此，便有对数据记录建立索引的构想，以
加速搜寻的过程。所谓索引是针对数据的某些字段或字段的组合，对于数据纪录(data record)予以排序，并将其排序结果存成索引文件，以便搜寻特定信息时之用。
[0008] 举例来说，图2a与图2b即例示对图1中的数据表102，透过不同的排序方法以进行索引的编制。
[0009] 在图2a中，数据记录是以“姓名”的属性(attribute)作为索引值，并对数据表102的数据记录重新排序。并且，利用此排序的结果，将其索引值，也就是“姓名”的属性值，与指向数据记录的
指针(indicator)共同存成索引文件(index file)。
[0010] 此索引文件内容为一数组(array)，且此数组的每一个元素(element)包含两个子元素(sub-element)，第一个子元素为索引值，亦即“姓名”的属性值，而第二个子元素为对应此索引值的数据记录在存储媒体中的存取地址(access address)，例如某磁盘某扇区(sector)的某偏移地址(offset)。
[0011] 在有了索引文件之后，如果要查询具有索引值的数据记录，便可将待查索引值与索引文件中的索引值比较，透过各种搜寻方法，以找到所需要的数据记录所存放的地址。
[0012] 虽然在图2a中是以一属性作为索引，然而索引也可透过二个以上的属性或各种组合而构成，例如在图2b中所示以“公司”与“年纪”作为索引的例子。
[0013] 透过索引确实能加速数据查询的速度，然而，由于索引本身需要占据空间，且当数据变动时，索引必须重新调整，因而间接影响数据库的整体效能。因此，在实际的运用中，能否建立一个具有弹性与效能的索引架构，将大幅地决定数据存取的效能。
[0014] 此外，由于今日电子应用的多元化，电子装置与计算机之间的差距已经越来越模糊化。虽然，数据库的技术最初是为计算机设计，然而，在今日，许多特制的电子装置，例如交换器(switch)、网关器(gateway)、路由器(router)等等，都使用大小不同的数据库，以提供更具威
力的服务。在这些电子装置中，由于
硬件架构的特性，往往具有许多设计上的限制。
[0015] 因此，如何针对计算机及各种电子装置，妥善利用索引等概念，以设计出一种具有弹性，兼具数据存取效能的数据存取系统及方法，即为一件非常重要的工作。
发明内容
[0016] 因此，本发明目的的一是提供一种数据存取方法，借由此数据存取方法，有效率地存取储存于数据库中的数据记录。
[0017] 本发明的另一目的是提供一种数据库系统，其提供使用者一有效率的数据存取架构。
[0018] 本发明的再一目的是提供一种函数库，供使用者将此函数库整合于数据库系统中，以有效率地存取数据。
[0019] 依据本发明的较佳
实施例的数据存取方法，至少包括下列步骤：首先，依据数据存取要求(data access request)，参照一杂凑表(hash table)及一纪录指针数组(record indicator array)，以存取对应存取要求的至少一数据记录。
[0020] 如果无法透过上一步骤找到符合条件的数据记录，则参照至少一索引数组、至少一连结数组及前述的纪录指针数组以存取对应存取要求的至少一数据记录。
[0021] 纪录指针数组由纪录指针组成，每一纪录指针分别指向一笔数据记录。索引数组及连结数组则对应排序方法而组成。连结数组指出每一纪录指针依据排序方法所对应的下一个纪录指针，而索引数组则指出依据排序方法将数据记录分为一预定数目的子集合的起始纪录指针、终止纪录指针及数据个数，此起始纪录指针是各子集合的第一笔数据记录所对应的纪录指针；而终止纪录指针是指各子集合的最后一笔数据记录所对应的纪录指针；数据个数是各子集合的数据总数。
[0022] 本发明的另一实施例是将上述存取方法实作于数据库系统或函数库(function library)中。
[0023] 据此，本发明至少具有下列优点：首先，配合杂凑表可加速数据的查询速度；其次，当无法透过杂凑表查询数据时，透过索引数组可快速缩小查询的范围，然后再透过连结数组予以循序搜寻；第三，对于不同的索引及相对的排序方法，只要准备不同的索引数组及连结数组，而无须更动纪录指针数组；第四，此方法兼具效能与空间的考量，使用者能够依据需求，调整索引数组、杂凑表的大小而达到各种要求的平衡追求。
附图说明
[0024] 图1是例示数据库与储存媒体的关系；
[0025] 图2a是例示索引概念；
[0026] 图2b是例示索引概念；
[0027] 图3是例示依据本发明的实施例架构图；
[0028] 图4是例示实施例所需使用数据间对应图；
[0029] 图5a是例示数据间的连结关系图；
[0030] 图5b是例示数据间的连接关系图；
[0032] 图7a是绘示平衡程序状况；
[0033] 图7b是绘示平衡程序的另一状况；
[0034] 图7c是绘示平衡程序的另一状况。
[0035] 符号说明：
[0036] 102～数据表
[0037] 104～位序列
[0038] 106～储存媒体
[0039] 30～数据库系统
[0040] 322～存取要求
[0043] 328～第一储存媒体
[0044] 330～第二储存媒体
[0045] 332～至少一数据记录
[0046] 402～杂凑表
[0047] 404～索引数组
[0048] 406～纪录指针数组
[0049] 408～连结数组
[0050] 502～纪录指针数组范例
[0051] 504～索引阵范例
[0052] 506～连结数组范例
具体实施方式
[0053] 图3例示依据本发明的较佳实施例的数据库系统30。数据库系统30至少具有第一储存媒体328、储存媒体接口326、第二储存媒体330、及搜寻模块324。
[0054] 第一储存媒体(storage media)328，例如硬盘、光盘、磁带机、闪存(flash memory)、或是分布式储存系统(disributed storage system)，是用来存放数据库的数据记录(data record)。储存媒体接口(interface)326，是对应第一储存媒体328，当接收一纪录指针，例如某扇区的某相对地址，从第一储存媒体328读取并回传对应该纪录指针的数据记录332。换言之，储存媒体接口可为驱动程序等
软件、
控制器等硬件，或是各种能够接收纪录指针以回传对应的数据记录的软件与硬件的组合。
[0055] 第二储存媒体330，例如
存储器、硬盘等，是用来存放杂凑表(hashtable)、纪录指针数组(record indicator array)、至少一索引数组(index array)与至少一连结数组(link array)。必须指出的是，在实作时，第一储存媒体328与第二储存媒体330，亦可为同一硬件装置的不同部分，例如分别位于硬盘机的不同区域。
[0056] 搜寻模块324接收存取要求(access request)322，例如SQL的条件搜寻指令(search instruction)。并且，搜寻模块324依据存取要求322的内容，先读取存于第二储存媒体330的杂凑表及纪录指针数组，以找寻是否具有符合该存取要求的数据记录存在。假如找到一笔以上符合存取要求的数据记录时，便透过纪录指针数组中所存的纪录指针，利用储存媒体接口326，以存取第一储存媒体328中对应的数据记录332。
[0057] 相对地，假使无法透过杂凑表及纪录指针数组找到对应存取要求的数据记录，则进一步透过第二储存媒体330的索引数组、连结数组及纪录指针数组，以存取对应该存取要求的至少一笔数据记录。
[0058] 图4说明存于第二储存媒体330中的杂凑表402、索引数组404、纪录指针数组406、及连结数组408间的相对关系。
[0059] 纪录指针数组406存放由纪录指针组成的序列。借由这些纪录指针，可利用前述的储存媒体接口326，以存取第一储存媒体328对应这些纪录指针的数据记录(data record)。
[0060] 杂凑表402亦为一数组形式，其数组元素所存的数值指向纪录指针数组406的元素。并且，杂凑表402本身是依据存取需求322，使用杂凑函数进行计算以构成。举例来说，假设前述的存取要求322为“姓名”/“公司”/“年龄”三个属性的组合，则杂凑函数可为此三个属性的数值的加总除以杂凑表402的长度后，再取其余数。例如“A”/“B”/“23”取其对应的数值和(65+66+23)，并将的除以杂凑表402长度1024后，取余数为154，以作为杂凑函数值。
[0061] 经由杂凑函数算出来的值，即为杂凑表402的数组的索引(index)。例如前例“A”/“B”/“23”的存取需求322是对应杂凑表402的第154个元素，而借由此第154个元素的值可指向纪录指针数组406的特定元素，且借此纪录指针数组406的特定元素可进一步指向储存于第一储存媒体328中的特定数据记录。因此，使用杂凑表402在理想状态下，可于较短时间内找到对应存取要求的数据记录。
[0062] 如果无法透过杂凑函数在第一时间，于杂凑表402上找到对应存取要求322的元素，则可依预先设定规则，往后一预定距离寻找是否存在符合条件的元素，如果还是失败，则再往后一预定距离寻找所需元素。至于往后寻找的次数即为杂凑函数的层数(layer)。
[0063] 举例来说，下面为一个杂凑函数：
[0064]
[0065] HashIndex＝HashValue mod total_hash_nbr
[0066] HashIndexDepthi＝(HashIndex+(17*i))|Collision
[0067] HashValue[i]为杂凑函数值，Key为索引值或属性值，将HashValue除以杂凑表的大小total_hash_nbr后取余数即为杂凑表上的索引HashIndex。如果第一次无法在杂凑表上找到对应元素，则往相对距离后17个距离再试一次，在此例中，最多共试四次，也就是四层，如果都找不到，则停止使用杂凑表进行搜寻工作。
[0068] 由上可知，杂凑表的大小以及杂凑函数，与杂凑函数中往后寻找的层数，都会影响到是否可在杂凑表中找到所需数据的机会。虽然庞大的杂凑表与复杂的杂凑函数似乎较为理想，然而实际上因为成本以及运算复杂度的考量，并不宜将全部的搜寻工作交由杂凑表进行处理。
[0069] 当搜寻模块324无法透过杂凑表402找到所需的数据记录时，搜寻模块324便开始利用索引数组404、连结数组408、与纪录指针数组406，以继续寻找数据。
[0070] 索引数组404及连结数组408是针对一特定排序方法制成。并且，连结数组408指出纪录指针数组406每一纪录指针依据该特定排序方法所对应的下一个纪录指针。
[0071] 索引数组404是依据所对应的排序方法，将数据表中的数据记录分为多个子集合(subset)，并且在索引数组404指出多个子集合所涵盖的纪录指针的范围。此外，索引数组404亦指出于各子集合中数据记录的个数。
[0072] 举例来说，以姓名作为索引，并进行排序，可将所有数据记录分为开头字母为A-C，D-M，N-P，Q-Z四个子集合。在此例中，索引数组404的每个元素具有起始值、终止值与数据记录总数值三个数值，前二者用来界定索引的范围，而后者则用来指出此子集合的数据记录个数。
[0073] 图5a及图5b例示实作上述连结数组408及索引数组404的方法。在图5a中，纪录指针数组406的范例502具有六个元素，分别标号0到5，而各元素的内容则分别指向储存于储存媒体106的不同数据纪录。
[0074] 图5b例示索引数组404的范例504。在此图中，揭示了索引数组404中的一个数组元素，且此数组元素由三个部分组成，分别为“1”、“5”、“6”。其中“1”为此数组元素所对应的子集合的起始值，“5”为此数组元素所对应的子集合的终止值，而“6”则为此数组元素所对应的子集合的数据个数。
[0075] 此外，连结数组408的范例506与纪录指针数组406的范例502为一对一对应，且连结数组408的例子506的元素指出依据排序方法下一个纪录指针的
位置。
[0076] 举例来说，依据此连结数组408的范例506及索引数组404的范例504，得知此子集合自元素标号“1”开始，并且可得知纪录指针数组406的范例502，在上述的排序方法下，其排列为标号“1”，“3”，“4”，“0”，“2”，“5”的顺序。此是由于纪录指针数组406的范例502标号“1”的元素，所对应的连结数组408的范例506的元素是对应到标号“3”，而标号“3”的元素更进一步对应到标号“4”，故依此类推可得到全部的排列顺序。
[0077] 有了索引数组404，便可以使用二元搜寻(binary search)等方法，先找出待查索引值所落在的子集合。接着，再从该子集合的起始纪录指针处，配合连结数组408依序搜寻，以找出最后符合条件的数据记录。
[0078] 图6是一流程图，例示如何使用上述杂凑表402、索引数组404、纪录指针数组406，及连结数组408以达成数据存取及搜寻的工作。
[0079] 首先，依据数据存取要求，找寻杂凑表402(步骤602)。判断是否能从杂凑表402找到符合条件的数据(步骤603)。如果直接找到符合条件的纪录指针，就使用纪录指针存取相对的数据记录(步骤604)。如果在杂凑表402上未直接找到符合条件的纪录指针，也就是发生碰撞时，判断是否在预设层数内(步骤606)，例如之前所述的例子中，往后以预定距离最多搜寻三次。如果还在预设层数内，就找寻下一个位置(步骤608)，同样地，如果找到符合条件的纪录指针，就透过纪录指针存取数据(步骤604)。反之，则对索引数组404进行二元搜寻寻找对应的数据索引(步骤610)。判断是否能找到符合条件的数据(步骤611)。如果透过二元搜寻找不到对应数据，则表示该数据库不存在该笔数据(步骤618)。
反之，则循序搜寻连结数组408(步骤612)。判断是否能找到符合条件的数据(步骤613)。
如果循序搜寻找不到对应的纪录指针，亦表示数据库中无此数据(步骤618)。反之，则同样使用纪录指针数组406存取符合条件的的数据记录(步骤604)。
[0080] 此外，在上述的说明中，仅提到使用一个连结数组408与一个索引数组404。然而，依据不同的索引及排序方法的
选定，我们可以使用一个以上的连结数组408与索引数组404的组合。举例来说，当我们使用两种不同的索引及排序方法，例如图2a与图2b所示的情况，只需要再增加一个连结数组408与一个索引数组404，而不需改变纪录指针数组406与杂凑表402。
[0081] 并且，当数据库的数据因为数据的存取而发生变动，例如新增100笔数据。此时，亦只需要调整连结数组及索引数组，而无须更动杂凑表402。
[0082] 另外，虽然前述索引数组404能够大幅缩小搜寻的范围，然而其带来的效果与索引数组404各元素所代表的子集合大小有密切的关联。在较佳的情况下，这些子集合皆具有类似的元素个数，将能够达到空间与时间的最佳化。因此，下列的伪码供说明一平衡程序，使索引数组所代表的各个子集合的元素个数差值小于一预定值。
[0083] if index_element_nbrk＞N2，then
[0084] while |(index_element_nbri-average_element_nbr)＞N1
[0085] if index_element_nbri ＜ average_element_nbr，and(index_element_nbri+index_element_nbri+1)＜ ＝average_element_nbr，then indexi+1 is merged to indexi.
[0086] if index_element_nbri＜average_element_nbr，and
[0087] (index_element_nbri+index_element_nbri+1)＞average_element_nbr，then[0088] (average_element_nbr-index_element_nbri)elements are movedfrom indexi+1 to indexi.
[0089] if index_element_nbri＞average_element_nbr，then
[0090] (index_element_nbri-average_element_nbr)elements are splitto indexi+1.[0091] 在此平衡程序中，先寻找索引数组404是否有元素标号k的数据个数index_element_nbrk大于预定值N2。假如成立的话，开始进行1.1循环中的步骤(包括1.1.1，1.1.2，1.1.3)，直到所有索引数组404的元素的数据个数index_element_nbri与索引数组
404的元素的数据个数的平均值average_element_nbr相差皆小于N1。
[0092] 在1.1循环中，依据三种不同的状况分别采取不同的平衡程序。图7a、7b、7c例示此三种不同状况，其中圈圈的大小代表所对应子集合的元素的数据个数。
[0093] 在程序1.1.1，如图7a所示，索引数组404的第i个元素的数据个数index_element_nbri小于索引数组404的元素的数据个数的平均值average_element_nbr，并且索引数组404的第i个元素与第i+1个元素的数据个数的和小于等于索引数组404的元素的数据个数的平均值average_element_nbr。在此种状况中，将索引数组404的第i+1个元素合并到第i个元素。
[0094] 在程序1.1.2，如图7b所示，索引数组404第i个元素的数据个数小于索引数组404的元素的数据个数的平均值average_element_nbr，并且索引数组404的第i个元素与第i+1个元素的数据个数的和大于索引数组404的元素的数据个数的平均值average_element_nbr。在此种状况中，将(average_element_nbr-index_element_nbri)个数据从索引数组404的第i+1个元素移到第i个元素。
[0095] 在程序1.1.3，如图7c所示，索引数组404第i个元素的数据个数大于索引数组404的元素的数据个数的平均值average_element_nbr，此时将索引数组404第i个元素中的(index_element_nbri-average_element_nbr)数据分割到第i+1个元素。
[0096] 透过此类的平衡程序，即能使索引数组的元素个数的差值小于一预定值。换言之，整个数据存取的速度亦能得到最佳化的处理。
[0097] 前述的方法，除可实作成一个完整的数据库系统，亦可实作为函数库的产品。使用者可将函数库整合到原先的数据库，例如SQL server，ORACLE等数据库中。
[0098] 此类函数库的实施例可包含索引建立函数(index creationfunction)、数据存取函数(data access function)及索引维护函数(index maintain function)。索引建立函数接收复数笔数据及至少一排序方法作为参数，且依据此复数笔数据及排序方法产生前述的纪录指针数组、杂凑表、至少一索引数组，与至少一连结数组。数据存取函数接收一存取要求作为为参数，并依据数据存取要求，参照杂凑表及纪录指针数组，以存取对应存取要求的至少一数据记录。并且，当参照杂凑表及纪录指针数组未找到对应存取要求的数据记录时，参照索引数组、连结数组及纪录指针数组，以存取对应存取要求的至少一笔数据记录。此外，索引维护函数，是当调整索引数组时，进行一平衡程序，使索引数组的各元素保持平衡。
