LoL最新赛事- 2025年最佳英雄联盟投注网站

　　[0002]随着个人数据量的增长，数据的容灾备份日益重要。日常生活中，灾难可能随时发生，断电，火灾、水灾，甚至是硬盘驱动器故障，都会使本地存储的所有数据遭受灭顶之灾。因此，用户需要选择远程备份或者将文件副本存在云存储中，使他们的数据免受灾难。在线备份服务基于互联网，可以对选定的文件自动备份。这些文件存储在云中，可以在任意时亥IJ，任意地点，任意终端进行访问。用户的工作环境呈现出混合多样、跨平台甚至跨地域的特点。例如，某些用户有在不同的时间段在不同的地点采用不同的方式(包括手机，笔记本和平板电脑等)收发同一个账户的邮件，或是访问、编辑同一个文件等等。

　　[0003]针对这一需求，为用户提供“云备份”服务的产品有不少，其中有针对特定数据类型的，如用于手机通讯录同步的，又如针对文本文件和图像文件(照片)备份和同步的；也有不限定备份对象，直接提供存储空间的类型的，例如dropbox，百度网盘等。但是，这些产品基本都是直接将用户数据打包上传至服务器，受限于客户端的接入带宽，备份性能较差。本发明提出一种方法，针对数据中心带宽远高于客户端接入带宽的情况，充分利用数据中心的高带宽，从Internet上其他位置获取数据加快备份速度。

　　[0004]在用户进行数据备份时，传统的数据备份技术会将所有需要备份的数据依次通过网络传输至数据中心。在备份的过程中，用户端的接入带宽是主要的瓶颈，以备份30GB的数据为例，在4Mbps的接入速度且不考虑其他因素影响的情况下，数据备份需要近18小时。如果在此期间用户还有其他使用网络的应用，备份时间会进一步加长。另外，由于带宽被备份应用占用，工作的效率将受到明显的影响。由于云数据中心服务对象多为个人用户，不同用户所备份的数据间存在一定的重复率，但是传统的备份方式并未针对这种情况进行优化处理，因此造成了传输带宽和存储空间的浪费。

　　[0005]事实上，仔细分析云存储环境下的备份方式以及终端用户的数据，会发现在这类应用场景中有如下的特点:1)用户备份的数据来源比较多样，相当一部分是来自互联网的公共资源，如音乐，视频，图片等。而且这类数据往往是只读的，用户很少会对这些数据进行编辑，即使编辑也是极少量的改动；2)用户数据改动范围具有局部性的特点，在一段时间内被改动的数据相对集中，分布的范围较小；3)数据中心具有较高的网络带宽，可以保证充分利用用户端带宽的基础上从其他站点获取数据。

　　[0007]为了解决云存储系统的数据备份方法效率低的技术问题，本发明提供一种云存储系统的数据备份加速方法。该方法在数据中心利用网络爬虫程序定期从其他网络节点上下载数据并按块计算数据的哈希值，通过对客户端和数据中心各个数据块以相同的方法计算哈希值；在进行数据备份之前根据这些哈希值对客户端数据进行重复数据删除处理；在备份过程中，通过哈希值的比较，在数据中心已有数据和云端数据中查找与客户端重复的数据，进一步压缩需要从客户端复制到数据中心的数据量，同时根据对比的结果，利用数据中心的高带宽和云端数据的共享性，在客户端向数据中心备份数据的同时，从云端的网络节点向数据中心进行数据备份，使指定用户同数据中心之间通过网络传输的数据量降到最低，进而加速数据备份并有效地提高数据中心的存储利用率。

　　[0013](3)云端处理。目标端在完成系统初始化后，利用空闲的计算资源和带宽，定期由备份服务中的数据获取功能组件采用网络爬虫的方法根据一定的规则在云端获取数据信息并计算相应的哈希值，将相应的云端位置、源端和云端哈希值的映射关系等数据备份所必需的基本信息收集后传回目标端。爬虫程序获取的各个数据块的哈希值信息记录，若系统中的忽略列表不为空，则先在该表中查找，若找到匹配的项目，则停止当前数据块信息记录的处理，取下一条记录进行处理；否则与目标端的全局哈希表中的项目进行比较，当一个数据块的哈希值找到匹配的项目时，将相应的信息存入一个忽略列表，否则存入网络哈希表。若网络爬虫程序在不同的网络站点上获得了相同的数据哈希值信息，则根据优先原则选择2-3个最优的结果保存到网络哈希表中。

　　[0014]步骤三、当源端发出备份请求时，源端组件先根据所有需要备份的数据块的各条哈希值信息记录生成源端的原始备份计划表，并发送到目标端；目标端的特征码管理组件将原始备份计划表中的记录逐条在对应的网络哈希表和本地哈希表中进行查找，根据查找结果进行相应的处理并生成实际备份计划表。实际备份计划表中有三个级别的子表，在未进行查找前，所有数据块的哈希值信息记录都存入第一级表中，其余两个子表均为空。在匹配查找的过程中，如果数据块A的哈希值记录在网络哈希表中找到匹配的记录，则将A对应的哈希值记录从第一级子表中删除，同时从网络哈希表中将相应的哈希值记录复制到第二级子表中，并将此条记录从网络哈希表中删除；类似的若A的哈希值信息记录在本地哈希表中找到匹配的项目，则将该数据块的哈希值记录从第一级子表中删除，将本地哈希表中对应的哈希值记录复制到第三级子表中，并删除本地哈希表中对应的信息记录。查找过程结束后，实际备份计划表的第一级子表中的内容全部来自原始备份计划表，第二级子表中的内容来自网络哈希表，第三级子表的内容来自本地哈希表。

　　[0015]步骤四、数据复制处理。目标端备份管理服务将根据备份计划表实施具体的数据复制处理。第一步，处理第一级子表。根据表中记录将每个数据块从源端复制到目标端，当完成一块数据的复制时，将实际备份计划表中对应的哈希值信息记录删除，并将该数据块复制后的相应信息存入第三级子表，同时更新目标端的全局哈希表。第二步，处理第二级子表。根据表中记录将每个数据块从云端的网站复制到目标端，每当完成一块数据的复制时，将对应的信息记录从备份计划表中删除并在忽略列表加以保存，然后将该数据块复制后的相应信息存入第三级子表并同时更新全局哈希表。在第三级子表中的哈希值信息记录表明对应的数据块已经在目标端，不需要再做数据复制处理。

　　[0017]本发明的有益效果是:该方法在数据中心利用网络爬虫程序定期从其他网络节点上下载数据并按块计算数据的哈希值，通过对客户端和数据中心各个数据块以相同的方法计算哈希值；在进行数据备份之前根据这些哈希值对客户端数据进行重复数据删除处理；在备份过程中，通过哈希值的比较，在数据中心已有数据和云端数据中查找与客户端重复的数据，进一步压缩需要从客户端复制到数据中心的数据量，同时根据对比的结果，利用数据中心的高带宽和云端数据的共享性,在客户端向数据中心备份数据的同时,从云端的网络节点向数据中心进行数据备份，使指定用户同数据中心之间通过网络传输的数据量降到最低，进而加速数据备份并有效地提高了数据中心的存储利用率。

　　[0038](3)云端处理。目标端在完成系统初始化后，利用空闲的计算资源和带宽，定期由备份服务中的数据获取功能组件采用网络爬虫的方法根据一定的规则在云端获取数据信息并计算相应的哈希值，将相应的云端位置、源端和云端哈希值的映射关系等数据备份所必需的基本信息收集后传回目标端。爬虫程序获取的各个数据块的哈希值信息记录，若系统中的忽略列表不为空，则先在该表中查找，若找到匹配的项目，则停止当前数据块信息记录的处理，取下一条记录进行处理；否则与目标端的全局哈希表中的项目进行比较，当一个数据块的哈希值找到匹配的项目时，将相应的信息存入一个忽略列表，否则存入网络哈希表。若网络爬虫程序在不同的网络站点上获得了相同的数据哈希值信息，则根据优先原则选择2-3个最优的结果保存到网络哈希表中。[0039]步骤三、当源端发出备份请求时，源端组件先根据所有需要备份的数据块的各条哈希值信息记录生成源端的原始备份计划表，并发送到目标端；目标端的特征码管理组件将原始备份计划表中的记录逐条在对应的网络哈希表和本地哈希表中进行查找，根据查找结果进行相应的处理并生成实际备份计划表。实际备份计划表中有三个级别的子表，在未进行查找前，所有数据块的哈希值信息记录都存入第一级表中，其余两个子表均为空。在匹配查找的过程中，如果数据块A的哈希值记录在网络哈希表中找到匹配的记录，则将A对应的哈希值记录从第一级子表中删除，同时从网络哈希表中将相应的哈希值记录复制到第二级子表中，并将此条记录从网络哈希表中删除；类似的若A的哈希值信息记录在本地哈希表中找到匹配的项目，则将该数据块的哈希值记录从第一级子表中删除，将本地哈希表中对应的哈希值记录复制到第三级子表中，并删除本地哈希表中对应的信息记录。查找过程结束后，实际备份计划表的第一级子表中的内容全部来自原始备份计划表，第二级子表中的内容来自网络哈希表，第三级子表的内容来自本地哈希表。

　　[0040]步骤四、数据复制处理。目标端备份管理服务将根据备份计划表实施具体的数据复制处理。第一步，处理第一级子表。根据表中记录将每个数据块从源端复制到目标端，当完成一块数据的复制时，将实际备份计划表中对应的哈希值信息记录删除，并将该数据块复制后的相应信息存入第三级子表，同时更新目标端的全局哈希表。第二步，处理第二级子表。根据表中记录将每个数据块从云端的网站复制到目标端，每当完成一块数据的复制时，将对应的信息记录从备份计划表中删除并在忽略列表加以保存，然后将该数据块复制后的相应信息存入第三级子表并同时更新全局哈希表。在第三级子表中的哈希值信息记录表明对应的数据块已经在目标端，不需要再做数据复制处理。

　　[0047]②源端在哈希表初始化生成完毕后进行重删处理，当在哈希表中数据块A和数据块B对应的哈希值信息记录中的哈希值相同时，数据块B对应哈希值信息记录的“起始地址”字段，将记录数据块A在哈希表中对应的哈希值记录的“块号”字段的值。同时，数据块B的“引用次数”字段置值为0，数据块A的“引用次数”字段的值要+1。[0048]③目标端获取到云端数据块的哈希值信息记录时，先在忽略列表中查找是否有匹配的记录，如果找到则停止对当前记录的处理，进入下一条哈希值信息记录的处理，否则便继续到全局哈希表中查找，如果找到匹配的哈希值记录，则将对应的信息存入忽略列表，若未找到匹配的记录则将当前的哈希值信息存入网络哈希表。

　　1.一种云存储系统的数据备份加速方法，其特征在于包括以下步骤: 步骤一、确定系统中各个节点和子系统所承担的角色，并根据角色的不同，安装相应的功能组件，以配合角色完成备份过程中的对应处理； 步骤二、在源端首次发出备份请求之前，进行特征码预处理； (1)源端处理；首先，特征码管理组件对源端的数据分块进行哈希值的计算并生成哈希表，根据该表与自身的匹配查找，对源端的数据进行重删处理，即将重复出现的哈希值用指向第一次出现该哈希值的数据块的位置信息进行替换，同时对数据本身存储和对应的元数据也做相应的处理；然后，将完成重删处理的哈希表传送到目标端的特征码管理组件，该表即为源端哈希表； (2)目标端处理；目标端对本数据中心内部的数据进行哈希值计算，生成目标端的全局哈希表，表中保存做重删处理后的最终结果；将该全局哈希表同源端哈希表进行比较，把哈希值匹配的项目集中起来，生成本地哈希表，并在源端、目标端的数据发生修改、删除等变化时加以维护； (3)云端处理；目标端在完成系统初始化后，利用空闲的计算资源和带宽，定期由备份服务中的数据获取功能组件采用网络爬虫的方法根据一定的规则在云端获取数据信息并计算相应的哈希值，将相应的云端位置、源端和云端哈希值的映射关系等数据备份所必需的基本信息收集后传回目标端；爬虫程序获取的各个数据块的哈希值信息记录，若系统中的忽略列表不为空，则先在该表中查找，若找到匹配的项目，则停止当前数据块信息记录的处理，取下一条记录进行处理；否则与目标端的全局哈希表中的项目进行比较，当一个数据块的哈希值找到匹配的项目时，将相应的信息存入一个忽略列表，否则存入网络哈希表；若网络爬虫程序在不同的 网络站点上获得了相同的数据哈希值信息，则根据优先原则选择2-3个最优的结果保存到网络哈希表中； 步骤三、当源端发出备份请求时，源端组件先根据所有需要备份的数据块的各条哈希值信息记录生成源端的原始备份计划表，并发送到目标端；目标端的特征码管理组件将原始备份计划表中的记录逐条在对应的网络哈希表和本地哈希表中进行查找，根据查找结果进行相应的处理并生成实际备份计划表；实际备份计划表中有三个级别的子表，在未进行查找前，所有数据块的哈希值信息记录都存入第一级表中，其余两个子表均为空；在匹配查找的过程中，如果数据块A的哈希值记录在网络哈希表中找到匹配的记录，则将A对应的哈希值记录从第一级子表中删除，同时从网络哈希表中将相应的哈希值记录复制到第二级子表中，并将此条记录从网络哈希表中删除；类似的若A的哈希值信息记录在本地哈希表中找到匹配的项目，则将该数据块的哈希值记录从第一级子表中删除，将本地哈希表中对应的哈希值记录复制到第三级子表中，并删除本地哈希表中对应的信息记录；查找过程结束后，实际备份计划表的第一级子表中的内容全部来自原始备份计划表，第二级子表中的内容来自网络哈希表，第三级子表的内容来自本地哈希表； 步骤四、数据复制处理；目标端备份管理服务将根据备份计划表实施具体的数据复制处理；第一步，处理第一级子表；根据表中记录将每个数据块从源端复制到目标端，当完成一块数据的复制时，将实际备份计划表中对应的哈希值信息记录删除，并将该数据块复制后的相应信息存入第三级子表，同时更新目标端的全局哈希表；第二步，处理第二级子表；根据表中记录将每个数据块从云端的网站复制到目标端，每当完成一块数据的复制时，将对应的信息记录从备份计划表中删除并在忽略列表加以保存，然后将该数据块复制后的相应信息存入第三级子表并同时更新全局哈希表；在第三级子表中的哈希值信息记录表明对应的数据块已经在目标端，不需要再做数据复制处理； 步骤五、差分备份处理；在完成初次处理的全备份后，系统将按照一定的时间间隔进行定期的差分备份；差分备份的备份计划表是在两次备份处理的间隔中由每一次的源端数据更新触发的哈希 表更新直接更新至实际备份计划表积累产生的。