HASG : Security and Efficient Frame for Accessing Cloud Storage
Shenling Liu l, Chunyuan Zhang l, Yujiao Chen 2
1Computer School, National University of Defence Technology, ChangSha, HuNan 410073，China
2 Information Centre, National University of Defence Technology, ChangSha, HuNan 410073，China
Abstract: StaaS (Storage as a Service) has been envisioned as the next generation architecture of IT enterprise. Enterprise, individual end users move more and more important information to outsourced data centers, where the data may be misappropriated in the malicious model. Moreover, users hesitate to store data in the cloud storage because of network fluctuation. Security and availability become the main concern of cloud storage. This paper, to address these issues, presents an architecture of High Available cloud Storage Gateway(HASG). In our design, data file is divided into implicit, redundant blocks by file fragment algorithm. Part of these blocks, which are stored on different designated cloud servers, can be used to reconstruct original file. Additionally, dynamic service provider selection algorithm and redundant block mechanism for file updating is proposed to effectuate cost and bandwidth savings and accelerate data accessing. Experimental results illustrates that our design enhanced security of cloud storage and improved data access efficiency.
Keywords: HASG; file fragment algorithms; dynamic service provider selection; redundant block mechanism
- Introduction
Cloud computing, a large-scale distributed and virtual machine computing infrastructure, developed rapidly in last decade. Meanwhile, the increasing network bandwidth and reliable yet flexible network connections make it even possible that clients can now subscribe high quality services of data and software that reside solely on remote data centers. Increased flexibility and budgetary savings driving companies to store data on Cloud storage for archiving, backup, and even primary storage of files [1,2]. With increasing of data on remote Servers, where the management of the data and services may not be fully trustworthy, user pay more attention on data security. Some Data leakage events, such as iCloud data interception, downtime of Amazons S3[3], aggravate the concerning to protect privacy stored on Cloud Storage.
To restore security assurances eroded by cloud environments, several basic approaches have been proposed to verify file security, these methods can be divided into two categories according to the realization of the principle. 1) Security auditing based on identification, user delegates identity and data verification to a trusted audit platform to ensure data access and modification, third party auditors (TPA) [3〜8] is the most widely used authentication scheme. Though these schemes can almost guarantee the simultaneous localization of data error, the data may be misappropriated by administrator of untrusted remote server. 2) Implicit storage security to data in online, part of researcher present data encryption to guarantee data security and availability [9~14]，reconstruction of the data usually requires more computational capabilities, meanwhile, data corruption and downtime of cloud server still cause inevitable data loss. File redundancy [15], which need mass more storage space, has raised to guarantee data availability.
Network speed fluctuation is another important factor affecting the use of cloud storage, to solve this problem, Cirtas, TwinStrata, Amazon and some other enterprise launches cloud storage gateway, which provides basic protocol conversion that makes incompatible technologies communicate with each other simply and makes cloud storage works as a local disk[16]. In addition, cloud storage gateway provides a certain size of cache, in which users can store frequently accessed data and accelerate cloud storage accessing. Though cloud storage gateway includes other features such as data compression, data encryption and de-duplication, data security and availability still based on cloud storage providers[17~19].
To overcome the deficiencies of cloud storage and improve availability of data stored on remote servers, In this paper, we explore a unification of the two approaches to remote file-integrity assurance in one High Available cloud Storage Gateway. The core of this scheme is file fragment algorithm based on IDA that we call FFA (File Fragment Algorithm). Data are partitioned into redundant portions and deposited on several available remote server respectively which auto-selected by Intelligent agent, a subset of the partition could brought together to recreate the original data. Intelligent agent monitors network speed fluctuation of remote server and auto-select the best server for improving transmission efficiency. Compare to current cloud storage accessing scheme, the main contribution of our design can be summarized as follows:
(1) HASG is a metadata and data separation architecture, which store fragmented data and metadata separately. Compared to third-party verification program, the user has more data Strong ability to control, only the data owner can get the meta-info and reinforces the ownership of the data.
(2) The security of cloud storage is enhanced by implicit storage in our design, file is divided into redundant partitions by File Fragment Algorithm and stored on different cloud storage, Compared with the existing encryption strategy, HASG presented in this paper enhances the data reliability and fault tolerance by redundant blocks and scatter storage. When a portion of cloud storage services cannot be accessed or part of blocks lost, as long as sufficient number of partitions are available, File Fragment Algorithm can be used to reconstruct original file.
⑶ We design a intelligence agent to dea
剩余内容已隐藏，支付完成后下载完整资料
HASG：用于访问云存储的安全高效框架
刘申玲1 ，张春元1， 陈玉娇2
- 国防科学技术大学计算机学院，湖南长沙410073
- 国防科学技术大学计算机中心，湖南长沙410073
摘要：StaaS(Storage as a Service 存储及服务) 已经被设想为IT企业的下一代体系结构。企业，个人最终用户将越来越多的重要信息移至外包的数据中心，这些数据可能在恶意模型中被盗用。此外，由于网络波动，用户不愿将数据存储在云存储中。安全性和可用性成为云存储的主要关注点。为了解决这些问题，本文提出了一种高可用云存储网关（HASG）的体系结构。在我们的设计中，数据文件通过文件片段算法分为隐式，冗余块。这些块的一部分（存储在不同的指定云服务器上）可用于重建原始文件。另外，提出了用于文件更新的动态服务提供商选择算法和冗余块机制，以实现成本和带宽节省并加速数据访问。实验结果表明，我们的设计增强了云存储的安全性并提高了数据访问效率。
关键字：HASG；文件碎片算法；动态服务提供商选择；冗余块机制
一． 介绍
在过去的十年中，云计算是一种大规模的分布式虚拟机计算基础架构。同时，不断增加的网络带宽和可靠而灵活的网络连接使客户现在甚至可以订阅仅位于远程数据中心的高质量数据和软件服务。灵活性的提高和预算的节省促使公司将数据存储在云存储中，以进行归档，备份甚至文件的主存储[1,2]。随着远程服务器上数据的增加（其中数据和服务的管理可能不完全值得信赖），用户将更加关注数据安全性。一些数据泄漏事件，例如iCloud数据拦截，Amazon S3的停机时间[3]，引起了人们对保护存储在Cloud Storage上的隐私的关注。
为了恢复被云环境侵蚀的安全保证，已经提出了几种基本的方法来验证文件的安全性，根据原理的实现，这些方法可以分为两个类别。 1）基于身份的安全审核，用户将身份和数据验证委托给受信任的审核平台以确保数据访问和修改，第三方审核员（TPA）[3〜8]是使用最广泛的身份验证方案。尽管这些方案几乎可以保证同时定位数据错误，但数据可能会被不受信任的远程服务器的管理员盗用。 2）在线隐式存储数据的安全性，部分研究者提出数据加密以保证数据的安全性和可用性[9〜14]，数据的重建通常需要更多的计算能力，同时，云服务器的数据损坏和停机仍然是不可避免的数据丢失。需要大量存储空间的文件冗余[15]已经提出来保证数据的可用性。
网络速度波动是影响云存储使用的另一个重要因素，为了解决此问题，Cirtas，TwinStrata，Amazon和其他一些企业推出了云存储网关，该网关提供了基本协议转换，使不兼容的技术可以相互通信。
简单，使云存储可以用作本地磁盘[16]。
另外，云存储网关提供一定大小的缓存，用户可以在其中存储经常访问的数据并加快对云存储的访问。
尽管云存储网关还具有其他功能，例如数据压缩，数据加密和重复数据删除，但数据安全性和可用性仍基于云存储提供商[17〜19]。
为了克服云存储的不足并提高存储在远程服务器上的数据的可用性，在本文中，我们探索了在一个高可用云存储网关中实现远程文件完整性保证的两种方法的统一。
该方案的核心是基于IDA的文件碎片算法，我们称之为FFA（文件碎片算法）。
数据被分为冗余部分，并分别存储在由智能代理自动选择的几个可用远程服务器上，该分区的子集可以集合在一起以重新创建原始数据。
智能代理监视远程服务器的网络速度波动，并自动选择最佳服务器以提高传输效率。
与当前的云存储访问方案相比，我们设计的主要贡献可以归纳如下：
（1）HASG是元数据和数据分离体系结构，它们分别存储分散的数据和元数据。
与第三方验证程序相比，用户拥有更多的数据控制能力，只有数据所有者才能获取元信息并增强数据的所有权。
（2）在我们的设计中，通过隐式存储来增强云存储的安全性，通过文件碎片算法将文件划分为冗余分区并存储在不同的云存储中，与现有的加密策略相比，本文提出的HASG增强了安全性。冗余块和分散存储的数据可靠性和容错能力。当一部分云存储服务无法访问或部分块丢失时，只要有足够数量的分区可用，就可以使用文件片段算法来重建原始文件。
⑶我们设计了一个智能代理来处理网关和云存储之间的数据传输，该代理可以根据当前网络速度动态选择不同的可能服务。
（4）本文设计了一种微数据更新算法。当文件的一小部分被修改时，代替替换所有块，而是使用附加的冗余分区来存储数据修改并减少存储和带宽使用。
二． 体系结构
本文介绍的高可用云存储网关（HASG）可作为混合云存储的代理。它提供了一套统一的API，即REST，供用户访问存储在各种远程公共云存储或私有云存储上的数据。
另外，HASG包括三个主要特征，例如数据片段，动态服务提供者选择和用于文件块更新的冗余块机制。同时，提出的模型具有强大的可伸缩性，可以作为大型Web服务或本地应用程序运行。
如图1所示，我们设计了一个高可用云存储网关的分布式体系结构，它由接口层，数据安全处理层，数据访问层和存储层组成。
2.1接口层
该层由用于用户的数据访问API和用于第三方应用程序的应用程序API组成。与使用NFS（网络文件系统）或CIFS（通用Internet文件系统）[20]的传统文件存储访问方法不同，我们设计的HASG接口类型是REST，我们使用URL定义资源和表示形式。为了方便使用，我们通过HTTP协议实现数据访问API，同时，通过UDP协议设计应用程序API。
该API集成了各种远程公共云存储API和私有云存储API，同时，数据用户无需连接到每个远程服务器即可访问数据，HASG API提供了管理远程数据的接口，就像管理本地数据一样。
2.2数据处理层
该层是HASG的关键，该层的主要目的是处理数据流并提供安全性内容方案。
数据安全处理层具有以下功能组件。
a）数据管理队列：消息队列是用户请求的缓冲区，所有来自存储API的文件流和操作命令都会推送到队列中，它与Task Dispatcher配合并按顺序启动请求。在HASG中，我们将请求分为两部分：一部分是存储数据在云上的请求，另一部分是从云中获取数据的请求。通过接口接收到的所有传入请求都经过区分和分类。存储请求由文件的元信息签名，等待执行的预定存储请求在队列中将被更新相同文件的新存储请求替换，这将减少云上的文件操作。提取请求将由Task Dispatcher直接处理并优先处理。
b）分配任务分配器：该组件基于操作类型和优先级将请求分配给任务节点，以进行进一步处理。包括请求处理逻辑的任务节点与数据访问层，本地文件系统，缓存和虚拟存储器协作以处理给定消息。任务节点作为线程运行，并部署在分布式计算节点上。
每个计算节点包含几个任务节点。我们可以调整数量以提高性能的并行性。对于不同的操作，群集上有两种任务节点，一种是片段任务节点，用于将文件转换为分区并存储在远程云服务器上。另一种任务节点是Reconstruct Task Node，它用于从云服务器获取所有分区并按分区重建文件。
结果处理器：我们使用统一的数据布局来表示所有任务节点的计算。结果应转换为最终用户和第三方应用程序可读的格式。 UDP消息转换文件为UDP流，可由第三方应用程序读取。 HTTP消息处理器为最终用户生成页面或进行进一步转发。
数据处理层提供了完整的数据碎片和数据重建模型，为远程安全存储数据提供了基础。它是无状态的，数据处理中的元数据存储在存储层中。
2.3存储层
该组件由NoSQL数据库和文件缓存组成。 NoSQL数据库提供了一种用于存储和检索元信息的机制，该机制以与关系数据库中使用的表格关系不同的方式建模，元信息是数据存储的关键，它包含文件分区之间的关系和云服务器。文件缓存利用本地文件系统为读取频率最高的文件设置缓冲区。
存储层基于可扩展的轻量级存储服务，因此它具有灵活的部署方法，可以部署在用户指定的安全区域中，例如受信任的安全服务器，甚至本地存储。
该安全策略将为用户提供最高的数据拥有优先权。
除了用户本人以外，没有其他人可以获取或共享他的数据。
2.4数据访问层
该层负责HASG与远程云服务器之间的连接，并负责自动选择最佳可用服务器进行存储。该层包含以下功能组件：
a）云存储注册：注册代理是平台使用的云服务器目录。用户要在其上存储数据的每个云都必须在Cloud Storage Register中注册，整个云信息包括用户的IP，用户名和密码。
b）Cloud Storage Monitor：此组件连接到已注册的每个云服务器，以测试其是否可用并检测带宽。从云服务器存储或获取数据时，它将自动选择最佳提供程序。
c）云存储API：主要目标是调用各种云存储的服务。它被设计为插件组件，在HASG上注册的所有云接口都被实现为插件。通过实现其接口，可以轻松支持新云。
三．核心算法与实现
在第2节中，我们介绍了每个组件的详细设计，如前所述，数据处理层和数据访问层是核心模块。本节我们讨论这些模块的设计规范。
3.1信息分散算法
信息分散算法（IDA）是一种由Michael O. Rabin于1989年提出的秘密共享技术，它是一种使用冗余来实现及时性和可靠性的通信协议。（n，m）信息分散算法的原理是将数字源转换为n个小数字文件（阴影），n个阴影中的任何m个接收都可以无损地重建源数据[21〜22]。
IDA是一种有效的数据通信算法。它不仅保证了通信的安全性，而且节省了存储空间和网络传输带宽。
3.2 FFA（文件片段算法）
在我们的设计中，隐式存储是一定的策略，可以保护云存储免受已知的恶意程序的攻击，这些恶意程序可能会让黑客窃取个人信息。本节我们讨论FFA的原理和实现，一种基于IDA的高效算法，并说明其如何提高云存储的安全性和可用性。
FFA中有两种文件操作，一种是文件编码，另一种是文件解码。
1）文件编码：为方便起见，我们假设平台提供了一组系统代码（n，m），用户可以自由选择，用户指定的代码（n，m）将是散布的参数码。
该数中的两个是舍入数，它们之间的关系是1 lt;m lt;n。变量n代表由原始文件F划分的文件碎片数。另一个变量m是重构的最低有效数，这意味着如果损坏的文件碎片数小于k（k = n-m），我们可以恢复原始文件。转换文件F的第一步是将其划分为不同的块，然后将原始文件转换为矩阵。
从文件到矩阵的转换的图形表示如图2所示。
其次，构造一个范德蒙矩阵A（n * m），矩阵的秩为
然后通过矩阵分散将原始文件分为n个部分
在结果矩阵R中
我们将矩阵R的一行合并为分散编码分区，总数为n，每个分区可以写为
2）文件解码：首先，我们从P1到Pn逐个从远程云服务器获取文件分区，特征值用于验证每个分区的数据完整性。经过验证的片段根据优先级称为Pi，然后得到一组分区R。
如果kgt; m，则该文件是可恢复的，我们从R中顺序选择m个片段，我们将其称为Rm
如公式5所示，Pj是A（n * m）和S（m * n）对应行的倍数，对于每个Pj（1 lt;j lt;m），我们从A（ n * m）并组成一个新矩阵A（m * m）。从很容易方程式2中获得下面方程式。
因为A的等级是m（等式1），所以Arsquo;（m * m）是平方范德蒙德矩阵，它是不可逆的，我们得到了主要结果：
如上所述，Sm * n是原始文件F的另一种表示，因此我们从m个分区中重建原始文件。
通过分散代码，文件在存储到多云之前先转换为加密块，从而防止了恶意管理员滥用私人数据并防止黑客窃取。
使用此方案，可以使用跨服务器冗余来确保F的完整性。与重复方法相比，总存储成本从n | F |降低至（n / m）| F |。
3.3动态服务提供商选择
网络速度波动是影响数据可用性的另一个重要因素，我们基于远程服务器的数据传输速度设计了一种动态的提供商选择策略。
1）数据存储：如第2节所述，数据访问层包括Cloud Storage Monitor，它可定期检测传输速度。假设注册提供商的数量为K，则定义提供商Pi的传输速度为Si（1 lt;i lt;k）。 FFA中的参数是（N，M），N是分区的总数，M是可用于重构的最小有效片段数。
我们将Bi定义为存储在指定提供程序i上的数据块数，如公式8所示：
Bi不是将数据切片随机分配给各种远程云服务器，而是与每个服务器的速度成正比。
为了确保文件块分布在不同的服务器上，当速度低于平均水平时，Bi会四舍五入。
2）数据下载：根据FFA，至少要有M个块对于重建原始文件是必不可少的，假设提供者Pi的当前速度为Si。我们定义了公式中的Bi，Bi表示应该从相应的存储提供者下载的块数。
当网络速度急剧波动时，可能会出现“ Si gt;gt; Si”时Bigt; Bi的矛盾，这意味着提供商Pi没有维护足够的文件块供下载。如果出现此问题，我们将使用以下算法来更正结果。因为M lt;N，所以必须退出Bjlt;Bj的集合j（1 lt;j lt;k，j i），根据Si将Bj= Bj从高扩展到低，直到
然后，我们获得参数Bjrsquo;（1 lt;j lt;k）以下载文件块并重新格式化原始文件。
3.4用于文件更新的
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[254326]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
