海绵城市云地理数据库的设计与实现外文翻译资料

英语原文共 15 页，剩余内容已隐藏，支付完成后下载完整资料

海绵城市云地理数据库的设计与实现

摘要：为海绵城市构建云地理数据库对于整合分散在各个部门的地理空间信息并且实现多用户、高并发的访问和检索、高可扩展性和可用性以及高效存储和管理都至关重要。在这项研究中，利用Hadoop分布式计算框架，包括Hadoop分布式文件系统和MapReduce（mapper和reducer），首先设计了一个并行计算框架来处理海量空间数据。然后，又设计了一系列用于不同功能的标准应用程序编程接口的访问控制，包括空间数据存储层，云地理数据库访问层，空间数据访问层和空间数据分析层。随后，设计了检索模型，包括通过文件名直接寻址，三级并发检索和块数据检索策略。这就实现了基本功能，包括实时并发访问，高性能计算，通信，海量数据存储，对多尺度，多源和大规模空间数据的高效检索和调度决策。最后，验证了Hadoop云地理数据库的性能，并与Oracle数据库的性能进行了比较。海绵城市的云地理数据库可以避免人员，硬件和软件的冗余配置，支持数据传输，模型调试和应用程序开发，并提供准确，实时，虚拟，智能，可靠，弹性可扩展，动态和需要云服务的基本和专题地理信息的海绵城市建设和管理。

关键词：云地理数据库 海绵城市 Hadoop 并发检索

1. 介绍：

目前，快速城市化改变了城市土地利用格局和水文机制，增加了城市的不透水面积。 这些变化恶化了小气候环境，缩短了洪峰时间，增加了地表径流，峰值流量，径流污染和涝渍风险，减少了地下水补给量和地表拦截量。中国大力建设海绵城市来解决上述“城市病”。海绵城市指的是像海绵一样的城市，它具有一定的灵活性以应对自然灾害和环境变化。海绵城市是低影响发展（LID）的建筑模型，用于自然渗透，自然积累和自然净化。 海绵城市的雨水在雨季渗透，储存，吸收和净化，然后储存的雨水在干燥季节释放和利用。

生物沼泽，绿化屋顶，雨水花园等海绵体的空间布局是决定海绵城市效率的最重要因素。海绵体的最佳空间布局可以提高海绵城市的整体性能，资金利用率和运行效率。然而，在优化海绵体的空间布局期间涉及大栅格数据包括数字高程模型，遥感图像和土地利用。排水数据包括市政管网，排水节点和进水节点。量的空间数据和属性数据。矢量数据包括行政 边界，地形，道路和建筑物。土地利用数据包括土壤，植被，河流和湖泊，流域和涝渍区。水文资料包括渗透率，地下水位，不透水面积，人工系数，蓄积量，侵蚀系数和侵蚀指数。污染数据包括污染物的最大累积和主要污染物的分布。气象数据包括温度和降水。属性数据包括水文和水力参数，LID设施参数，供水，用水需求和建筑成本。

所有这些数据将从TB级别存储到PB级别。同时，这些数据将分布在海绵城建设总部，建设局，规划局，水利局，气象局，遥感测绘研究所和国土资源局等各部门之间。数据量大，多尺度，多类型，多源和时空，因此难以同时访问，处理和计算。为海绵城市构建云地理数据库可以解决这些问题。云地理数据库可以集成分散在各个部门的地理空间信息，用于海量的数据处理和多用户高并发访问。

目前已经开发出了很多云地理数据库例如：Database as a Service、geoprocessing-tools-for-hadoop、MongoDB、亚马逊关系数据库服务、Building information models (BIMs)、GeoCouch、SpatialHadoop、GRIDDBLite、TerraFly GeoCloud、RDB-KV CloudDB、Geopot、Cloud-based geographic information system (GIS) 和 GeoMPP。云地理数据库随着云计算技术需求的增加而发展，如海量数据存储空间，快速数据检索和处理以及高数据安全性。 云地理数据库已应用于各种领域，如表1所示。

根据上述云地理数据库的应用领域和软件类型，云地理数据库尚未应用于海绵城市的空间数据存储，MapReduce，检索和访问，以优化海绵体的空间布局。因此，本文的目的是设计并实现一个云地理数据库，为最佳空间提供准确，实时，虚拟，智能，可靠，弹性可扩展，动态和按需的基本和主题地理信息云服务的海绵体的布局

在这项研究中，Hadoop分布式计算框架包括一个主设备和多个从设备，首先使用虚拟化技术，geohash碎片，并行计算和跨平台面向服务的WebService架构进行设计。然后实现海绵城市的云地理数据库访问，包括空间数据存储层，云地理数据库访问层，空间数据访问层和空间数据分析层。还使用通过文件名，三级并发检索和块数据检索技术的直接寻址来构建检索模型。最后，实现并验证了海绵城市的云地理数据库。结果表明，海绵城市的云地理数据库可以支持数据传输，模型调试和应用程序开发。它还可以通过高性能计算和通信存储和检索海量数据。

2 Hadoop的分布式计算框架

海绵城市的云地理数据库是使用Hadoop分布式计算框架构建的。MongoDB用于保存hadoop分布式文件系统（HDFS）中设置的地理数据的详细信息。建设总部的服务器和与海绵城有关的其他部门被抽象为物理资源，如中央处理单元（CPU），内存，磁盘。可以使用虚拟化技术将这些物理资源动态管理到逻辑资源池中。海绵城市的云地理数据库采用主从式架构。海绵城市建筑总部的服务器是主要的中心。他们主要负责接收和解析生产订单，结果反馈，任务调度以及数据分配和服务门户。门户网站可以提供云存储服务，生产服务和数据服务。主中心还接受云注册，保留云信息列表，收集查询结果并使用每个从属中心的缩略图和元数据。从属云是建设局，规划局，水利局，气象局，国土资源局和遥感测绘研究所的服务员。他们主要负责任务执行和海量数据存储。

利用geohash碎片方法实现空间数据的并行导入功能，提高空间查询和并发访问性能。Geohash是一种地理编码方法，可根据精度要求将经度和纬度的二维坐标转换为字符串

通过使用主服务中心和从服务中心之间的WebService的跨平台面向服务的体系结构，构建用于数据通信和共享的通信框架。它为云地理数据库提供外部服务接口，例如查询，下载和上载。该框架可以直接实现数据和信息之间的互操作性，还可以在不同的操作系统用户之间集成和共享数据。

Hadoop是Google FileSystem的开源编程。Hadoop可以跨计算机集群处理大量数据集，并广泛应用于许多领域，如图形处理，机器学习和行为模拟。它可以从单个服务器扩展到很多机器。Hadoop提供了一个云平台软件，该平台软件具有并行计算框架，包括HDFS和MapReduce，用于处理海量空间数据。Hadoop利用集群的高运算速度和海量数据存储。同时，它为用户隐藏了并行计算，数据分发和故障处理的底层分布式细节。HDFS定位Hadoop框架HDFS部署在低成本硬件上。它可以将HDFS文件中的数据划分为tile数据，然后将tile数据存储在Hadoop的每个DataNode上。的底层部分，并以二进制流形式访问文件系统数据，具有高吞吐量和高容错性。MapReduce是一个并行计算框架，可为HDFS实施的数据密集型应用程序的批量工作负载生成和处理大型数据集。它可以将计算工作分成小段，并在数百台不同的机器之间分配这些段，以确保数据的可靠性。

MapReduce计算由映射阶段（Mapper）和Reduce规范阶段（Reducer）组成。在映射阶段，通过利用Map函数输入一组键值对，以生成一组中间结果lt;Key，Valuegt;。MapReduce的每个DataNode在默认配置下都有一个Mapper。每个Mapper都将DataNode中的拆分文件数据作为Map函数的键值对读取，其中key是默认的行号，value是一个字符串。该值包含所有维度的层次结构和计算度量。Map函数根据维度和层次结构描述拆分字段。新字符串形成输出键值对的键，而字符串计算度量值是输出键值对的值。同时，MapReduce计算模型根据键对映射阶段输出的中间键值对进行排序和分组。然后，模型生成中间数据lt;key，list（value）gt;作为Reduce阶段的输入。

在Reduce规范阶段，Reduce函数用于聚合和简化Mapper的中间结果。将所有中间数据lt;key，list（value）gt;输入到Reduce函数中，然后迭代，直到累积了与每个键对应的一组值和字段。 重新构造新字符串作为从Reducer输出的键值对的值

Hadoop MapReduce模型的键值对可以将关系数据库中的关系数据转换为结构数据，以增强Hadoop云地理数据库与Oracle关系数据库的互操作性。首先，根据关联关键字，使用笛卡尔积计算所有维度和度量关系数据集。每个维度表都与事实表连接以生成新数据集。其次，HDFS中新数据集的每一行中的数据形成一个字符串，作为从MapReduce模型的Map函数输入的键值对的值。行号是键值对的键。最后，通过Map操作从值中提取尺寸以形成新的字符串，这是Reducer的关键。将删除值中包含的所有维度的信息。计算度量用作Reducer的值。

3云地理数据库访问设计

云地理数据库访问是海绵城市云地理数据库应用程序的重要组成部分。它主要包括空间数据存储层，云地理数据库访问层，空间数据访问层和空间数据分析层。 每一层都为不同的功能提供了一系列标准的应用程序编程接口（API）。云地理数据库的功能被抽象并打包到引擎中，以屏蔽多源异构数据库之间的差异，并为应用层提供统一的数据访问接口。 图1显示了云地理数据库访问的体系结构设计。

3.1空间数据存储层

空间数据存储层位于云地理数据库访问的底层。它由许多存储引擎组成，例如Oracle关系数据库的存储过程，触发器和视图，以及用于海绵城市的Hadoop云地理数据库。Oracle关系数据库存储少量实时数据。它还可以存储可以直接参与模型计算的数据，例如属性数据，元数据，水位和水质。基于Hadoop的海绵城市云地理数据库存储大规模栅格和矢量数据集。然后，使用MapReduce计算模型对云地理数据库中的海量数据进行分段，聚合，清理和优化。它生成相对较小的有序数据集，以满足大量用户的高并发访问需求。

研究中存储节点的存储空间分为几个可视磁盘空间（VDS）。VDS与阿拉伯数字相邻编码。它提高了海绵城市云地理数据库的并行访问和带宽利用率，并屏蔽了分布式数据库的计算机硬件细节。硬件配置信息在云中是透明的。

根据一些矢量或栅格图块数据属性建立图块文件和VDS之间的映射关系，如下所示：E=(Ir Ic)Mod Nmax 其中E是VDS编码的瓦片数据。Ir和Ic是图块数据的行号和列号。Mod是模运算符。Nmax是VDS的总数。数字存储在VDS中，以根据行主要顺序对它们进行排序。

空间数据分区的目的是通过空间层次对空间维度表进行水平分段，并根据空间接近度复制云地理数据库的其余表以进行并行处理。数据分区的起点是具有大量粒度的空间数据，以避免空间数据冗余。云节点必须存储具有大量精细粒度级别的空间数据实例。设数据集D = {cup;I= 1 ... I，s i}，其中我定义了分区数，si是第i个非重叠子集。云节点集N = {n1，n2，...，n j ...}，其中nj是第j个云节点。H1le;H2le;...le;Hn是空间数据的层次结构，实例分别是{h11，h12 ...}，{h21，h22 ...}，...，{hn 1，hn 2 ...}，其中H1是大的粒度和Hn是精细的粒度级别。 H1的一个或多个实例{h11，h12 ...}存储在云节点nj（nge;1）中。 H1（kge;1）的每个实例h1k和与h1k相关的所有实例hlk（lgt; 1和kge;1）存储在相同的云节点nj中。

上述数据块方法可以实现空间数据的快速定位和灵活调度。空间数据被划分为具有唯一标识符的图块。针对包含在数据块中的地理目标建立地理目标水平指数，以实现空间数据的多级索引。每个空间数据块被压缩，序列化，然后以二进制流形式作为表格单元存储在HDFS中。基于矢量或栅格目标记录存储和组织瓦片数据，并且该块用作压缩的单元。冗余属性数据存储在Oracle关系数据库中，包括层描述表，空间数据表，地图表信息表及其版本和属性信息表。存储在Hadoop云地理数据库中的空间数据用于负载显示和空间查询，而存储在Oracle关系数据库中的属性数据用于支持属性查询。该方法提高了数据存储粒度和加载速度以及地图显示和空间查询性能。

全文共17707字，剩余内容已隐藏，支付完成后下载完整资料

资料编号：[139]，资料为PDF文档或Word文档，PDF文档可免费转换为Word

您可能感兴趣的文章

• 大陆及全球范围下土地利用变化的一种集成建模方法外文翻译资料
• 泰国登革出血热时空分布格局及其气候驱动因素研究外文翻译资料
• 土地覆盖变化或土地利用集约化：利用全球范围的土地变化模型模拟土地系统变化外文翻译资料
• 基于MODIS数据利用生物光学模型估算伊利湖水域 二类水体的叶绿素a浓度外文翻译资料
• 杭州师范大学仓前校区测绘控制网设计研究外文翻译资料
• 对公共交通用户在持续数周活动序列中模式的推断外文翻译资料
• 基于场景的城市可持续性建模，重点关注快速城市化下的耕地变化：杭州1990-2035年的案例研究外文翻译资料
• 基于多尺度面向对象分类和概率霍夫变换的高分辨率图像建筑物提取外文翻译资料
• 长江流域年径流变化及其与降水和气温的关系外文翻译资料
• 气温的时空分布特征分析外文翻译资料