数据库物理模型

设计物理数据库模型的目标是根据所选Oracle数据库系统的特点以及航空地球物理数据管理和管理的业务处理需求,确定航空地球物理数据库的最佳物理环境、访问方式和存储结构。
服务。
即通过数据库的物理设计,使数据库中执行的各种事务的响应时间短、存储空间利用率高、事务吞吐率高,从而实现物理数据库结构的优化。

1.数据库布局

航空地球物理信息系统维护数据(部门、岗位、人员、人员权限、数据入库检验规则和数据字典等)相对稳定。
数据在保存到数据库之前必须经过各种检查和更正。
确认数据无误后,才可以归档存储到航空地球物理数据数据库中,需要进行修改和删除,相对变化较大。
数据数据库中存储的数据一般不得更改或删除,以免因误操作而损坏数据库数据。

图2-12机载物探数据库逻辑模型

图2-13航空物探数据库布局及数据采集流程图

据此,我们采用图2-13所示的数据库数据采集流程,将航空物探数据库划分为一个数据采集​​数据库、数据数据库和系统维护数据库分别进行存储和管理,实现数据的统一管理和统一使用以及方便数据存储和易于维护等。

航空物探数据数据库是所有航空地球物理数据的最终存储位置。
数据采集​​数据库是数据归档存储到数据数据库之前的临时“集散中心”。
它在这里接收各种检查,确认数据正确后将其归档到数据数据库中,然后删除数据数据库数据采集数据库中的归档数据。
此外,数据采集数据库还存储数据存储、维护、检查日志和归档记录。

系统维护数据库存储系统维护信息(如系统功能、数据库表列表等)、安全信息(如信息系统用户角色、权限、授权的系统功能等)、机载地球物理数据的分离有利于系统的维护和管理。

2.数据库空间设置

数据库空间设置包括磁盘空间设置、应用系统表空间设置、undo空间设置、临时表空间设置、日志空间设置和索引空间设置。

(1)磁盘空间设置

磁盘空间设置的目标:磁盘性能不能妨碍数据库性能的实现。
数据库磁盘必须保留用于数据库文件,否则不保留。
数据库影响数据库性能,存储空间必须满足恢复和性能要求。

空气地球物理数据库服务器为IBMP620小型机,8块硬盘,每个硬盘36GB存储空间,每个物理硬盘建立文件系统。
为了提高磁盘的响应时间和寻道时间,提高I/O访问效率,其余7块磁盘,除1块用于UNIX操作系统的磁盘外,分别存放数据采集数据库和系统维护数据库日志文件、数据数据库和大字段数据、索引、回滚段和数据数据库数据日志文件。

(二)应用系统表空间设置

在信息系统的数据采集过程中,数据事务操作比较常见,插入(向数据库中新增数据)和数据的修改((数据错误)和删除操作(将数据重新导入或归档到数据库中)操作频繁,因此机载地球物理数据采集数据库所在的表空间非常活跃为了不影响I/O争用,同时也为了提高数据存储的运行效率(需要将50年以上的历史数据存储在中央数据库中),分配了一块磁盘空间(36GB)作为表存储采集数据库空间如果采集的数据归档到数据库后被删除,并且数据库中同时存储的项目不多,但仍保留所有采集的日志数据,则1个存储空间就足够了。

航空地球物理数据数据库的二维表和Oracle大型字段(BLOB)存储在各种物理磁盘上每个磁盘36GB)。
对于同时包含表数据和大字段数据(如轨道线数据)的数据库表,可以提高磁盘I/O效率。
随着数据库中存储的数据越来越多,需要添加相应的物理磁盘或磁盘阵列。

系统维护数据库比较稳定,占用磁盘空间约500MB。
由于系统盘有限,日志文件就存放在该盘上。

(3)Undo表和临时表空间设置

在Oracle数据库中,undo的目的是保证事务的回滚和恢复。
撤消参数是UNDO_MANAGEMENT、UNDO_TABLESPACE和UNDO_RETENTION。

UNDO_MANAGEMENT参数用于管理数据库中的undo数据,航空地球物理数据库设置为自动模式(Auto)。

UNDO_TABLESPACE参数用于指定数据库中存储undo数据的undo表空间的名称。
航空地球物理数据库的undo表空间名称为UNDO_ARGS_TBSPACE,磁盘空间大小设置为20GB,以保证保留期内恢复。

UNDO_RETENTION参数用于指定已提交事务的undo数据在被覆盖之前应保留多长时间。
该数据库系统设置为60分钟。

临时表空间用于存储大量排序,undo表空间存储在物理磁盘上。
该数据库系统的临时表空间设置为500MB。

(4)日志空间设置

日志的主要作用是记录对数据库进行的所有操作。
如果系统出现故障并且更改的数据没有可以永久写入数据文件,可以使用日志来检索更改,从而使现有的操作结果不丢失。

日志文件主要用于保护数据库免受故障影响。
为了防止日志文件本身失效,航空物探数据库系统将日志文件存储在独立的磁盘或系统维护库磁盘上。
如果系统出现故障,Oracle数据库系统会在下次打开数据库时自动使用日志文件中的信息来恢复数据库文件。

根据同时登录航空地球物理数据库信息系统的用户数量和使用的功能,日志文件大小设置为10GB。

(五)索引表空间设置

为了提高航空地球物理信息系统的查询和统计速度,所有索引空间与应用表空间完全分离,以提高输入/输出存储。
航空对象探索索引表空间大小设置为10GB。

聚合是表的一种存储方式。
通常,每个基表都是单独组织的。
然而,经常一起查询表也在物理上存储在附近,这可以缩短数据查找并提高性能。

聚合组织多个关系(表)时,以公共属性的值作为表聚合的基础。
航空物探数据库系统是根据项目标识符(PROJ_ID)进行聚合的,所有包含项目标识符的数据库表都直接引用项目标识符聚合。
航空地球物理测量的簇表空间与索引表空间相同。

3.数据库参数设置

在创建数据库之前,您必须设置以下数据库参数。
空气地球物理参数文件名为Inito-raargs.ora,各种参数设置如下:

DB_block_size=16384

DB_name=oraagrs

DB_domain=oraargs.com

兼容=9.1.0

Nls_characterset=ZHS16GBK

Open_Cursors=100

DB_files=100

DB_file_mutliblock_read_count=16

Log_checkpoint_interval=256000

进程=200

4.内存设置

航空地球物理数据库服务器的物理内存为4GB,除了一部分用于系统开销外,其余用于数据库。

Oracle使用SystemGloblaArea(SGA)共享内存来管理内存和文件结构,包括DB_block_Bufers、DB_cache_size、Shared_pool_size和Log_Buffer参数。
航空地球物理数据库系统的全球区域存储参数设置如下。

DB_block_Buffers参数是SGA中内存缓存中的缓冲区数量。
每个缓冲区的大小对应于DB_block_size参数的大小,DB_block_Buffers=19200(大约300MB)。

shared_pool_size参数是分配给共享SQL区的字节数,对SGA大小有主要影响,shared_pool_size=1228800000(1.2GB)。

DB_cache_size参数是影响SGA大小和数据库性能的最重要因素。
较高的值可以提高系统的命中率并减少I/O,DB_cache_size=1024000000(1GB)。

Log_Bufer参数是重做日志缓存的大小,主要包含插入、删除和执行更改回滚操作,Log_buffer=5120000(5MB)。

5.优化设置

由于航空物探信息系统采集软件和应用软件采用MS.NETC#开发,应用程序与数据库的连接方式传统有两种方式:ODBC和OLEDB。
为了支持OLEDB技术中的ODBC,相应的OLEDB到ODBC的调用转换被设置为。
然而,使用直接OLEDB方法不需要任何转换,从而提高了处理速度。

创建数据库表时,Pctfree和Pctused参数设置不正确会导致数据中出现行连接和行迁移,即h.同一行的数据存储在不同的数据块中。
在查询数据时,需要重新定位磁头来读取数据,这不可避免地大大降低了数据库的执行速度。
因此,在创建表时,应充分估计未来可能发生的数据变化,正确设置这两个参数,尽量减少数据库中的行连接和行迁移。

航空物探数据采集数据库表插入、修改、删除的频率较,Pctfree设置为20,Pctused设置为40;系统维护数据库表比较稳定,Pctfree设置为10,Pctused设置为15;数据数据库表除了添加数据外,基本不进行任何修改或删除操作,设置为10,Pctused设置为5。

6.可扩展性设置

使用多CPU和并行查询PQO方法(ParallelQueryOption):CPU的快速发展使得Oracle越来越重视多CPU并行技术的应用:一个数据库可以过多个CPU的协作来实现。
对于具有多个CPU的系统,请尝试使用并行查询选项进行数据库操作。
航空地球物理数据库服务器有2个CPU,程序查询采用并行查询方式。

为提高物探航测工作量统计、飞行小时统计、测区统计、物性统计等统计效率,在相应的查询语句中增加并行查询语句。

随着地球物理航空勘探高精度测量水平的不断提高,测量数据规模越来越大。
为了满足航空地球物理勘探的查询效率和发展,将航磁测量数据和修正后的航磁测量数据按照比例尺分为1:20万以下、20万~50万和1:50万以上三个不同的数据库表。

7.创建数据库

完成数据库布局、空间设置、存储设置、数据库参数设置、扩展性设置和优化设置后,进行天线地球物理数据库的物理模型设计,即h.创建空气地球物理数据库单元。
由于航空地球物理勘探的空间数据库逻辑模型是使用ESRI的ArcGISUML创建的地理数据库模型,因此利用ESRI提供的CaseTools将地球物理航空勘探数据的UML模型图转换为空间数据库实体(geodatabase)(图2-)。
14)。
)。

空气地球物理属性数据库表(二维表)是利用PowerDesigner数据库设计平台直接从关系数据库模型生成数据库脚本来创建的。

经过数据库的概念设计、逻辑设计和物理设计,最终创建了航空地球物理数据库。

图2-14航空地球物理数据库物理模型实现

8

对于大型空间数据库,数据库运行效率是数据库成败的关键因素。
为了提高数据访问、检索和显示的速度,要素类数据在加载数据到数据库时创建空间索引,栅格数据创建金字塔结构,要素类数据直接采用连接到数据库的访问机制。
数据库。

(1)空间索引

为了提高要素类数据的查询性能,在构建航空物探空间数据库时创建了空间索引机制。
常用的空间索引有网格索引、R树索引、四叉树索引等。
地理数据库采用网格索引。
所谓网格索引,是将空间区域划分为适当大小的方形网格,并记录每个网格所包含的空间实体(对象),以及每个实体所封装的边界区域,即h.围绕其空间单元的左下角和右上角。
当用户进行空间查询时,首先计算用户的查询对象所在的网格。
然后根据网格数即可快速获取所需的空间实体。

确定适当的网格行和单元大小是创建空间网格索引的关键。
网格过大,一个网格内有多个空间单元,降低了查询检索的准确性。
如果网格太小,索引数据量会增加一倍,变得冗余,检索速度和效率会很低。
数据库各数据层采用不同大小、不同级别的空间索引网格单元,但每层最大级别数不能超过三级。
Ge“单位的大小不是一个确定的值,必须根据物体的大小来确定。
空间索引网格的大小与召回率的关系如图2-15所示。

根据以下基本原则选择网格单元的大小:

1)对于简单特征的数据层,尽可能选择单级索引网格。
减少RDBMS搜索网格的单元索引级别数,缩短空间索引搜索过程,例如:B.对于轨迹线要素类。

图2-15索引网格大小与检索精度的关系

2)如果数据层的元素封装边界的大小变化很大,因此应选择2级或3级索引网格。
地理数据库提供最多三个级别的网格单元。
每个功能封装边界都位于相应的层内,从而减少了每个封装边界具有多个网格的可能性。
在空间索引搜索过程中,RDBMS需要搜索所有三个网格单元级别,这需要花费大量时间。

3)如果用户频繁在图层上执行相同的查询,则最佳网格大小应为平均值的1.5倍搜索空间面积大小。

4)网格的尺寸不能小于特征封装边界的平均尺寸。
为了减少每个网格单元存在多个特征封装边界的可能性,网格单元大小应调整为平均网格单元大小。
最佳网格单元大小可能会受到层平均查询的影响。

根据要素数据集定义空间域,根据要素类设置空间索引网格。
它们在创建地理数据库时设置,一旦设置就无法更改。
因此,必须在对数据进行完整分析后确定它们的值。
航空地球物理数据主要是空间跨度为70°的简单要素类。
基于上述原则,航空地球物理数据选择网格尺寸为20°的单级索引网格。

(2)金字塔结构

金字塔结构的本质是将栅格数据逐级细化,形成多级分辨率的重采样数据,并将其划分为块和数据块。
以特定文件格式(金字塔文件格式)存储为磁盘文件;在以后的图像显示处理中,只将需要显示的部分覆盖的块直接从磁盘文件读入内存缓冲区进行显示。
从金字塔的所有层中,找到接近或等于所需显示比例的层,并将该层从某一点起某个图像区域覆盖的所有块加载到内存缓冲区中,提取必要的部分并形成图像。

金字塔算法(图2-16)通过获取显示所需的特定分辨率的数据来提高显示速度。
使用金字塔数据格式后,在显示整个图像时,只需要显示较低分辨率的数据,可以在不影响显示效果的情况下加快显示速度。
随着图像放大,图像分辨率提高,但显示速度并不会因为显示面积变小而降低。
对于栅格数据,如果不创建金字塔数据,则会读取每次显示的整个数据,然后重新采样以获得显示所需的分辨率,这会显着降低显示速度。

图2-16金字塔压缩示意图

金字塔数据重采样方法包括:最近邻法、双线性内插法和三次插值法折叠式的。
其中,最近邻法适用于离散数据,而双线性插值法和三次卷积法适用于连续数据。

ArcGISEngine提供IRasterPyramid和IRasterPyramid2接口实现金字塔数据创建,创建的数据保存为*.rrd格式文件。

(三)空间域定义

空间域是指数据的有效空间范围,即h.地理数据库数据库最大等效坐标的取值范围。
定义主要指比例系数以及MinX、MinY的计算。

由于使用整数比浮点数具有更高的压缩比,并且二进制整数搜索速度更快,因此多用户地理数据库将坐标存储为4字节正整数,最大值为32位可表示的范围是21.4亿(2147483647),整数的范围称为空间范围。
创建地理数据库时,必须定义适当的比例因子。
大整数值会消耗大量物理计算机内存,因此最好不要选择不必要的比例因子。
空间面积随着坐标系单位的变化而变化。

比例系数与空间面积成反比关系。
比例系数越大(存储单元越小),表示的空间面积越小。
为了创建存储在系统中的目标数据,必须仔细设置缩放因子。
将目标数据的适中宽度和高度值乘以比例因子。
如果结果小于21.4亿,则缩放因子合适。

航空物探数据模型旨在为我国航空物探行业构建数据数据库。
其支持的地理空间数据的坐标范围包括我国领土覆盖的陆地和海洋空间,最低纬度为赤道。
根据概念设计分析,航空地球物理数据模型采用地理坐标系,坐标系单位为度,基准为Beijing_1954,存储的坐标数据精度必须达到0.01m。
在赤道处,赤道圆的周长为40075694.6m,因此每度的弧长=40075694.6×100/360cm=11132137.389cm,即h.1厘米等于8.983000883E-8°。
因此,航空地球物理数据模型的比例系数为8.98E-8,即h.存储单元为8.98E-8°,可满足1cm的精度要求。

在将空间域移动到目标数据区域之前,首先确定空间域在存储设备中的中心位置,以便在必要时向各个方向扩展。
4字节正整数可以表示的坐标范围为:2147483647×8.98E-8=192.84。
我国领土范围为东经70°至140°、北纬0°至60°。
因此,选取的比例系数是合适的。
将空间坐标系的中心设置为90°,然后计算空间范围的MinX和MinY。

MinX=((70+140)÷2)-90=15

MinY=((0+60)÷2)-90=-60

所以存储的是坐标数据分别是:

X_Storage=(X-MinX)/8.98E-8

Y_Storage=(Y-MinY)/8.98E-8

SQL建表概念模型和物理模型的例子(sql数据模型)

最近在学习UML的时候,突然忘记了大学里数据库理论中概念模型、逻辑模型、物理模型的区别。
又上网查了一下,随意查了一下,记录在这里数据库建模就是对现实世界进行分析和抽象,找出内部联系,进而确定数据库的结构。

1.概念模型:是现实世界到信息世界的第一级抽象,决定了领域实体属性等的关系,用E-R图表示,主要由实体、属性和连接三个要素组成。

2.逻辑模型:是将概念模型转换为具体数据模型的过程,即根据概念结构设计阶段建立的基本E-R图,根据所选管理系统支持的数据模型(层次结构)软件、网格、

关系型、面向对象),转换为相应的逻辑模型。
这种转换必须符合关系数据模型的原则。
目前最流行的是关系模型(即对应的关系数据库)

E-R图到关系模型的转换就是解决如何将实体和实体之间的关系转换为关系,并确定关系的性质和属性。
这种转换通常按照以下原则进行:

(1)实体转换为关系实体属性是关系属性,实体代码是来自关系的代码。

(2)联系人也转换为关系联系人属性和连接到联系人的实体代码都会转换为关系属性,但关系代码会转换为关系属性。
按联系人类型转换如果:

1:1联系人,则两端的实体代码成为该关系的候选代码。

1:n个联系人,最后n个实体代码成为关系代码。

m:n连接,将两端的实体代码组合成关系代码。

3.物理模型是基于逻辑模型对应于特定数据模型的机器实现。
物理模型是对实际数据库的描述。
例如,关系数据库中的一些对象是表、视图、字段、数据类型、长度、主键、外键、索引、约束、可为空性和默认值。