首页 热点资讯 义务教育 高等教育 出国留学 考研考公
您的当前位置:首页正文

综合报表系统设计方案

2023-05-19 来源:华拓网


综合报表系统设计方案

目录

第一部分

第1章

1.1 1.2 1.3 1.4 第2章

2.1 2.2 2.3

第二部分

第3章

3.1 3.2 第4章

4.1 4.2 4.3 第5章

5.1

业务分析 .............................................................................. 3 概述 ....................................................................................................... 3 项目名称 .............................................................................................. 3 项目建设背景 ...................................................................................... 3 项目建设原则 ...................................................................................... 4 项目建设目标 ...................................................................................... 5 业务需求分析 ...................................................................................... 6 数据中心需求 ...................................................................................... 6 数据采集需求 ...................................................................................... 6 报表需求 .............................................................................................. 7 系统平台设计 ....................................................................... 7 软件平台设计 ...................................................................................... 7 操作系统平台 ...................................................................................... 7 数据库管理平台 ................................................................................ 19 系统总体设计 .................................................................................... 86 系统设计思想及思路 ........................................................................ 86 系统总体架构 .................................................................................... 88 数据中心(数据仓库) ................................................................... 91 主要功能 ............................................................................................ 93 元数据管理 ........................................................................................ 93

5.2 5.3 5.4

第二部分

第1章

1.1 第2章

2.1

报表管理及展现平台功能 ............................................................... 96 数据分析引擎 ..................................................................................120 数据采集平台 ..................................................................................120 系统软硬件配置 ............................................................... 122 软件系统配置 ..................................................................................122 软件系统配置一览表 ......................................................................122 硬件配置 ..........................................................................................123 硬件配置一览表 ..............................................................................123

第一部分 业务分析

第1章 概述

1.1 项目名称

北仑发电有限公司综合报表系统

1.2 项目建设背景

(1) 已固化的IT系统报表不能随着人们对数据认识和整理的提升而提升。

(2) 复杂报表是企业沉淀多年的数据应用精华,但IT却为之伤透了脑筋并付出了昂贵的代价。

(3) 计算机屏幕上输出的报表非常友好,但输出到打印机、PDF、Excel、word上时发生了变化。

(4) 经常遭遇自动取数加手工填写相结合的报表需求,但传统报表只能输出数据,不能填报数据。

(5) 传统的报表系统只关注共享报表的实现,但员工经常需花费大量时间用Excel制作个性化报表。

(6) 信息孤岛,虽各IT系统都有自己的报表,但经常需综合不同系统数据的综合报表。

1.3 项目建设原则

综合报表系统旨在将生产指标数据、环保数据、设备可靠性数据等集中存储,以提供领导关心及辅助决策用的综合型报表数据,提高电厂科学管理水平。因此,在建设系统时必须遵循以下原则:

1. 实用性

应用系统设计必须符合浙能集团生产管理及经营管理指标要求的需要。充分利用成熟的先进技术,避免盲目追求最新技术,同时又要防止因应用系统在设计上的缺陷而造成系统处理能力不足。

2. 先进性和可扩展性

系统技术水平要保证先进性,符合当今计算机科学的发展潮流。应用系统的设计应充分考虑电厂使用的通用模式,兼顾系统在网络平台、硬件平台和系统软件平台技术的要求,分析和设计符合当今技术发展方向、合用的应用系统。具备在选定的各平台上有能力进行该项产品的持续性开发,可以保证该项技术不断地更新并可顺利升级而维持系统的先进性。

3. 稳定性

系统建设尽量采用主流产品,以保证系统的高质量和稳定性。系统应最大限度集成世界上最稳定且优秀的技术及组件,采用成熟技术以降低系统的不稳定性。应用系统应对系统如硬件、操作系统、网络、数据库等设计尽可能详尽的故障处理方案,以保证系统的快速恢复性。

4. 可操作性

界面友好统一,充分考虑操作人员的特点,使数据处理工作简单、方便、快捷。业务流程清晰,符合常规业务处理习惯,系统数据维护方便,备份及数据恢复快速简单;系统软配置体现自动化,尽量避免复杂的系统配置文件。

5. 对原有投资的保护

系统设计应充分考虑对已有投资的保护,对已建立的网络基础平台提供完备的整合方案,并切实体现在应用系统的分析、设计和实现过程中。

6. 标准化

应用软件开发符合国家软件开发规范和要求,方便维护和扩展。业务处理符合浙能集团生产及经营管理办法的规定。

1.4 项目建设目标

(1) 建设统一的数据中心。

① 可扩展性,在最小代码开发量下,扩充新功能。

② 可管理性,提供对数据模型、数据质量、系统用户、系统权限的管理能力。 ③ 集成性,支撑当前平台和外部应用的方便集成。

④ 灵活性,实现用户个性化配置支撑,按需定义工作流程、业务规则。 ⑤ 数据建模

数据模型是本次项目实现的难点和重点,在项目开发实施时,必须梳理区分出自动采集指标、手工录入指标等,按相关数据模型进行存储,保证数据能充分为生产经营所利用。

(2) 搭建综合报表统计平台。

① 对于一些数据填报和展现功能,可以直接改造后使用。 ② 对于一些类似的功能,可以模仿设计方案。

(3) 提供统一的报表展现界面管理。

① 以数据填报快速实现数据采集。

② 如果有自动报送条件,尽量实现自动报送。 (4) 由数据中心自动生成填报需要的文件数据。

第2章 业务需求分析

2.1 数据中心需求

数据通过手工采集和自动采集汇总形成数据中心,以便于报表系统的查询使用。

2.2 数据采集需求

数据采集分为手动采集和自动采集两大部分。  手动采集

台账、人工修正、现有的Excel表。  自动采集(SIS采集和接口调用采集) PI(可靠性数据、环保部分数据)

国电系统(生产日报、燃料管理、运行日志)  网页抓取

由于集团生产指标数据对电厂无权限,建议采用网页数据抓取技术,实

现生产指标数据的自动采集。

无论是手动采集和自动采集所集取到的数据最后都统一存储到数据中心,然后由数据中心统一整合以便于报表软件的使用。

2.3 报表需求

集团领导能够规范生产指标及经营管理指标业务处理标准,管理和监控所有生产和经营管理过程中所需要的数据,能更加清晰的查看报表数据。如:月度煤耗分析表、环保统计报表、机组生产指标统计表、排水处理设备运行与水质监测情况表等。

第二部分 系统平台设计

第3章 软件平台设计

3.1 操作系统平台

3.1.1 系统介绍

针对大中型企业而设计的Windows Server 2008企业版是推荐运行某些应用程序的服务器应该使用的操作系统,这些应用程序包括:联网、消息传递、清

单和顾客服务系统、数据库、电子商务Web站点以及文件和打印服务器。Windows Server 2008企业版提供高度的可靠性和性能以及优异的商业价值。

企业版可在最新硬件上使用,它同时有32位版本和64位版从而保证了最佳的灵

活 性和可伸缩性。各机构可从优化了的高效结构中获益,这种优化是针对关系到业

务的应用程序和服务而进行的。

3.1.2 独到之处

与Windows Server 2008标准版的主要差异:支持高性能服务器以及将服务器群集在一起以处理更大负载的能力。这些功能提高了系统的可靠性,即确保无论是出现系统失败或是应用程序变得很大,系统仍然可用。

在较高级别上,Windows Server 2008企业版提供以下支持: 支持8路对称多处理方式(SMP)。 支持8节点群集。

32位版本支持64 GB RAM,64位版本支持64 GB RAM。 提高服务器性能

Windows Server 2008企业版允许通过添加处理器和内存来提高服务器性能和容量。这种提高网络容量的方法称为“扩容”。

通过添加能一起工作的处理器,可以提高服务器计算机的性能。Windows Server 2008企业版中增强的SMP支持允许您使用多处理器服务器。

另一种提高服务器性能的方法是添加内存,这样将使计算机能同时处理更多信息。企业版包括增强的内存功能,这些功能使服务器处理时可用的内存大幅增加,对于32位版本和64位版本分别达到32 GB RAM和64 GB RAM。

3.1.3 可靠性

依靠Microsoft迄今为止提供的最稳定的服务器操作系统开展业务

今天的企业都希望技术能成为商业价值提高的长久的原动力。他们希望系统能始终正常运行并始终可以响应,同时他们需要一定水平的安全性以迎接当今的挑战。Windows Server 2008企业版包含的新增功能和改进使得该产品成为Microsoft有史以来最可靠的、为企业设计的服务器操作系统。

这些增强包括对Windows 2000 Server引入的一些关键技术(如网络负载平衡、服务器群集和Active Directory?服务)的改进。Windows 。NET Server 2008企业版具有更强的可伸缩性,它可以支持多达8节点的群集和有8路SMP的服务器。

除了这些改进之外,Microsoft也正将新技术引入Windows Server 2008企业版中,例如保护网络不受恶意或不合理设计的代码破坏的新的公共语言运行库。还有,该操作系统反映了Microsoft在可信赖计算方面的承诺,它在安全功能上取得了飞跃发展,包括改进了Internet Information Services (IIS)、公钥结构(PKI)和Kerberos的安全性,以及支持新的对智能卡和寿命统计。

由于有了分支办公室域控制器中更为有效的同步、复制和凭据缓存技术,Active Directory如今在不可靠的广域网(WAN)连接上也更快、更可靠了。

3.1.4 提高效率

提高IT效率,改善整个企业中的员工交流和协作

机构指望计算机技术能改进整个企业的生产力,一线的技术工人想获得强大且更易于使用的工具,而后方的管理人员也希望有部署更快、管理更简便灵活的服务。

Windows Server 2008企业版和Windows Server 2008系列中的其他成员有许多相同的功能可以提高单位和员工的效率。Windows Server 2008系列具有增强的系统管理和存储功能,从而可以提高IT管理员和用户的效率。Microsoft已在改进易管理性方面取得了长足进步。Windows Server 2008系列中新的基于任务的设计使查找和执行公用任务变得更加简单。对Microsoft管理控制台(MMC)和Active Directory的改进提高了性能,简化了管理。

Windows Server 2008系列包括多种重要的新的自动管理工具,包括有助于自动部署的Microsoft软件更新服务(SUS)和服务器配置向导。新的组策略管理控制台(GPMC)简化了组策略的管理,从而让更多机构可以更好地使用Active Directory并利用其强大的成本节约功能。此外,命令行工具使管理员可以从命令控制台执行大多数任务。

Windows Server 2008系列中其他新的管理和系统管理功能包括:域重命名、跨域和跨目录林管理以及策略结果集(RSoP)。增强的Windows管理规范(WMI)提供程序和命令行工具使管理员可以对服务器任务进行更为细致的控制。

Windows Server 2008在显著降低系统管理员压力的同时,简化了存储和备份。实现这个目的的文件服务新功能和改进功能有很多,包括卷影像复制服务,它可在指定时间点备份联网共享。现在,用户使用这种独有的技术可以直接使用其Windows桌面的“影像复制恢复”功能检索文件的旧副本或删除文件。另外,文件和打印服务也由于添加了基于Web的分布式创作和版本(WebDAV)远程文档共享技术而有所改进。对分布式文件系统(DFS)和加密文件系统(EFS)的增强使得文件共享和存储变得强大而灵活。另外,Windows Server 2008企业版中添加了对64位打印和打印群集的支持。

最后,Windows Server 2008企业版在已验证的硬件平台上支持64位计算,从而使处理器密集型和内存密集型应用程序得以更快完成。这包括对Intel Itanium和Itanium2处理器的支持。

3.1.5 面向网络

与客户安全联网

当今的网络正将Intranet、Extranet和Web连接在一起。越来越多的公司每天都使用Internet与其客户和合作伙伴进行通讯。Windows Server 2008企业版和Windows Server 2008系列中的其他成员有许多相同的功能,这些功能可以帮助单位和员工保持与外界的连接。

Windows Server 2008系列的联网改进和新增功能扩展了网络结构的多功能性、可管理性和可靠性。Windows Server 2008系列使得用户要保持与网络资源的连接比以往任何时候都简单(而无论他们身在何处或使用何种设备)。为了做到这一点,Microsoft在Windows Server 2008中进行了显著的网络增强,其中包括Internet协议版本6 (IPv6)、点对点以太网连接协议(PPoE)和网络地址转换(NAT)上的Internet协议安全性(IPSec)。

Windows Server 2008中的Microsoft Windows媒体?服务提供了可靠、可伸缩和经济划算的方式来快速传送和管理动态内容。Windows媒体服务使得Windows Server 2008系列成为通过公司Intranet和Internet分发流式音频和视频的理想平台。

Windows Server 2008不仅对Microsoft 。NET和XML提供优化和本地支持,而且最重要的是作为一种开发、分布和宿主用。NET创建的XML Web服务的理想平台,它标志着向前一步的创新。

3.1.6 最经济

利用最大的合作伙伴Solution Ecosystem的优势,使业务价值最大化

由于PC技术提供了最经济的芯片平台,仅依靠PC就可完成任务已成为采用Windows Server 2008的重要经济动机。而对Windows Server 2008在成本控制方面适合扩大或缩小规模来说,这只是开始。使用Windows 。NET Server中自带的许多重要服务和组件,各机构可以迅速利用这个易于部署、管理和使用的集成平台。

当您采用了Windows 。NET Server时,您就成为了帮助使Windows平台更高效的全球网络中的一员。

这种提供全球服务和支持的网络有如下优点:

最大数量的ISV:Microsoft软件拥有遍及世界各地的大量的独立软件供应商(ISV),他们支持Microsoft应用程序并在Windows上生成已认证的自定义应用程序。

全球服务:Microsoft受世界上450,000多名Microsoft认证系统工程师(MCSE)以及供应商和合作伙伴的支持。

培训选项:Microsoft提供各种IT培训,使得IT人员只需交付适当的费用就可以继续扩展他们的技能。

经过认证的解决方案:第三方ISV为Windows提供了数千个经过认证的硬件驱动程序和软件应用程序,使它便于添加新设备和应用程序。另外,Microsoft Solutions Offerings (MSO)可帮助各机构创建能解决业务难题并经得起考验的解决方案。

这种经济的产品和服务系统的获得成本低,从而帮助机构获得更高的生产效率。

XML Web服务和。NET

Microsoft 。NET已与Windows Server 2003系列紧密集成。它使用XML Web服务使软件集成程度达到了前所未有的水平:分散、组块化的应用程序通过Internet互相连接并与其他大型应用程序相连接。

通过集成到构成Microsoft平台的产品中,。NET提供了通过XML Web服务迅速可靠地构建、托管、部署和使用安全的联网解决方案的能力。Microsoft平台提供了一套联网所需的开发人员工具、客户端应用程序、XML Web服务和服务器。

这些XML Web服务提供了基于行业标准构建的可再次使用的组件,这些组件调用其他应用程序的功能,调用的方法独立于创建应用程序,操作系统、平台或设备用于访问它们的方法。

利用XML Web服务,开发人员可以在企业内部集成应用程序,并跨网络连接合作伙伴和客户。这种先进的软件技术使联合合作成为可能,并且所带来的更有效的商业到商业和商业到用户服务可以对企业收入产生潜在的重要影响。数百万其它用户可以以各种组合使用这些组件,获得高度个性化、智能化的计算体验。

Windows Server 2008系列的其他。NET优点有助于开发人员:

利用现有的投资。基于Windows的现有应用程序可以在Windows Server 2008上继续运行,也可以方便地重新打包为XML Web服务。

减少代码的编写工作量,使用已经掌握了的编程语言和工具。实现这一点要归功于Windows Server 2008内置的应用程序服务,如ASP。NET、事务监视、消息队列和数据访问。

进程监视、循环、内置指令用于为应用程序可提供可靠性、可用性和可伸缩性。

所有这些益处都在改进的内核Windows服务器结构中实现并构成了。NET的基础。

Windows 。NET企业服务器的功能

除了包括Windows Server 2008标准版中的全部功能外,Windows Server 2008企业版还添加了增强可用性、可伸缩性和可靠性的几项重要功能。(Windows Server 2008 Datacenter版中也包括这些功能。)对于关系到整个业务运转的数据库管理、文件共享、Intranet数据共享、消息传递和常规业务应用程序,可以利用服务器群集提供的高可用性和容错能力。对于Windows Server 2008企业版和Windows Server 2008 Datacenter版,群集服务可支持多达8个节点的群集。这就为在位置分散的群集环境中添加和删除硬件提供了更好的灵活性,并且为应用程序提供了改进的伸缩选项。Windows Server 2008企业版允许服务器群集以各种不同的配置进行部署,特别是以下几种配置:

具有专用存储的单群集配置。

一个存储区域网络上的多个集群(可能与其他基于Windows的服务器或操作系统一起)。

跨多个站点的群集(位置分散的群集)。

64位支持:Windows Server 2008企业版将有两大类:32位版本和64位版本。64位版本将针对内存密集型和计算密集型任务(如机械设计、计算机辅助设计(CAD)、专业图形、高端数据库系统和科学应用程序)进行优化。

多处理器支持:Windows Server 2008系列可以从单处理器解决方案一直到32路系统自由伸缩。Windows Server 2008企业版支持具有多达8个处理器的服务器,而Windows Server 2008 Datacenter版支持多达32个处理器的服务器

元目录服务支持:Microsoft元目录服务(MMS)使用Active Directory帮助公司集成来自多个目录、数据库和文件的标识信息。MMS为单位提供统一的标识信息视图,从而实现使用MMS进行业务处理集成并帮助单位内同步标识信息。

热添加内存:热添加内存允许将内存添加到计算机中,并使它们作为正常内存池的一部分,为操作系统和应用程序所用。这无需重新启动计算机,也不涉及任何停机时间。此功能目前将只能在对运行中添加内存提供硬件支持的服务器上运行。对于这些服务器,安装内存的操作将自动调用Windows Server 2008企业版的热添加内存功能。

不统一内存访问(NUMA):系统固件可以创建一个名为“静态资源相似性表”的表,该表描述了系统的NUMA拓扑。Windows Server 2008企业版使用该表将NUMA识别应用于应用程序进程、线程默认相似性设置、线程调度和内存管理功能。另外,可以使用一组NUMA应用程序编程接口将拓扑信息用于应用程序。

终端服务会话目录:这是一种负载平衡功能,它使用户可以方便地重新连接到运行终端服务的服务器场上已断开的会话。会话目录与Windows Server 2008负载平衡服务兼容,并受第三方外部负载平衡器产品的支持。

3.1.7 服务器群集介绍

服务器群集是一组协同工作并运行Microsoft群集服务(Microsoft Cluster

Service,MSCS)的独立服务器。服务器群集为资源和应用程序提供高可用性、故障恢复、可伸缩性和可管理性。

服务器群集允许客户端在出现故障和计划中的暂停时,依然能够访问应用程序和资源。如果群集中的某一台服务器由于故障或维护需要而无法使用,资源和应用程序将转移到可用的群集节点上。

Windows群集(Windows Clustering)解决方案使用了名词“高可用性”而非“容错”。容错技术提供更高层次的弹性和恢复能力。容错服务器通常使用深层硬件冗余,加上专门的软件,几乎可以即时地恢复任何单一的硬件或软件错误。这些解决方案要比Windows群集(Windows Clustering)解决方案昂贵得多,因为组织必须为处于空闲状态等待错误的冗余硬件支付费用。

服务器群集无法保证无间断运作,但是确实能够为多数关键任务应用程序提供足够的可用性。群集服务可以对应用程序和资源进行监控,并能够自动识别和恢复众多故障状况。这为在群集中管理工作负荷提供了灵活性。另外,还提高了整个系统的可用性。群集服务(Cluster service)的优点包括:

高可用性:通过服务器群集,资源(例如:磁盘驱动器和Internet协议(IP)地址)的所有权会自动从故障服务器转移到可用的服务器。当群集中的某个系统或应用程序发生故障时,群集软件会在可用的服务器上重新启动故障应用程序,或者将工作从故障节点分散到剩下的节点上。由此,用户只在瞬间感觉到服务的暂停。

故障恢复:当故障服务器重新回到其预定的首选所有者的联机状态时,群集服务将自动在群集中重新分配工作负荷。该特性可配置,但默认禁用。

可管理性:您可以使用“群集管理器”工具(CluAdmin。exe),将群集作为一个单一的系统进行管理,并对犹如运行于一个单一服务器的应用程序实施管理。您可以将应用程序转移到群集中的其它服务器。“群集管理器”可用于手动平衡服务器的工作负荷,并针对计划维护释放服务器。您还可以监控群集的状态、所有节点以及来自网络任何地方的资源。

可伸缩性:群集服务可扩展以满足需求的增长。当群集监督应用程序的总体负荷超出了群集的能力范围时,可以添加附加的节点。

本文档提供有关针对连接到共享群集存储设备并运行Server 2008

Enterprise Edition或Windows Server 2008的服务器创建和配置服务器群集的指导。本文档的目的是为了指引您完成安装典型群集的步骤,并未解释如何安装群集应用程序。而对于实施非传统仲裁模型,如:多数节点集(Majority Node Set,MNS),的Windows群集(Windows Clustering)解决方案和地理位置分散的群集也不予以讨论

3.1.8 总结

Windows Server 2008企业版使您可以在符合工业标准的PC硬件上部署具有高度可用性和可伸缩性的应用程序。其结果是:构成了一种可运行关键业务应用程序和服务的高效优化结构。适合于Windows Server 2008企业版的应用程序常见的例子包括联网、消息传递、清单和顾客服务系统、数据库、电子商务Web站点以及文件和打印服务器。

无论单位规模大小,Windows Server 2008企业版对于运行那些必须永远可用的应用程序来说是个很好的选择。它还使不断发展的公司能够保证关键应用程序的可用性,同时允许他们根据不断增长的需求扩充或缩减这些应用程序。

3.2 数据库管理平台

3.2.1 需求概述

数据库为大型对象关系型数据库,具有通用性和开放性,主流的企业级数据库产品。数量1套,4个CPU的无限用户数许可。具体要求如下:

1.高可用性,支持24×7全天侯不停机

完善的在线备份和恢复功能,支持并行的备份与恢复,支持多达4级的增量备份;提供基于Standby Database技术的容灾保护;针对磁盘、主机、网络各种故障的容错能力,可充分利用Cluster的容错技术,Cluster切换时无需重新启动数据库。

2.支持共享磁盘的数据库集群

集群数据库每个节点都是共享同一个的数据库,确保运行时每个数据库节点都可以提供完全相同的数据库服务。

集群系统没有主机备机的区分,所有节点数据库都可以高效并行处理运行,以提高系统整体资源利用率和性能。

支持数据库节点故障快速恢复,任何一个数据库节点出现故障时,都可以不影响客户端操作,快速透明的故障切换,切换时间小于1分钟。

3.支持分布式操作

支持断点续传方式的消息同步机制。

分布式操作在数据库核心实现,无需其它附加产品。 自动的两阶段提交功能。

在数据库核心中提供完整的数据复制功能,数据复制具有双向和多点复制功能。 4.高性能的OLTP功能,具有强大的数据存取能力

很强的可伸缩性和可扩展性,在单机上有超过200000tpm/c的TPC-C结果。

提供并发控制机制,支持行级锁,而且行级锁不升级,对数据库的读操作不加任何锁,具备自动的死锁处理能力。

稳定的多线索多进程体系机构。

支持在SMP上的高效并行处理,支持并行的查询、插入/更新/删除、数据加载、索引创建等。

5.支持开放的系统结构

主流硬件及操作系统平台,包括IBM AIX,HP-UX, Sun Solaris, MS WINDOWS NT/2000, Linux等。

支持从MS SQL Server的系统移植。

主流网络协议,包括TCP/IP,SPX/IPX,DECNet,X。25等,可以通过各种防火墙。

提供与其他编程语言(如C, Java等)的接口。 6.具有高度的安全性

支持行级数据加密技术(虚拟私有数据库VPD); 符合C2级安全标准和基于角色的安全控制; 在数据库核心中支持审计功能;

数据库可以建立独立的用户安全系统(独立于操作系统)。 7.提供对GIS系统的支持

数据库中可以存储GIS信息,支持主流的GIS软件; 支持GIS的空间操作函数; 提供对空间信息的高速索引机制。 8.支持Internet技术 数据库核心提供Java支持; 数据库核心提供XML支持。

9.支持对文本、图片、音频、视频等多媒体数据的管理 提供通用数据存储; 提供全文检索。

10.数据库提供对OLAP的支持 11.完善的数据分析功能

丰富的针对大量数据的查询处理技术,包括Bitmap Index, 星型查询优化算法等;

在数据库核心中内置分析功能,包括Top-N, Cube, Rollup和抽样等; 提供资源管理功能,能将用户划分入不同的资源级别,控制其对系统资源的使用。

12.支持数据库级的容灾功能

灾难备机也可以同时运行,提供数据库服务; 灾难备机不受距离影响; 灾备系统可以提供高速切换; 提供SQL重做方式的逻辑灾备; 提供物理灾备。

13.支持ANSI/ISO SQL-92标准

14.支持汉字双字节编码,包括GB 2312-80标准和GBK字符集 15.易于监控和管理,提供基于GUI界面的数据库管理与维护工具

3.2.2 产品选型

Oracle Database 10g提供了全球首个专为企业网格计算提供动力的软件基础平台架构。Oracle Database 10g充分利用了硬件在网格计算上的革新,

让用户可以在这些标准的硬件组件上非常轻松的安装和配置数据库。

Oracle Database 10g不但是网格资源、网格服务和网格存储的使用者,而且是企业数据提供者,在其中都充分利用了网格计算的三个特性。Oracle Database 10g把Oracle Database使用硬件组件-包括计算资源和存储资源-的方式虚拟化,对于在企业网格环境中的不同数据库自动提供集群存储和集群计算资源。作为一个企业数据供应者,Oracle Database 10g提供了相关的技术,通过这些技术可以让数据库管理员为网格用户和网格应用进行资源汇总、虚拟管理和数据的供应。

同时,在一个企业级的网格环境中,对于安全、高可用性、自我依赖性和可管理性都有很高的要求。Oracle Database 10g提供了很多卓越的优势来简化你对整个企业级网格的管理和操作。

3.2.3 技术响应说明

1、Oracle Database 10g: 为网格而设计的数据库 1)在基于标准组件上配置和安装Oracle Database 10g

Oracle Database 10g 使您更轻松的在网格上运行数据库,此数据库运行于标准、低成本、模块化的硬件组件(存储器、刀片服务器和互联技术)上。

自动存储管理 (Automatic Storage Management,ASM)

自动存储管理 (ASM) 使存储虚拟化,并且提供了轻松的数据库存储供应。此外,您现在能够使用标准、低成本、模块化的组件来存储所有的 Oracle 数据。您可

以使用单个 ASM 来为多个 Oracle 数据库管理存储。ASM 仅要求您管理少量的磁盘组,而不是管理许多数据库文件。一个磁盘组是一组磁盘设备的集合,ASM 将其作为单个逻辑单元来管理。您可以定义一个特别的磁盘组作为数据库的默认磁盘组,Oracle 自动为该数据库分配存储资源,以及创建或删除与该数据库相关的文件。

ASM 还提供了一些存储技术方面的优势 — 如镜像或逻辑卷管理器 (LVM)。类似于这些技术,ASM 使您能够从单独磁盘设备的集合中创建单一磁盘组。它可以跨磁盘组中的所有设备均衡到该磁盘组的 I/O。还执行条带划分和镜像存储来改善 I/O 性能和数据可靠性。无论何时当存储配置发生变化时,ASM 都将自动再均衡数据库的存储资源。

自动存储管理同样提供诸如RAID或是逻辑卷(Logical Volume Managers, LVMs)这样的存储技术的优点。Oracle可以对于多个数据库通过一个磁盘组中的所有设备来平衡I/O,并通过对数据缓冲区和镜像技术的实现来提高I/O的性能和数据的可靠性。同时,Oracle可以在节点和节点、集群和集群之间重新分配磁盘,自动重新配置磁盘组。因为自动存储管理是专为Oracle工作设计的,因此相比其他虚拟存储的解决方案将有更好的性能。用户不再需要昂贵的第三方存储容量管理和文件系统软件。通过自动存储管理,客户就可以极大地降低数据中心复杂程序和系统管理成本,并且DBA不再需要频繁监视存储系统来检查是否存在“热点”或存储性能瓶颈。

ASM 的本地镜像机制是一个用于防止存储故障的选件。通过启动缺省镜像,可实现三倍镜像。通过 ASM 镜像,使用故障组可以提供额外的数据保护。一个

故障组是共享通用资源(磁盘控制器或整个磁盘阵列)的一组磁盘,其故障可以容忍。经过定义,ASM 故障组会智能地将数据冗余拷贝到单独的故障组中,以确保该数据仍然可用,并以透明的方式避免受到存储子系统中任何组件故障的影响。此外,ASM 支持硬件辅助恢复数据能力(在下文防止数据损坏部分进行详细讨论),以加强数据保护。

Oracle已经与EMC、日立、HP、Network Application和Xiotech等多家行业存储佼佼者合作,以使自动存储管理能够与他们地网络连接存储(NAS)和存储区域网络(SAN)产品无缝地合作。

可移植的集群件管理(Portable Clusterware)

集群件是为集群中服务器间的通信提供集群化服务的软件。在 Oracle Database 10g 之前,您依赖于硬件供应商来提供其平台上的集群件(除了 Linux 和 Windows 平台)。Oracle 只为 Linux 和 Windows 平台提供集群件。

Oracle RAC 10g 在 Oracle 数据库 10g 运行的所有平台上提供了一个完整集成的集群件管理解决方案。这一集群件功能包括集群连接、消息处理服务和锁定、集群控制和恢复,以及一个工作负载管理框架(将在下文探讨)。用户无需购买任何第三方集群件管理软件。但是,Oracle 仍将继续在特定平台上支持选定的第三方集群件产品。

Oracle RAC 10g 的集成集群件管理具有以下优势:

 成本低。Oracle 免费提供这一功能。  单一厂商支持。消除了相互推诿的问题。

 安装、配置和持续维护更简单。Oracle RAC 10g 集

群件使用标准 Oracle 数据库管理工具进行安装、配置和维护。这一过程无须其它的集成步骤。  所有平台,质量始终如一。与第三方产品相比,Oracle

对新软件版本进行了更严格的测试。

 所有平台,功能始终如一。例如,一些第三方集群件

产品限制了集群内可以支持的节点的数量。借助 Oracle RAC 10g,所有平台可以支持多达 64 个节点。用户还可以在所有平台上获得一致的响应体验,从而有效解决了高可用性挑战,包括服务器节点故障、互连故障以及 I/O 隔离现象等。

 支持高级功能。这包括集成监视和通知功能,从而在

发生故障时,在数据库和应用层之间实现快速协调的恢复

Oracle 也便于您安装可移植集群。利用单次安装,您可以确定您希望安装可移植集群组件的节点,然后 Oracle Universal Installer 将在所有这些节点上安装可移植集群组件。

对于Oracle集成的集群软件对不同硬件供应上的产品都没有集群大小的限制。在一个Oracle集群环境中,用户可以简单的增加和移去一个服务器,而不需要

任何的宕机时间。

Oracle是唯一一个拥有可以在所有操作系统平台上提供数据库集群软件的技术,这也大大降低在一个集群环境中发生事故的可能。

高速无限带宽网络(Infiniband)支持

Oracle Database 10g 利用即将来临的高速互联技术(如无限带宽Infiniband)为您提供更好的性能和可伸缩性。您可以全面使用无限带宽来进行网络通信。它提供了许多好处:

 无限带宽提供了超过千兆位以太网的许多性能改善。

无限带宽的低延时和高带宽使它作为集群互联时尤其有用。

 您可以使用单个网络基础架构来进行不同服务器之

间、以及服务器和存储器之间的通信。这简化了数据中心的连接需求。

 利用简化的网络基础架构,您可以使用单个网络底板,

这使得网络供应更加容易。

利用 Oracle Database 10g,您现在可以使用无限带宽来进行应用服务器到数据库服务器的通信、集群数据库中服务器到服务器的通信,以及服务器到存储器的通信。这为您的数据中心提供了全面的性能改善和灵活性。

方便的客户端安装

方便的客户端安装功能简化了网格中的应用程序部署。数据库的客户端只需下载或复制 Oracle 客户端文件的一个非常小的子集,以及设置环境变量。一般Oracle 数据库 10g 的客户端仅需 1 分钟即可完成安装,只需 70 兆字节的磁盘空间。这些应用程序 — OCI 或者 JDBC 应用程序 — 能够访问网格上的数据库。您不再需要在数据库客户端上执行全部的安装过程。这个功能对于 ISV 应用程序的部署尤其有用。ISV 能够在其安装过程中包含这些 Oracle 客户端文件,而且客户不需要单独安装 Oracle 客户端。同样在客户机被动态标识和配置的网格环境中,这个功能简化了 Oracle 客户端软件的安装和配置。

方便的 ORACLE 数据库安装

Oracle Database 10g 简化了 Oracle 数据库的安装。安装 Oracle 数据库 10g 服务器软件,通过典型安装模式所需时间已减少了一半,只需 20 分钟。大多数的普通安装通过一张光盘即可完成,省却了介质更换的不必要时间。此外,数据库的标准安装仅需要 256 兆字节的内存和 1GB 的磁盘空间。

“Oracle Universal Installer”(OUI) 已经得到增强,可以对所有的安装任务在进行前或完成后进行自动化处理。在 Oracle 数据库 10g 中,OUI 在系统安装前要进行自检,确保操作系统配置适当、所需补丁已应用,以及有足够资源确保安装过程的顺利完成。如果在安装前的自检中发现任何问题,安装程序将提示相关正确操作步骤来帮助管理员解决问题。

Oracle Universal Installer (OUI) 还可以执行集群化 Oracle 数据库的多节点

的安装。在安装期间,您标识出希望安装 Oracle 数据库的主机名称。然后 OUI 将在那些节点上安装 Oracle 数据库软件。您还可以决定是拥有软件的单个共享影像,还是在每台主机上拥有一个独立的影像。

同时,安装过程已经完全包括所需配备,为系统的日常自检和管理建立了所需的基础架构。一个功能完善、性能丰富的“企业管理器数据库操作台”实现了完全的自动化配置,允许管理员不用任何人工操作即可完成对管理任务的部署。“企业管理器数据库操作台”为管理单一的数据库提供了所有必备的功能,包括报警提示、工作时程安排和软件管理等。此外,所有 Oracle 服务器组件如数据库、监听程序、管理框架等都将配置于自动化的开机和关机之中。 对那些开发人员和开发嵌入式 Oracle 数据库的应用程序的独立软件供应商 (ISVs) 而言,静默安装已更为强大和易于使用。 因此,任何初级的计算机用户都能够安装并运行 Oracle 数据库 10g。

自动、灵活和容错的升级

同样地,“数据库升级助手(DBUA) ”使数据库的升级/移植变得极为简单。使用 Oracle 数据库 10g 的 DBUA,管理员可以轻松地移植/升级到任何数据库配置之上,包括 RAC 和备用数据库,所做的仅是回答一些简单问题而已。该工具将自动检测系统资源是否足够、确保最佳的操作 — 如在升级/移植前是否进行数据库备份,是否替换过期的、不适当的初始化参数等 —检验操作是否顺利完成。使用 Oracle 数据库 10g,,其升级过程在计算机重启后仍可自动进行,这确保了升级在突然中止后仍可继续进行。Oracle 数据库 10g 中关于升级功

能的另一大完善之处就是能够预估整个升级过程所需时间。由于每一数据库升级所花时间可能会很长(其取决于可运行程序库中的需要升级的元数据数量),且各个系统互不相同,此性能对系统管理员进行升级规划时大有裨益。

由于升级到新版本的真正好处只有通过使用新的功能和性能才能表现出来,Oracle 数据库 10g 同时帮助管理员在升级到新版本过程中激活其新功能。

更精简的初始化参数

Oracle 数据库服务器提供了大量的初始化参数,以在不同环境中使其运行最优。在这些参数中,只有少数需要显式地设为系统默认值,因为其余的参数在绝大多数情况下已经足够。Oracle 数据库 10g 中这些初始化参数被分为基础和高级两大类。管理员可将日常的交互活动限定于 28 组基础参数来完成。高级参数被保留用于使专家型的系统管理员调整 Oracle 的数据库性能,以满足特殊环境下的一些特殊需求。因此,Oracle 数据库 10g 提供了一种集简单性和灵活性的最佳组合 — 其简单性指可以被作为嵌入式数据库使用;其灵活性指可以满足甚至最具挑战性的需求。 2)计算资源供应

网格计算的宗旨是能够根据不断变化的优先级动态分配资源。Oracle Database 10g 有许多改进和新的功能,便于您分配计算资源以适应业务需求。

Real Application Clusters (RAC)

Oracle Real Application Clister (RAC) 具有标准的、低成本、模块化服务器(如刀片服务器)集群的高利用率。您可以在一个刀片服务器集群上运行单个 Oracle 数据库。运行在 RAC 上的应用程序能够动态地利用供应给它们的更多的刀片服务器。同样,当应用程序不再需要这些刀片服务器时,能够容易地释放它们。相反,标准级数据库在标准级组件上具有非常低的利用率。在标准级数据库上,您需要为高峰负载分配资源并且分配备用资源。只有整个系统停止工作,才能向标准级数据库中添加或删除刀片服务器。

基于共享磁盘体系结构的 RAC 能够按需要增长和收缩。这对来自其它供应商的数据库是不可能的,因为它们基于非共享的体系结构,该结构不能提供这种灵活性。由于不进行共享,数据被人为地分区。当增加了更多的刀片服务器时,所有的数据都需要重新分区,并将数据分配给新的刀片服务器。类似地,当需要删除刀片服务器时,在删除前需要重新对数据分区。

Oracle Database 10g 为 RAC 数据库内的服务提供自动负载管理。当在托管服务的例程间建立起连接时,RAC 自动地为这些连接执行负载均衡。此外,利用资源管理器,您可以制定策略,并给运行在 RAC 数据库内的服务分配资源。为了满足这些策略,RAC 将自动向这些服务供应数据库例程。

Oracle Database 10g 通过一个按钮就可以实现服务器到集群的添加和删除。按一下按钮,您马上就可以向集群中添加一台服务器,并将这台服务器供应给数据库。Oracle 数据库将自动安装所有需要的软件 — 可移植的集群组件和 Oracle 数据库软件,并在其上启动一个 Oracle 数据库例程。同样,按一下按钮,您可以删除一台服务器。

共振 (Resonance)

Oracle Database 10g 的最具有开创性的特性是共振。自己定义集群。集群是一组服务器的集合,这些服务器通过 Oracle 可移植集群组件集群在一起。您可以在相同的集群上运行许多数据库,并且为这些数据库定义服务策略。共振将动态地增加或减少集群中服务器(个人数据库在其上运行)的数量来满足服务级目标。该任务可以自动完成,无需任何用户干预。

设想您有一个大型集群,其中有很多数据库。如果必须进行手工管理,您将不得不持续监控每一个数据库上的负载,然后必须手工关闭那些数据库的例程或产生另外的例程。关闭命令可能花费很长时间,因为在数据库例程上可能存在活动的会话。

Oracle Database 10g 为您完成这个任务。它为您持续监控负载。当需要关闭一个例程时,它自动地将活动的会话移植到该数据库其它的活动例程上。同样,当产生数据库的另外的例程时,它自动在该数据库的所有例程中均衡负载。

Oracle Scheduler

Oracle Database 10g 引进了 Oracle Scheduler,它为您提供了许多先进的功能,用来在网格中调度和执行业务和 IT 任务。您可以在不同是时间供应数据库内的工作负载,以获取更有效的资源利用。自己定义作业,它们可以

是存储的过程或者外部作业,如 C 或 Java 程序。自己定义进度表。然后将作业分配给进度表。您可以定义任意复杂的进度表。您还可以将作业分为作业类,以简化作业的管理和优先级分配。利用 Oracle 资源管理器,您可以定义资源计划,并将这些资源计划分配给作业类。您还可以在不同时间改变这些资源计划。例如,您可能认为加载一个数据仓库的作业在非高峰时间内是关键作业,而在高峰时间内则不是。

数据库资源管理器

资源管理器向 Oracle 数据库内的数据库用户、应用程序或服务供应资源。它允许数据库管理员限制分配给网格用户、应用程序或服务的 Oracle 数据库资源。这确保每个网格用户、应用程序或服务都能获得一份公平的可用计算资源。管理员定义资源计划,它根据资源使用准则(如 CPU 利用率或活动会话数)向不同的用户组分配资源。每一个用户组由一个或多个数据库用户组成。Oracle Database 10g 根据用户主机、应用程序、OS 用户名或服务为消费者组提供额外的映射。

3)数据供应

数据供应的意思是在用户需要时将信息提供给用户,而无论信息位于网格何处。要处理关于任何可用资源的信息,网格必须有效地跨分布式系统提供信息。主要

有三种方法来实现这个目的:合并、共享和联合信息。

在单个数据库中合并信息将使供应信息变得容易。在运行数据库的地方,您可以使用单个资源池。这可以更有效的利用资源。因为数据库资源被集中在一起,所以不会发生一个数据库负载过重而另一个数据库闲置的情况。它提供了容易的供应。您现在可以使用 Oracle 资源管理器向运行在数据库上的不同用户和应用程序有效地供应 Oracle 数据库资源。

如果不能集中资源,也不能在单个数据库中合并信息,那么可以共享信息来获得更有效的资源利用。Oracle Database 10g 特性(如 Oracle Transportable Tablespace 和 Oracle Stream)使您在不同数据库之间有效共享数据,从而使在不同资源间共享信息处理变得容易。

对于某些不常访问的信息(例如一个兆兆位数据库),更有效的办法是把它留在原处。对于这类信息,可以使用 Oracle Database 10g 的联合特性(如分布式 SQL、网关和物化视图)按需要访问。

超大数据库支持

Oracle Database 10g 现在支持容纳 8 exabytes(8192PB, 1PB=1024TB)数据的单个数据库。这实际上消除了对合并数据库最大容量限制。还可以将数据存储在更大的文件中,从而减少大型数据库中的文件数。此外,Bigfile Tablespace 简化了大型数据库中数据文件的管理,使得与拥有大量数据文件相关的可伸缩性问题最小化,并且利用如 自动存储管理和 Oracle Managed Files 之类的特性简化了存储管理。

ORACLE 跨平台的可传输表空间

不是总有可能将硬件资源集中在一起。例如,可能地理上分散的硬件资源无法有效地组成集群。或者数据中心限制阻碍了将硬件集中在一起。在这些情况下,Oracle 可传输表空间提供了一种非常有效的方法来共享大型数据子集,然后在不同的硬件资源上共享对这些数据的处理。

Oracle 可传输表空间为网格用户提供了一种极其快速的机制,从而将数据子集从一个 Oracle 数据库移到另一个 Oracle 数据库中。它允许将一些表空间从数据库中抽出,移到或复制到另一个位置,然后插入到另一个数据库中。抽出或插入个数据文件只涉及到读取或加载少量的元数据。可传输表空间还支持两个或多个数据库同时装载只读表空间。

Oracle Database 10g 现在支持异种可传输表空间。这个特性允许抽出表空间,用 RMAN 进行转换(如果需要),然后在不同平台间进行传输(如从 Solaris 或 HP/UX 到 Linux)。许多用户正使用这个特性来将他们的数据库移植到 Linux 上。 作为可传输表空间使用的示例,如果观察典型企业中的财务应用程序,您会发现平常它的工作负载非常轻。每小时会有几次插入或者更新操作。但在季度末,它需要大量的资源来生成报表。您能做的是,在平常,在比较强大的资源上运行这个应用程序。在季度末,使用可传输表空间特性将数据转移到更强大的资源上,并在那里进行处理。

ORACLE Streams

一些数据需要在创建或者改变时进行共享,而不是偶而批量地共享。Oracle Streams 能够使数据在网格中的数据库、节点或者刀片服务器群之间流动,并且在执行更新时同步地保留两个或更多的拷贝。它还为信息共享、组合信息队列、复制、事件、数据仓库加载、通告和发布/订阅提供了统一到单一技术中的框架。 如果考虑上面的那个例子,一旦您完成了报表,则可以将该数据库丢弃,或者使用 Oracle Streams 使两个数据库保持同步,从而可以使用第二个数据库再次完成下一季度的报表。为此,可以定义一个适合您同步需求的进度表。例如,您可以在每个午夜进行同步,或者在发生变化时进行同步。

Oracle Database 10g 为网格用户作了许多改进。您现在可以将处理从主数据库卸载到一个从数据库上;也就是说,您可以设置一个从数据库来捕获变化,而不是在主数据库上捕获正发生的变化。这提供了另一种跨资源共享工作负载的方法。

自驱式数据库

Oracle Database 10g 提供了一种新的自驱式数据库特性。这个特性利用了 Oracle Transportable Tabelspace 和 Oracle Stream,为您提供了一种轻松的方法可以在分布式硬件资源之间共享处理。此外,它提供了一种有效的方法将您的应用程序移植到网格上。

利用单个命令,您可以从一个数据库中取出一系列的表空间,将表空间传输给另一个数据库,重新定义表空间格式(如果第二个数据库是在一个不同的 OS 上),然后将表空间插入到第二个数据库中。在此期间,第一个数据库可能会发生一些

变化。Oracle Stream 将已开始捕获这些变化,然后将这些变化与第二个数据库同步。所有这些都利用单个命令来完成。如果第二个数据库在网格上,您刚刚所做的就是通过单个命令将应用程序移植到网格中。通过简单地将连接串重新嵌入到第二个数据库中,可以在以后将所有运行在第一个数据库上的应用程序移植到第二个数据库中。

ORACLE DATA PUMP 数据泵

为保证向 Oracle 数据库中高速加载以及从 Oracle 数据库中高速卸载数据和元数据,Oracle 数据库 10g 引入了一项新功能:数据泵。它可以自动管理和安排批量的、并行的加载和卸载,以实现最大吞吐量,大大地改善了数据输入和输出数据库时的性能。数据泵的基础架构可通过 L/SQL 套件的 DBMS_DATAPUMP 随时实现。这一技术是 Oracle 新的数据移动实用工具 — Data Pump Export 和 Data Pump Import — 的基础,与 Oracle 原来的 Export 和 Import 相比,性能大大提高。因此,客户的数据转移应用程序就可通过使用数据泵来完成。Oracle 数据库 10g 通过下述四个方面来实现:新的命令行输入和输出客户端(expdp & impdp),这是一个基于 Web 的企业管理器导入/导出界面和客户界面,以及用于处理复杂数据挖掘模式的自定义数据移植界面。数据泵也是 Oracle 服务器中其他几项主要功能的基础。包括基于流的复制、逻辑备用和可传输的表空间。

当移动可传输表空间时,Data Pump Export 和 Import 用来为表空间处理元数据的提取和重建。Data Pump 是卸载整个数据库或者数据库子集,然后重新

将它们加载到目标平台上的一种灵活、快速的方法。

数据泵大幅降低了大多数的批量导入/导出入操作中的损耗时间。数据泵直接路径数据卸载的一个单线程速度相当于常规直接路径导出的两倍。数据泵数据卸载的一个单线程比原始导入快 15-45 倍,当然,其操作在并行的执行线程有一定规定。

除能够提升性能外,基于数据泵的导出和导入客户系统支持所有原始的导出/导入功能和许多新功能,如检验点重启、工作负载估算、极为灵活而细粒度的对象选择、从另处直接载入实例、以及具体工作监测等。

分布式 SQL、网关和分布式事务

不是总有可能合并或者共享信息。数据中心的限制或者地理上分散的资源可能阻碍实现此要求。此外,还可能因为安全性问题。您可能不希望第二个数据库上的用户看到整个数据集。或者不能有效地移动数据 — 例如,您可能有一个一兆兆位的数据集,并且它很少被访问。Oracle Database 10g 提供了一种极其强大的联合技术来帮助您解决这些问题。利用这些技术,可以把数据留在原处,并按需要访问数据。

Oracle 分布式 SQL 允许网格用户有效地访问和集成存储在多个 Oracle 和非 Oracle 数据库中的数据。网关利用分布式 SQL 向网格用户提供透明的远程数据访问,从而依靠其它任何数据库运行它们的应用程序,且无需对应用程序作任何代码修改。在不同数据存储器之间进行集成数据和管理事务的同时,Oracle 数据库智能地优化执行计划,从而以最有效的方式访问数据。Oracle XA 功能允

许网格用户在多个资源之间(如原有的应用程序和第三方应用系统)协调分布式事务。

此外,Oracle Database 10g 还提供了外部表格和 Bfile 特性,它们让您在文件系统上保留数据,同时通过 Oracle 数据库 API 为网格用户提供访问。外部表格为您提供了到文件中结构化数据的 SQL 访问。Bfile 提供到文件中非结构化数据的只读访问。

4)操作和管理优势

网格的动态特性对网格基础架构施加了严格的操作要求。您希望网格基础架构完全依靠自身 — 它应当能够承受系统故障,并适应不断变化的业务需求。您希望能够以一种更全盘化的方式来控制网格环境,而不是在一个组件一个组件的基础上进行控制。最后,安全性在网格计算环境中极为重要 — 您不希望数据和资源有任何不必要的暴露。

Oracle 数据库 10g 的一大主要开发目标就是建立可以自动处理的解决方案,能够大大简化系统运行的管理任务,从而大幅降低数据库管理员为这些活动而花费的时间。为实现此目标,Oracle 数据库 10g 引入了一项高级的自我管理基础架构,该架构允许数据库了解自身的信息,并利用此信息调整不同的工作负载或自动纠正任何潜在的问题。这也是 Oracle 数据库 10g 在可管理性方面最让人关注的成就之一。近年来几乎每家主流的 IT 软件供应商都宣称其已经简化了产品的使用或者管理,但他们中的大多数只不过是使用了简单的经验法则,并过分简化了一些数据库管理员在日常运用中必须使用的困难选择。只有 Oracle 数

据库 10g 提供了一个智能化的自我管理基础架构,并集成到核心的数据库引擎之中,它允许在提供常规服务的同时,亦可作出自我管理决策。最终的结果是:只有 Oracle 数据库 10g 才能够真正宣称它是当今绝无仅有的一款自我管理数据库产品! 自我管理的数据库

Oracle 数据库 10g 的自我管理基础架构包括四大组件:自动工作负载仓库、自动维护任务基础架构、服务器生成告警和顾问框架。下面我们将逐一详细介绍这四大组件。

自动工作负载仓库 自动工作负载仓库(AWR),顾名思义,就是每一个 Oracle 数据库 10g 的内置信息库,其包括特定数据库和其他类似信息的运行统计数据。在常规的时间间隔中,Oracle 数据库 10g。对其所有的关键数据和工作负载信息进行了快照,并将它们储存在 AWR中。在默认配置中,此快照每 30 分钟进行一次,但系统管理员可以改变此频率。快照通常在 AWR 中储存一段时间(默认值为7天),在此之后它们将自动清除。AWR 旨在实现轻型化并完全地自我管理,确保不会对管理员添加任何的额外负担。

AWR 捕捉所有先前已被 Statspack 捕捉到的信息乃至更多。这些捕捉到的数据允许系统级和用户级进行分析并执行,更进一步减少重复的工作负载需求,以进行问题诊断。最优化的执行确保了捕捉到的数据高效地执行,以实现企业运营开支的最小化。这些优化的一个范例就是对 SQL 语句的捕捉。在这些数据库中运行时,我们维持 SQL 语句数据在快照之间的增量。这些优化允许 Oracle 数

据库 10g 以一种高效的方式,只捕捉那些自上一次快照以来能够显著影响系统负载的语句,而不是必须捕捉所有的语句。这一方面既提升了 SQL 捕捉的性能,另一方面又大幅降低了捕捉 SQL 语句的数量和时间。

AWR 构成了Oracle 数据库 10g 中所有自我管理功能的基础。它相当于一个信息源,向 Oracle 数据库 10g 提供了一个透视历史的角度,对其如何被使用、以及如何针对系统的运行环境作出精准而适宜的决策进行了翔实描述。

自动维护任务 AWR 向 Oracle 数据库 10g 提供了绝佳的“自我了解”,以使其明白自身是如何使用的。通过分析储存于AWR 的信息,数据库可以识别执行日常维护任务的必要性,如优化数据更新、重建索引等。自动维护任务的基础架构确保 Oracle 数据库能够自动执行这些操作。它使用 Oracle 数据库 10g 引入的一项强大的时间安排功能(通过名为 Unified Scheduler 的新特性),在一个预定义的“维护窗口”中运行这些任务。通过默认配置,该维护窗口每天晚上 10 点开始运行,直至第二天早上 6 点结束,并贯穿于整个周末。“维护窗口”的所有属性(包括启始/结束时间、频率、每周进行的天数等)都可自定义,允许针对特殊需求的环境进行定制。同时,自动维护任务对正常数据库运行的影响也是有限的。 在 Oracle 数据库 10g 中,被优化的数据可以通过使用自动维护的基础架构来完成自动更新。在未来,它将应用于更多的自动任务处理之中。

服务器生成告警 对于那些系统不能自动解决,需要通知管理员的问题如运行空间不足,Oracle 数据库 10g 包含了一个新的自我管理基础架构组件,即服务器生成告警。正如其

名称所示的那样,Oracle 数据库 10g 有能力进行自我监控,并向系统管理员高效、及时地发出告警,通知其处理即将来临的问题。由于监控行动与数据库的正常运行同时发生,它显得更加高效,大大降低了监控资源,其开销几乎可以微乎不计。它同样保证了数据库意识到了即将发生的问题,并及时将这些讯息通报给管理员。这种功能与当今可用的监测工具使用的机制相差甚远,后者常常检测数据库来评估报警信息,占用大量的系统资源。需要注意的是,由于后者的检测通常是通过一项预设置的时间间隔来完成,它可能导致问题检测的延迟并最终导致报警被延迟。

Oracle 数据库 10g 自带生成的报警功能不但可以报告问题,还在进行问题汇报时提供相关建议性的解决办法。这就确保了更快捷地解决问题,阻止潜在故障的发生。

顾问框架 Oracle 数据库 10g 包括对数据库中不同子系统提供咨询建议的一系列顾问功能,可以自动决定如何使相应子要素的运行进一步优化。例如,“SQL 调整”和“SQL 访问顾问”功能为如何更快速地运行 SQL 语句提供了建议。其次还有一些关于内存顾问的功能,它们可以帮助确定内存中不同组件的大小,而无需使用试错法。另外如 Segment Advisor 功能,它可以处理所有与空间相关的问题,诸如对废弃空间利用的建议、预测新的表格和索引的大小、分析新的增长趋势等;还有如 Undo Advisor 功能,告诉您已作废的表空间的大小。为确保这些顾问功能的一致性和均匀性,允许它们与其他功能的无缝交互,Oracle 数据库 10g提供了“顾问框架”功能。该顾问框架为所有顾问功能提供了一致模

式,对应该调用哪一项顾问功能以及如何进行结果汇报进行了统一。尽管这些顾问功能主要用于数据库自身性能的优化,它们也可以被管理员调用,以帮助管理员获悉某一特殊子组件机能的更多信息。由于拥有统一、一致的界面,管理员可以更轻松地使用这些顾问功能,并使用这些生成的信息实现对系统的更好理解。

性能的故障诊断和排除

构建于 AWR 捕捉的数据之上,Oracle 数据库 10g 包括一项自动诊断功能,名为“自动数据库诊断监测”(ADDM)。ADDM 使 Oracle 数据库 10g 可以诊断自身的性能并确定对发现的问题如何进行解决。ADDM 在每一 AWR 数据捕捉后自动运行,并对该数据进行性能检测。

ADDM 检查 AWR 中所捕捉的数据,前瞻性地分析并确定系统面临的主要问题,同时在多数情况下提供建议性的解决方案,并量化预期获得的利益。ADDM 对性能采取整体分析,使用时间作为组件间的通用单位。ADDM 的目标是识别系统中那些消耗“数据库时间”最多的一些领域。ADDM 再深入分析并查明这些问题的根源所在,而不只是简单地描述故障现象和汇报该问题将如何影响系统。如提供相关建议后,它将汇报其预期的收益,同样也是基于时间的收益。时间的使用允许对一些问题的影响或是建议进行比较。先前的许多问题都是基于价值判断和经验来识别,而不是基于量化影响的评析。拥有较高登录量的系统就是一个很好的示例。单凭经验法则可能会得出这样一个结论:每秒登录的数量超过 10 个以上,将可能出现问题并厄需解决。但实际情况下许多系统都可以大幅度地承载更大的登录数量,其也并不会明显影响系统的性能。在 AWR 中使用新

的时间分布数据,ADDM 能够作出量化汇报,如登录系统时间占耗费于数据库全部时间的 20%。该量化值可说服必须处理问题或安排处理此问题的人,而不是仅仅发出一条语句“我认为您登录系统太过频繁”。

ADDM 通过对数据库中耗费时间最多的活动进行关注和分析,并通过一项高级的问题分类树进行详细研究。ADDM 使用的问题分级树凝聚了Oracle HQ 和其它性能专家多年的性能调整经验。这些分类规则的大多数已经在 Oracle 内部工具中得到使用,Oracle Support 组织使用这些内部工具用于 Statspack 文件处理已有一年多。在开发分类树中,其主要的目的是处理最常见的问题,并细究问题的根源,而不只是汇报故障现象。 ADDM 检测到的一些常见故障如下:

 CPU 瓶颈  不良的连接管理  过多的句法分析  锁争用  IO 容量

 低于 Oracle 内存结构的容量大小,如 PGA、缓冲器

缓存和记录缓冲器等。  高负载的 SQL 语句  高 PL/SQL 和 Java 时间

 高检测点负载,如小规模的日志文件、过多的 MTTR

设置

 RAC 的特定问题

除可以汇报潜在的性能故障外,ADDM 还能够描述系统的非故障区域。子组件(如 IO 和内存等)不会显著影响系统的性能,在早期就从分类树中去除并列出,以使数据库管理员能够尽快看到,在这些领域中执行相关操作几乎没有什么作用。再者,它节省了时间,避免为处理那些不会影响系统整体性能而进行不必要的努力(包括人力上和硬件上的)。

Oracle 数据库 10g 是首家引入具备此类革命性的自我诊断功能的数据库产品,它将彻底重写数据库管理的定义。管理员不再需要首先收集大量的诊断数据,然后花费无止境的时间来分析,以找出解决问题的答案。有了 Oracle 数据库 10g ,只需按照 ADDM 的建议轻点几下鼠标,其余的就无需再理会了。

应用程序/SQL 调整

应用设计问题是性能问题中最主要的因素。所有开发人员、数据库管理员和系统管理员的调整才智,都不能弥补由应用结构和设计缺陷引起的延迟。因此,数据库系统性能调整的一个重要方面就是 SQL 语句的调整。

由于查询优化器采用关键决策,其将对某一项查询(如是否使用索引)的性能产生重要影响,Oracle 为此投入了大量开发精力,创造了业界最完善、最成熟、并完全经过测试后的查询优化程序— 基于成本的优化器。该基于成本的优化器同时还广泛应用于业界主要的套件应用程序之中,如 Oracle 应用程序、SAP、和 PeopleSoft 等。由于 Oracle 数据库是这些应用程序的主要使用平台,这也说明了 Oracle 优化器在大量的实际应用设置中取得了极大成功。相应地,在

Oracle 数据库 10g 中,基于规则的优化器(RBO)不再适用,基于成本的优化器是本版本中唯一支持的优化器。在本白皮书的其他部分中,“优化器”一词即指基于成本的优化器。

尽管Oracle 数据库提供了尽可能最佳的查询优化技术,即在大多数情况下无需管理员的任何干预,就可以实现最优的应用/查询性能,但在一些极个别的情况下,由于应用程序的特殊性或数据分布的独特性,可能导致一定的 SQL 语句消耗整个系统特别多的资源。在这些特殊情况下,SQL 的调整过程包括以下三个基本步骤:

 通过查看系统以往的 SQL 运行历史(如储存于

V$SQL 动态查看的游标高速缓存数据),识别负责工作负载和系统资源大额共享应用的高负载或主要的 SQL 语句;

 检验由查询优化器生成的执行计划是否对这些语句进

行了良好的执行;

 采取尽可能的纠正措施,对执行较差的 SQL 语句生成

更好的执行计划。

上述三个步骤将一直重复进行,直至系统性能达到令人满意的水平或不再需要对语句进行调整。除消耗大量的时间外,上述的 SQL 调整过程也需要高度的专业知识。只有对应用程序和数据库有资深了解的人员方可承担此任务。

而 Oracle 数据库 10g 完全自动化了 SQL 的调整过程。ADDM 对那些消耗大量系统资源、并导致出现性能问题的 SQL 语句进行识别。此外,消耗 CPU 和

共享内存的主要 SQL 语句可以在 AWR 中自动捕捉。因此,对高负载的 SQL 语句的识别自动地在 Oracle 数据库 10g 中发生,不需要管理员任何的人工干预。

在自动识别这些消耗系统资源的主要 SQ L语句后,Oracle 数据库 10g 可以自动地分析它们,并提供建议性的解决方案,其通过查询优化器新加的自动调整功能来实现,即“自动调整优化器”。该自动调整优化器通过“SQL 调整顾问”(SQL Tuning Advisor) 的建议功能来完成。SQL 调整顾问采用一条或几条 SQL 语句,并生成合适的调整方案和调整建议。管理员需要做的就是调用该 SQL 调整顾问而已。一旦该调整完成,优化器分析有问题的 SQL 语句,并提供建议性的解决方案。值得注意的是,请记住此处的解决方案完全来自优化器,全然不是某些使用预定义启发式的外部工具。该优化器具有以下几大优势:a) 该调整由直接对执行方案、也即对 SQL 性能负责的系统组件来完成;b) 整个调整过程完全是基于成本的,可以自然地解释对查询优化器进行的任何更改或者增强;c) 整个调整过程考虑到了 SQL 语句过去的执行数据并优化了该语句的优化设置;并且 d) 它通过查询优化器从常规数据中收集了有用的辅助性信息。 自动调整优化器可以分为以下四种类别

数据分析:自动调整优化器检查每个查询目标已经丢失或是失效的数据,并对收集类似数据提供建议。在建议不能得以执行的情况下,它也收集辅助性信息来补充供给已经丢失的数据或是纠正失效的数据。由于 Oracle 数据库 10g 能够自动收集优化数据,收集数据通常都不是问题,除非由于特殊原因导致该自动收集功能不能投入使用。

SQL 监测:自动调整优化器检验自身的预估,并收集辅助性的信息,对预估错误进行移除。它同时可以基于 SQL 语句的过去执行历史,以定制化的优化设置模式(如第一行或所有行)来收集辅助信息。它使用辅助信息建立 SQL 监测,并提供建议创建它。SQL 监测 一旦创立,它可以使查询优化(在正常模式下)生成较好的调整方案。SQL 监测最强大的功能在于不需要改变任何句法,就可以调整查询,由此向 Oracle 管理员和客户提供了独特的、内置数据库的解决方案,来调整内嵌于打包应用程序的 SQL 语句。

访问路径分析:自动调整优化器可以探寻一个新的索引是否可用于显著改善访问查询中的每个表格,并对何时创建些索引提供建议。

SQL 结构分析:自动调整优化器试图识别那些将自己提供给不良方案的 SQL 语句,并对重构这些语句提供相关建议。该建议性重构会在语法和语义上对 SQL 代码进行更改。

访问路径和 SQL 结构分析都会对应用程序的性能调整十分有用,不管该应用程序是正在开发的,或是管理员/开发人员都可以访问应用代码的自开发产品。 SQL 访问顾问也是 Oracle 数据库 10g 在可管理性方面的另一大主要增强。它可以自动分析针对特定工作负载的模式设计,并建议索引和物化视图,对工作负载进行适当的创建、保留或删除删除操作。在生成建议时,SQL 访问顾问考虑到了加入新索引和物化视图可能会对一些操作活动(如插入、修改、删除等)产生影响。SQL 访问顾问提供一种易于使用的界面,即使是初通系统知识的用户也能很好使用。它还可以在不影响产品系统的情况下运行,因为数据可从产品系统中采集,再被载入另一个运行 SQL 访问顾问的机器上。

Oracle 数据库 10g 真正使优化应用性能如同孩童游戏一般容易。无论是多么复杂的问题,无论是多么受限的环境,Oracle 数据库10g 总能对 SQL 的调整问题提供合适的解决。

内存管理

内存是一项宝贵的系统资源,管理员常常为如何更好地优化其使用而花费大量时间。Oracle 数据库 10g 中针对内存管理的一大主要自我管理功能即为:自动共享内存管理 (SGA)。该功能对Oracle 数据库中共享内存进行自动化管理,将管理员从人工配置共享内存组件的工作中解放出来。在 Oracle 数据库 10g 中,系统管理员只需使用一新的参数 SGA_TARGET,指定某一实例可用的 SGA 内存数量。然后数据库服务器就可自动在不同组件中按要求分配内存。自动共享内存管理功能基于数据库内部的高级启发式技术,可以监测内存分配并根据工作负载需求进行变化。

自动共享内存管理功能一旦启动,最常配置的组件就可以自动按大小进行排列。这些组件包括:

1. 共享池(用于 SQL 和 PL/SQL 执行) 2. Java 池(用于 java 执行状态)

3. 大池(用于大额分配如 RMAN 备份缓冲) 4. 缓冲器缓存

对于上述组件,无须设置其大小,对于那些看起来为零值的组件,亦无须设置默认参数。当某组件需要内存时,它可以要求从另一组件通过内部自动调整机制来转移其所需内存。其无需用户干预,可以直接自动完成。 每一组件的性能都由 Oracle 实例进行监控。现在,实例使用内部视图和数据,根据组件的不同大小决定如何最佳地分配内存。由此,随着工作负载变化,内存也被重新进行分配,以确保在新的工作负载下性能的最佳化。该算法永远不会结束,总是力图全面考虑长期和短期等因素来尽量找到一种最佳的分配。 管理员并非无所作为,在这些自动调整组件中,他同样可以针对每一组件设定一最小值来达到其所需要的控制。在一些特殊情况下,如管理员认为某一项应用需要最小数量的内存时,该功能尤为有用。

如果使用服务器参数文件 (SPFILE),系统在停止运行时该自动调整的组件大小可以被存储。这意味着系统在每次重新运行时,无需从头开始重新了解特定的工作负载。

使用自动 SGA 内存管理的最大好处就在于,不同 SGA 组件的大小是灵活的,它们可能随着工作负载的变化而作出相应调整,无须用户进行人工干预。除可以使内存使用的性能最大化外,自动共享内存管理还能提升工作负载性能。在人工配置下,经过编译的 SQL 语句由于缺乏足够的容量,有可能频繁地退出共享池。这将产生频繁的、困难的语法分析,并因此降低其性能。但是,一旦使用自动管理,内部调整算法将监控工作负载的性能,并且扩充共享池(如果认为这样可以减少语法分析的数量)。这是自动共享内存管理中最值得称道的地方,因为它无须任何额外资源或是人工调整,即可方便地增强性能。由于只需处理一项参数,

管理员的工作大大减轻。系统管理员只需确定一种实例可以使用的 SGA 内存数量,其他的就不用考虑了。他们不用再计算每单个组件的容量大小。此外,他们还可以放心的是,除非系统全部耗完内存,否则不会出现内存出错的情况。

空间管理

空间管理是数据库管理员最耗费时间的任务之一。幸运的是,Oracle 数据库 10g 可自动管理其空间使用,就潜在的空间问题向管理员发出警报,并推荐可能的解决方案。

前瞻性空间管理 Oracle 数据库 10g 具有非侵入性、及时检查功能,可以监视数据库服务器中空间的利用情况。Oracle 数据库 10g 可在正常空间分配和解除分配操作期间,自动监视空间的利用情况,并在可用空间的可用性低于预定义的阈值时,向管理员发出警报。Oracle 数据库 10g 的空间监视功能可方便灵活地建立,不会对性能造成量化影响,并且在所有的表空间类型中都可用。此外,该功能在整个企业管理器 (EM) 以及 SQL 中也都可用。由于监视操作与数据库服务器中的空间分配和释放同时进行,因而可以确保随时向用户提供空间使用信息。

通知采用服务器生成的警报机制来执行。当数据库中出现特定空间的相关事件时,就会触发警报。例如,当超出表空间的空间使用阈值时,即发出警报。此外,在可恢复的会话遇到空间用完的情况时,也会发出警报。警报会立即发送给 DBA,以便其采取纠正措施。DBA 可选择收到警报信息传呼,然后向表空间增加空间,以便被中断的操作能够继续执行。

数据库带有一组警报阈值缺省设置。DBA 可以覆盖给定表空间的缺省值,或通过 EM 为整个数据库设置新的缺省值。

智能容量规划 DBA 在管理分配给各段的空间上面临诸多挑战。可能会因难以预测对象的空间要求或无法预测对象的增长趋势而导致空间分配过度。对于进行了大量更新的表,最终得到的段可能带有很多内部碎片,甚至可能会存在行链接。这些问题可能会在数据库中引起大量的问题症状,从性能降低到空间浪费,无所不包。Oracle 数据库 10g 提供了应对这些挑战的若干新特性/功能。

Oracle 数据库 10g 可根据给定表的结构和预计行数来预测其大小。这是一种强大的“假定方案”工具,它允许在创建或重建对象之前预测其大小。如果表空间具有不同程度的管理策略,那么该工具将有助于确定最大限度减少内部碎片的表空间。对象空间顾问可向带有索引的表以及“按索引组织的表”提供服务。 增长趋势报告可使 DBA 进入容量规划的下一步:增长规划。大多数数据库系统都会随着时间的推移不断扩展。增长规划是供应资源的一个重要方面。为了帮助实现这一过程,Oracle 数据库 10g 跟踪 AWR 中的历史空间利用情况,并使用该信息预测未来的资源要求。

透明的空间恢复 Oracle 数据库 10g 提供了对数据进行适当重组的能力,以便通过减少数据来最有效地利用空间。段的收缩可使未使用的空间用于表空间中的其他段,从而可以提高查询和 DML 操作的性能。

段收缩功能不但压缩了段中已用的空间,而且还取消了段空间的分配。被取消分配的空间将被返回表空间,并可用于表空间中的其他对象。内容不多的表可能会在扫描整个表时产生性能问题。通过进行收缩,表中的数据即会被压缩,从而降低段的高水印。这就会在进行整个表的扫描时,读取较少的程序块,进而加快运行。

段收缩是一项联机操作——正在被收缩的表可在段被收缩期间进行查询和 DML 操作。同时,段收缩也是就地进行的。较之对压缩和恢复空间进行“联机表重定义”,这是一个关键优势。DBA 可以每晚安排数据库中一个或多个对象的段收缩,而无需向数据库提供额外的空间。

段收缩可作用于堆栈、IOT、LOB、实体化视图和索引,使用自动段空间管理在表空间中激活行移动。当对带有索引的表进行段收缩时,这些索引会在移动行进行压缩时自动得到维护。但是,用户定义的触发器不会被触发,因为压缩是一项纯物理操作,不会影响应用程序。注意:段收缩只能对行移动被激活的表进行。只有那些明确跟踪对象的行标识的应用程序才不能被压缩,因为该应用程序跟踪的是对象中的行的物理位置。

为了能轻松鉴别进行收缩的候选段,Oracle 数据库 10g 还包含了段顾问。段顾问可对个别对象进行增长趋势分析,以便确定 7 天后对象中是否还会剩余额外的空间。之后,它使用恢复空间目标来选择收缩的候选对象。段顾问可在综合模式下被调用。在该模式下,除了使用工作负载库中预先算出的统计数字外,段顾问还会对对象进行抽样验证,以便调整对象的统计数字。尽管这种操作需要占用更多的资源,但在需要时可用于进行更精确的分析。

存储管理

存储布局和配置会对整个数据库性能产生重大影响。因此,数据库管理员以及存储和网络管理员必须要处理一些困难的任务,例如查找对性能产生负面影响的热点,并移动数据文件以减少空间争用。值得庆幸的是,Oracle 数据库 10g 新增的自动存储管理 (ASM) 功能可以使这种状况大为改观。

自动存储管理提供了对文件系统的垂直集成以及专门为 Oracle 数据库文件而建立的容量管理器。ASM 可在所有可用的资源中分布 I/O 负载,以便在免除手动 I/O 调节需要(通过散开数据库文件来避免热点)的同时优化性能。ASM 可帮助 DBA 管理动态数据库环境,后者无需关闭数据库,即可增加数据库的大小,同时调整存储分配。

自动存储管理允许 DBA 定义一个存储池(称作磁盘组)。然后,由 Oracle 核心程序管理文件命名和数据库文件在该存储器组上的放置。DBA 可通过新的 SQL 命令(增加或删除磁盘)来改变存储器分配(创建磁盘组、改变磁盘组和删除磁盘组)。用户也可通过使用企业管理器 (EM) 和数据库配置助手 (DBCA) 来管理磁盘组。

Oracle 数据库 10g 向 DBA 提供了一种简化的存储资源管理界面。自动存储管理免除了手动 I/O 性能调节的需要。它将存储虚拟化到一组磁盘组,并提供冗余选件加强保护。ASM 通过自动再平衡促进非侵入性存储配置的改变。它在所有可用的存储设备中分散数据库文件,以便优化性能和资源利用。它是一种能力,通过实现手动存储设备的自动化来节省 DBA 的时间,使其能够以更高的效

率管理更大、更多数据库。

配置管理

企业管理器 10g 拥有若干功能强大的新配置管理设施,可帮助检测配置变化和差异,并执行最佳实践配置参数设置。这些功能并不仅限于 Oracle 软件本身,还伸延到基本主机和操作系统。

企业管理器 10g 连续监视所有 Oracle 系统的配置,内容包括最佳实践参数设置、安全设置、存储设备和文件空间条件以及推荐功能的使用。发现问题的系统会自动为用户标记出来,并附上具体系统配置问题的详细说明。譬如,企业管理器会告知数据库管理员使用新的功能,如自动取消管理或本地管理表空间(如果目前未使用这些功能的话)。这种系统配置的自动监视功能促进了使用最佳做法进行配置管理,降低了管理员的工作量以及出现可用性、性能或安全性降低等风险。

Oracle 企业管理器 10g 还大大方便了软件修补,这要归功于其内置的 MetaLink 集成功能。最主要的是,企业管理器可自动就新的关键补丁(例如重要的安全补丁)向用户发出警报,并为需要该补丁的所有系统加上标志。此外,用户也可以调用企业管理器补丁向导,找出适合本次安装的临时补丁。通过企业管理器补丁向导,用户可选择将这些临时补丁从 MetaLink 下载到企业管理器的补丁缓存器,从而避免重复下载。用户也可选择在一个或多个目标系统上实施适当的补丁,以便日后手动应用。要进一步实现修补过程的自动化,用户也可以提供一个可定制的补丁应用脚本,由驻留企业管理器代理根据用户定义的时间在

目标系统执行。随着这些补丁被应用到系统中,相应的 OUI 库会自动更新,随时了解系统正确的补丁级别。

ORACLE 企业管理器网格控制

甚至使用自动管理的 Oracle Database 10g 时,管理员仍想要管理和控制企业级网格的某些方面。Oracle 企业管理器网格控制提供了一个单一的工具,它不仅能够监控和管理网格中的每个 Oracle 软件 — Oracle Application Server 10g 和 Oracle Database 10g,而且还可以通过 APM(应用程序性能管理)、主机、存储设备和服务器负载均衡器监控和管理 Web 应用程序。它还能够通过 SDK 进行扩展,所以用户可以使用它随时监控其它不被支持的组件。网格控制将网格基础架构的可用性和性能看作一个统一的整体,而不是看作孤立的存储单元、数据库和应用服务器。IT 工作人员可以将硬件节点、数据库和应用服务器分组为单个的逻辑实体,然后将一组对象作为一个单元来管理。

网格控制提供了一个简化的、集中化的管理框架,用于管理企业资源和分析网格的性能。利用网格控制,网格管理员能够在整个系统的软件生命周期内、从前至后、从网络上的任何位置通过 Web 浏览器来管理整个网格环境。

利用网格控制,管理员能够启动和运行任意数量的集成 Oracle 数据库特性(如 Data Pump、Resource Manager、Scheduler、Transportable Tablespaces 等等),管理员还能够监控、诊断、修改和调整网格各处的多个数据库。管理员还能够以不同的时间间隔调度多个系统上的任务,与其他的管理员共享任务,以及将相关的服务集中在一起,以方便管理。

网格中的管理安全性

网格的动态特性使得安全性极为重要。企业需要确保它们的数据是安全的。适当的用户必须正好拥有对适当数据的访问权。同时,他们需要一种简单的方法来管理企业各处的安全性。Oracle Database 10g 使企业在网格中管理安全性需求变得容易。

企业用户安全性 企业用户安全性在一个目录中集中管理用户证书和权限。就不需要在不同网格间的多个数据库中创建相同用户。基于目录的用户能够根据在目录中指定的证书和权限来验证和访问企业范围内的所有数据库。

利用 Oracle Database 10g,网格用户能够在一张智能卡中存储一个 SSL 证书,用于网格的漫游访问。Oracle Database 10g 还自带了 Oracle Certificate Authority,它简化了对网格用户的证书供应。

虚拟专用数据库 (VPD) VPD 提供了服务器强制的、细化的访问控制,以及一个安全的应用程序环境,它能用于网格环境中,从而使使用相同数据库的多个用户、合作伙伴或部门能够安全地访问任务关键的数据。通过确保物理数据的分离,VPD 实现了单个数据库内的每用户和每消费者数据访问。VPD 是通过将一个或多个安全性策略与表格和视图关联在一起而实现的,现在在 Oracle Database 10g 中还与表列关联在一起而实现。

ORACLE 标签安全性

Oracle 标签安全性为管理员提供一个随取随用的行级、以及现在的列级安全性解决方案,它用于控制基于敏感度的数据访问,从而不再需要人工编写这样的策略。利用 GUI 工具 Oracle Policy Manager,管理员能够快速地为应用表格内的行和列创建和分配 Oracle 标签安全性策略。此外,Oracle Database 10g 增加了 Oracle 标签安全性与 Oracle Internet Directory (OID) 的集成,从而允许在动态变化的网格环境内集中管理策略。

ORACLE 闪回技术

当授权用户犯错,您需要使用工具来更正这些错误。Oracle 数据库 10g 提供了一系列人为错误更正技术,称为闪回。闪回从根本上改变了数据恢复。过去,数据库在几分钟内就可能损坏,但需要几小时才能恢复。利用闪回技术,更正错误的时间与错误发生时间几乎相同。而且它非常易用,使用一条短命令便可恢复整个数据库,而不必执行复杂的程序。闪回技术提供了一个 SQL 界面,能够快速分析和修复人为错误。闪回技术为本地数据损坏提供了细粒度外部分析和修复,如当错误删除客户订单时。闪回技术还支持修复更多广泛的损坏,同时快速避免长时间停机,如当本月的所有客户订单都被删除时。闪回技术是 Oracle 数据库独有的特性,支持各级恢复,包括行、事务、表、表空间和数据库范围。

闪回查询 Oracle 闪回查询是 Oracle9i 数据库的一个特性,使管理员或用户能够查询过去某些时间点的任何数据。这一强大的特性可用于查看和重建因意外被删除或更

改而丢失的数据。例如:

Select * from EMPLOYEE as of ‘2:00 P。M。’ where …

该语句显示出今天下午 2 点以后,表 EMPLOYEE 中的行。开发人员可以使用该特性在其应用程序中构建自动错误更正功能,使最终用户能够及时撤消和更正其错误,而无需将此任务留给管理员来执行。闪回查询非常易于管理,数据库可自动保存必要的信息,以在可配置时间内重新将数据恢复到过去。

闪回版本查询 闪回版本查询提供了一种查看行级数据库变化的方法。它是 SQL 的扩展,支持以特定时间间隔检索所有不同版本的行。例如:

Select * from EMPLOYEE versions between ‘2:00 PM’ and ‘3:00 PM’ where …

该语句显示出今天下午 2 点至 3 点之间该行的各版本,每个版本都由不同的事务所更改。使用 DBA 可指出数据何时、如何被更改的,并追溯到用户、应用程序或事务。这使得 DBA 可以跟踪数据库中的逻辑破坏并加以更正。它还让应用开发人员能够对其代码进行调试。

闪回事务查询 闪回事务查询提供了一种查看事务级数据库变化的方法。它是 SQL 的扩展,能够看到事务带来的所有变化。例如: Select

*

from

DBA_TRANSACTION_QUERY

where

xid

=

‘000200030000002D’;

该语句显示出该事务引起的结果性变化。此外,返回补充 SQL 语句,并用于撤消由事务引起的各行变化。使用精密工具(如 DBA),应用开发人员可以精确地诊断和更正数据库或应用中的逻辑问题。

闪回数据库 要将 Oracle 数据库恢复到以前的时间点,传统方法是进行时间点恢复。然而,时间点恢复需要用数小时甚至几天的时间,因为它需要从备份中恢复整个数据库,并恰好恢复到数据库发生错误前的时间点。由于数据库的大小不断增长,因此需要用数小时甚至几天的时间才能恢复整个数据库。 闪回数据库是进行时间点恢复的新战略。它能够快速将 Oracle 数据库恢复到以前的时间,以正确更正由于逻辑数据损坏或用户错误而引起的任何问题。闪回日志可用于捕获旧版本的变化块。一种方法是不间断备份或存储快照。当需要执行恢复时,可快速重放闪回日志,以将数据库恢复到错误前的时间点,并且只恢复改变的块。这一过程非常快,可将恢复时间从数小时缩短至几分钟。此外,它还非常易用。通过发出以下简单的命令,可将数据库恢复到 2:05 PM。 FLASHBACK DATABASE to ‘2:05 PM’;

它的使用不要求进行磁带恢复,没有冗长的停机时间,没有复杂的恢复过程。您还可以使用闪回,然后以只读方式打开数据库,并检查其内容。如果您确定闪回过远或不足,您可以重新发出闪回命令,以找到数据库损坏前的正确时间点。闪回同时与 Data Guard 相集成,因此您可以一起闪回生产和待机数据库(参见以下数据保护部分)。

闪回数据库就像是为数据库安装了一个倒回或撤消按钮。

闪回表 闪回事务查询提供了一种查看事务级数据库变化的方法。它是 SQL 的扩展,使您可以看到事务引起的所有变化。例如:

FLASHBACK TABLE orders, order_items TO TIMESTAMP (JUL-07-2003, 02:33:00);

该命令可倒回在当前时间与过去指定时间戳记之间对订单和 order_items 表所做的所有更新。闪回表在原地在线执行这一操作,它可维护各表之间的任何参考完整性限制。 闪回表就像为一个或一组相关表安装了一个倒回或撤消按钮。

闪回删除 无意丢弃或删除数据库是人们经常会犯的错误。经常听到 Oracle 支持人员说:“在我删除那个表时,我以为我已经连接到了测试数据库。”用户已认识到他们错了,但已经太晚了,没有办法轻松恢复被删除的表及其索引、约束和触发器。对象一旦被删除就永远被删除了。如果真是重要的表或其它对象(如索引、分区或集簇),DBA 不得不执行时间点恢复,但这非常耗时,而且会导致丢失最近的事务。 闪回删除针对删除 Oracle 数据库 10g 中的对象提供了一个安全网络。当用户删除一个表,Oracle 会将它放到垃圾箱中。垃圾箱中的对象一直会保留,直到用户决定永久删除它们或包含该本的表空间不足。垃圾箱是一个虚拟容器,用于存放所有被删除的对象。用户可以查看垃圾箱,“撤消”被删除的表及其相关的对象。例如,可以发出以下命令来“撤消”雇员信息表及其所有相关对象。

FLASHBACK TABLE employee BEFORE DROP;

闪回删除就像是为一个表及其相关对象安装了一个撤消按钮。

快速备份和恢复

企业数据的备份工作不可或缺。虽然故障很少发生,但多次故障可能导致甚至是存储子系统上映射的数据无法使用。幸运的是,Oracle 提供了在线工具来对您的所有数据进行备份,从之前的数据备份中进行恢复,以及恢复数据变化到故障发生前一刻的状态。

备份一个大型数据库系统并不是一项简单的任务。一个大型数据库可能由分布于众多不同磁盘上的数百个文件组成。如果遗漏对一个重要文件进行备份,将可能导致整个数据库备份无法使用。通常这些损坏的文件在使用之前通常不会被发现。恢复管理器(RMAN)是一款用于管理 Oracle 数据库的备份、修复和恢复流程的工具。它负责创建和维护备份政策,同时对所有备份和恢复工作进行分类。所有数据库都将进行损坏分析,以避免将损坏的数据引入至备份文件中。更为重要的是,恢复管理确保了所有必需的数据文件均进行了备份,同时整个数据库可以进行恢复。

恢复管理在一个用户指定的窗口中,自动对所有恢复数据库所需的文件进行记录。它能够自动重新开始中断的操作,处理损坏的日志文件和恢复一个单独的数据库,同时保持数据库仍然在线。

Oracle 数据库 10g 中的 RMAN 显著增强了数据库的备份和恢复功能。RMAN 可以自动管理备份并将所有数据恢复至快速恢复区。快速恢复区是一个统一的磁盘存储位置,面向 Oracle 数据库内的所有恢复文件和工作。考虑本文

之前所述的存储设备的全新经济特性,将备份文件存储到磁盘上将比磁带能够更快恢复。而更为重要的是,如果需要数据库介质恢复,即时可用的数据文件备份将可以显著缩短数据库恢复时间。

恢复管理负责管理快速恢复区内的所有恢复文件。RMAN 将自动在快速恢复区创建所有备份文件,并管理空间。档案库存储器将把档案日志写入快速恢复区,RMAN 负责自动删除文件或转移至磁带,或废弃不再需要的备份文件和档案日志。如果您将某个恢复窗口的保持政策设置为 7 天,RMAN 将把所有恢复数据库需要的备份文件保存 7 天。如果需要恢复至 7 天前的某一时间点,RMAN 将需要从磁带上恢复数据。企业管理器提供日益完善的界面,用以管理快速备份和恢复,包括实施最佳实践等。

自 Oracle8 数据库首次推出增量备份,这一功能一直被 RMAN 所采用。增量备份使得系统可以仅备份自上一次备份完成之后发生变化的数据块。Oracle 数据库 10g 通过实施快速数据块记录功能,进一步加快了增量备份。Oracle 数据库 10g 可记录所有数据库变化的物理位置。RMAN 使用这一变化记录信息自动判断哪一数据块需要在备份期间读取,并直接存取该数据库以进行备份。增量备份之后可被合并到之前创建的映像备份文件中,以缩短恢复时间。基于增量更新备份的备份战略可将介质恢复所需的时间降至最低。通过采用数据库战略中的变化记录进行增量备份,您将能够:减少日常备份所需的时间;在通过网络进行备份时节约网络带宽;将未记录的变化恢复到数据库;降低需要存储的备份文件量;以及缩短数据库恢复所需的时间。

Oracle 数据库 10g 的备份和恢复功能还提供了许多其它创新特性,包括:

 备份压缩

 如果在恢复过程中发现备份文件遗失或损坏,自动切

换到以前的备份文件

 自动恢复至以前的恢复时间点 ― 使用 resetlog 进

行恢复

 在恢复期间自动创建新文件  在备份或恢复期间进行自动通道切换  自动表空间时间点恢复

 完善的数据库“开始备份”命令,可加快映射分割速

 改进的恢复并行能力(2 到 4 倍)  表空间重命名

 面向档案日志的代理(第三方)备份  基于备份阈值的时间窗口  可跨平台传输的表空间

2、Oracle Database 10g 高级选件

Oracle Database 10g提供了一些包含高级技术的可选组件来满足客户的用于关键领域的OLTP、数据仓库以及因特网应用环境的苛刻要求。

1)Oracle Real Application Clusters (RAC)

Oracle Real Application Clusters是一个计算环境,通过它用户可以充分利用多个使用集群技术互联的计算机的处理能力。Oracle Real Application Clusters通过简单轻松的使用单一系统影像的方式可以没有任何限制的利用集群环境的硬件资源来为任何打包应用和客户应用进行计算资源的扩展和提供高可靠性。Oracle Real Application Clusters允许在一个集群配置的环境中使用多个节点来访问一个单一的数据库,从而防止应用和数据库用户在由于硬件或是软件导致的操作失败并且利用硬件的扩展来提高系统性能。

Oracle Real Application Clusters使得企业可以构建支持多个操作系统的服务器,并可提供出色的可用性和可伸缩性。在Oracle Real Application Clusters环境中,Oracle 可在一个集群中运行于两个或更多个系统之上,并可以同时访问一个共享数据库。这使得一个数据库系统可以跨越多个硬件系统,同时对应用程序而言仍是一个统一的数据库系统,从而为您的应用程序带来出色的可用性和可伸缩性优势。

 容量规划的灵活性和经济高效性,进而使得企业可以

随着业务的扩展根据需求进行扩展。  集群故障容错,特别是计算机故障。

Oracle Real Application Clusters支持企业网格。企业网格由大量标准化商业组件构成,包括:处理器、服务器、网络和存储设备。RAC 是唯一一种可将这

些组件整合成可供企业使用的技术。Oracle Real Application Clusters和网格能够动态降低运营成本,并可带来出色的灵活性,从而赋予系统更优异的适应性、前瞻性和灵活性。节点、存储设备、CPU 和内存的动态供应使得企业可以在轻松高效地维持服务等级的同时,通过改进利用率进一步降低成本。此外,Oracle Real Application Clusters支持任意需要访问 RAC 数据库的应用,使它们无需修改便可部署于 RAC 系统之上。

Oracle Real Application Clusters使得用户可以根据容量需求的增长为集群添加节点,从而能够通过逐步扩充来节约成本,同时消除了使用大型集群来更换小型单一节点系统的需要。标准低成本组件和模块化磁盘阵列组成的网格池,与 Oracle 数据库 10g 的组合,使得这一解决方案更为强大。与使用新的更大型节点来更换现有系统与升级系统不同,该解决方案支持为集群添加一个或多个节点,从而使得容量升级流程更为方便快捷。Oracle Real Application Clusters中实施的高速缓存合并技术,与 Oracle 数据库 10g 中提供的 InfiniBand 支持,使您能够以近线性方式扩展系统,而无需对应用进行任何修改。

这一集群体系结构的另一个主要优势是多个节点内建的容错性能。由于物理节点单独运行,因此其中一个或多个节点的故障将不会影响到集群内其它节点。故障切换可在网格内任一节点上进行。即使在最恶劣的情况下,包括只有一个节点没有停止工作,Oracle Real Application Clusters仍将能够提供数据库服务。这一体系结构允许将一组节点联网或与网络断开,以进行维护,而同时其它节点能够继续提供数据库服务。RAC 借助 Oracle 应用服务器 10g,为连接池故障切换提供了内置的集成特性。借助这一特性,应用可立即了解发生的故障,而无需等待数十分钟直到发生 TCP 超时故障。鉴于此,应用将可以立即采取相应的恢

复措施;同时网格负载均衡将重新分配负载。

Oracle 数据库 10g 中的Oracle Real Application Clusters还提供一套完整的集群件集来管理集群。Oracle 数据库集群件提供运行集群所需的全部特性,包括节点成员、消息发送服务和锁定等。同时由于它是一个带有通用事件和管理 API 的完全集成系列,因此可使用 Oracle 的企业管理器统一进行管理。您将无需购买其它软件来支持集群,进而减少了由于产品兼容性所导致的问题。它还提供了相同的界面,能够在采用 Oracle 数据库的所有平台上以相同的方式进行管理。Oracle 还继续支持与 RAC 一起使用的第三方集群件。

RAC 还支持一种全新的抽象,称为服务。服务代表了数据库用户或应用程序类。商业政策在制订后,将自动应用于这些服务,以执行诸如在峰值处理时间分配节点或自动处理服务器故障等任务。确保了应用程序能够及时获得所需系统资源,以实现业务目标。并行硬件系统采用了成本较低的商业组件,可为数据密集型决策支持应用程序带来比传统大型机系统更优异的性价比优势。紧密耦合对称多处理系统(SMP)是最广泛应用的并行硬件系统。这些系统采用多个处理器,它们共享通用内存和磁盘资源,因此也称作“完全共享”系统。SMP 系统的主要优势包括简单的应用开发和便捷的管理。然而,这些系统不能提供任何内建的容错性能,任何一个关键组件发生故障,如 CPU,都将导致整个系统瘫痪。此外,由于可用系统总线带宽和操作系统软件可伸缩性方面的问题,它们在可伸缩性和扩展方面也受到了一定的限制。

2)Oracle Partitioning

Oracle Partitioning通过对数据量很大的数据库表和索引增加重要的可管理性、可用性和性能的能力来加强对OLTP、数据集市和数据仓库应用的数据管理的能力。Oracle Partitioning使得把一个大表分割为独立管理的多个小分成为可能,并且对于应用层面来说还是提供单一的数据曾现。Oracle Partitioning支持范围、哈希、列表和组合(范围和哈希组合,范围和列表组合)的分区方法。

3)Oracle Advanced Security

Oracle Advanced Security (OAS)提供了网络加密和一整套完整的数据库认证服务。网络加密是使用行业标准的数据加密和数据完整性的算法来实现的。这一选件提供了对于部署的一系列算法和加密增强的选择。认证服务同时也支持基于行业标准的第三方认证选件。认证选件包括对通过和现有的认证框架交互实现的数据库单点登录服务和诸如smart card和token card这样的双基准认证选择。

4)Oracle Label Security

Oracle Label Security提供在行标签上的高级灵活的精确授权控制安全。Oracle Label Security通过使用标签的概念来为政府、国防和贸易组织保护敏感信息、提供数据隔离提供保障。同时Oracle Label Security也引入了一个强大的工具来管理规则、标签和用户标签的授权。

5)Oracle OLAP

Oracle OLAP是一个可扩展、高性能的计算引擎用于对分析型应用提供集成管理。通过和数据库的完全集成,Oracle OLAP提供了一个完整的分析功能集合。预测性的分析为预报市场趋势,预测产品生成需求和制定企业预算和财务分析系统等都将有很大的帮助。使用综合的多维的查询和计算,诸如市场份额和净值数据都可以一一呈现。Java OLAP API提供了高效的面向对象的编程接口来为复杂的分析查询编制应用程序。

6)Oracle Data Mining

Oracle Data Mining允许公司建设高级的商业智能应用来挖掘企业中的数据,发现新的见解并把这些信息应用于商业应用中。Oracle Data Mining在创建分类、预测和关联方面加入了数据挖掘的功能。所有的模块和功能都可通过基于Java的API了调用。

7)Oracle Spatial

Oracle Spatial允许用户和应用程序开发员把自己的空间数据无缝的集成到企业应用中去。Oracle Spatial使得基于空间数据和与相关的数据的分析非常简单,就想查询某个客户一个给定距离中的商店位置或是在一定区域中每个地域的销售量等等。Oracle Spatial在一个行业标准的数据库中管理空间数据,从而把在应用层面所需的集成工作在数据层面就完成了。这使得其他厂商的工具和应用

可以直接从Oracle数据库中获取空间数据,从而减少了互相调用的复杂度并且减少了成本。

8)其他Oracle产品 Oracle Programmer

Oracle Programmer是一个独立的Oracle产品,它为需要访问多个Oracle10g数据库来建设企业应用的开发人员提供了非常丰富的接口。 Oracle Programmer是一下产品的集合:

 三个嵌入的SQL类型的接口:precompilers,

SQL*Module和SQLJ

 四个访问接口: Oracle Call Interface(CI), Oracle

C++ Call Interface (OCCI), ODBC和JDBC  两个COM数据访问接口: Oracle Objects for OLE

(OO4O)和Oracle Provider for OLE DB

 Microsoft 。NET支持: Oracle Data Provider for 。

NET (ODP。NET), OLE DB 。NET和ODBC 。NET  两个产生数据库方案和主机语言相互关联的工具:

Object Type Translater和Jpub

Oracle Database Lite

Oracle Database Lite为运行在手机或是掌上工具(手持设备、手提电脑和通讯工具等)上的应用提供高效、可靠和安全的数据管理。Oracle Database Lite设备和Oracle数据库之间的可升级的同步,提供了对用户、设备和应用的完整管理。

9)Oracle 管理包

一下描述Oracle的管理包,这些包中的功能可以通过Oracle企业管理器数据库控制,Oracle企业管理器网格控制和Oracle数据库软件提供的API来使用。

Oracle Change Management Pack

Oracle Change Management Pack使得数据库管理员对数据库方案的对象进行安全的全面的修改,全程的跟踪方案的数据库的改变,复制方案和对象,以及比较和同步数据库方案和对象。通过Oracle Change Management Pack你可以:

 获取和存储数据库对象的定义  比较对象的定义并列出不同点  同步对象定义

 在一个或多个站点间复制对象定义

 克隆数据对象的子集

 在数据库和应用的生命周期中对改变进行管理和计划

Oracle Diagnostic Pack

Oracle Diagnostic Pack提供了自动性能诊断和高级系统监控的功能。Oracle Diagnostic Pack包括一下功能:

 自动工作负载资料档案库

 自动数据库诊断监控 (Automatic Database

Diagnostic Monitor, ADDM)  性能监控 (数据库和主机)

 事件通知:通知方法,通知规则和时间安排  事件历史和度量历史 (数据库和主机)  中断

Oracle Tuning Pack

Oracle Tuning Pack提供数据库管理员对于Oracle环境的专家级的性能管理,包括SQL调优和存储优化。为了使用Oracle Tuning Pack,你必须拥有Diagnostic Pack。Oracle Tuning Pack包含以下功能:

 SQL调用建议

 SQL调优建议  SQL调优集  对象重组

Oracle Configuration Management Pack

Oracle Configuration Management Pack使得数据库管理员可以通过在被企业管理器管理的主机和数据上跟踪硬件和软件的配置信息。这些信息可以被浏览,搜索,比较,导出和对历史跟踪。Oracle Configuration Management Pack还提供基于配置信息的规则管理和补丁管理的能力。最后,为了促进部署,对于数据库实例和Oracle home的功能可怜也是支持的。Oracle Configuration Management Pack包含一下功能:

 对于配置数据的广泛查找,如:Oracle home的补丁

状态,部署的版本,参数设定和使用的数据库功能等等。

 比较两个数据库之间的配置情况

 主机和主机之间,主机和多个主机之间的配置信息比

 在同一个或不同的企业管理器实例上输出主机的配置

信息用于之后的浏览和比较

 补丁管理,包括自动检测对于给定Oracle home所需

的补丁,从Metalink上直接获取数据以及大批量的部署补丁

 数据库和Oracle home的可怜

 规则管理,在背离最佳实践时警告管理人员  自动上下文关键补丁建议

10)功能和产品对照表

不是所有的功能和选择在所有的Oracle Database 10g的产品中都可用。 一下表格显示了Oracle Database 10g标准版和Oracle Database 10g企业版的功能和选件的比较。

功能/选件 标准版和标准版One 高可用性 Oracle Data Guard – Redo Apply 企业版 注释 否 否 是 是 Oracle Data Guard – SQL Apply Rolling Upgrades– Patch 否 是

Set, Database and O/S Fast-start recovery time Comprehensive schema reorganization/redefinition Online system changes – CPU, selectable 否 是 online 否 是 是 是 disk, memory Flashback Query Flashback Table Flashback Database Flashback Query Block-level media recovery Incremental backup and recovery Parallel recovery backup and 否 是 是 是 是 是 Transaction 是 否 否 否 是 是 是 是

Point-in-time recovery Trial recovery Oracle Fail Safe tablespace 否 是 否 是 是 是 只在Windows 可扩展性 Oracle Real Application Clusters 是 是 企业版需要额外计算价格,标准版中包含,标准版One中没有 Integrated Clusterware Automatic Management Java, PL/SQL native compilation 安全性 Advanced Security Option 否 是 额外计算价是 是 Workload 是 是 是 是 需要RAC 需要RAC

格 Oracle Label Security 否 是 额外计算价格 Encryption toolkit Virtual Private Database Fine grained auditing Password management 开发平台 Java support Database Web Services SQLJ 是 是 是 是 是 是 需Oracle Programmer JDBC drivers Comprehensive support in the database XML 是 是 是 是 要是 否 否 是 是 是 是 是

Objects and extensibility Regular Expressions PL/SQL stored procedures and triggers PL/SQL and Java Server Pages COM Automation, 是 是 是 是 是 是 是 是 是 是 只在Microsoft Transaction Server/COM+ integration, ODBC and OLE DB Microsoft Transaction Coordinator integration Oracle Objects for OLE (OO4O) VLM Support, 4GB RAM Tuning

Windows Distributed 是 是 只在Windows 是 是 只在Windows 是 是 只在Windows

OLE DB。NET and ODBC。NET support Native 。NET Data Provider – ODP。NET 64-bit Itanium support for Windows, Linux, and HP-UX Globalization support Integrated Application Development Environment SQL*Plus/iSQL*Plus 管理 Oracle Management Pack Oracle Configuration Change Web 是 是 只在Windows 是 是 只在Windows 是 是 是 是 是 是 HTML DB 是 是 否 是 额外计算价格 否 是 额外计算价格 Management

Pack Oracle Diagnostic Pack 否 是 额外计算价格 Oracle Tuning Pack 否 是 额外计算价格,需要Oracle Diagnostic Pack Fast, Lightweight Server Install Easy Client Install Oracle Enterprise Manager - Database automatic configuration Automatic management Automatic Storage 是 是 memory 是 是 Control, 是 是 是 是 是 是

Management Automatic management Automatic management Server managed backup and recovery Automatic Backup/Recovery to Flash Recovery Area, including out of the box 是 是 是 是 statistics 是 是 undo 是 是 configuration Legato Storage Manager Duplexed backup sets Server-generated Alerts End-to-End Tracing Application 是 否 是 是 是 是 是 是

Database Manager Resource 否 是 VLDB,数据仓库,商业智能 Oracle Partitioning 否 是 额外计算价格 Oracle OLAP 否 是 额外计算价格 Oracle Data Mining 否 是 额外计算价格 Data Compression Analytic functions Bitmapped bitmapped join index Function-based index Parallel Query/DML Parallel statistics gathering Parallel index build/scans 是 否 否 否 是 是 是 是 index and 否 是 否 是 是 是

Parallel Data Pump 否 是 Export/Import Transportable tablespaces, including cross-platform Star query optimization Sample scan Summary management – Materialized View Query Rewrite Direct Path Load API External tables SQL Model Synchronous Change Data Capture Asynchronous Data Capture 集成整合 Change 否 是 是 是 是 是 是 是 是 是 是 是 否 是 是 是 否 是

Oracle Streams Advanced Queuing Oracle Workflow Messaging Gateway Basic Replication 否 是 是 否 是 是 是 是 是 是 可更新的物化视图 Advanced Replication Distributed queries Distributed transactions Heterogeneous Services 网络 Connection pooling Oracle Manager Oracle Names Infiniband Support 内容管理 Oracle Spatial

否 是 是 是 是 是 是 是 多主复制 是 否 是 是 Connection 是 否 是 是 否 是 额外计算价

格 Oracle Workspace Manager Parallel text index creation Ultra Search 否 是 是 是 是 是 是 是 Database 是 是 interMedia Oracle Text 附加数据库功能 Database event triggers 是 是 是 是 是 是 是 是 是 是 是 是 是 是 是 是 是 是 Drop column Rename column, constraint Index-organized table Instead-of triggers LOB (large object) support LogMiner Multiple block size support Temporary table

第4章 系统总体设计

4.1 系统设计思想及思路

本系统旨在建立电厂企业报表业务的通用综合管理系统,再设计中主要考虑以下方面。 1) 通用性设计。

通用性主要表现在 2 个方面:

一. 是电厂企业内部各个部门之间通用,任何部门都可以使用本系统自

由定制所需报表;

二. 是在不同的电厂企业之间通用 ,当本系统应用于不同的电厂企业

时 ,仅需要对相应的配置文件作适当调整。

2) 综合管理系统。

本系统不仅是一个自动生成报表的应用软件 ,而且是整个电厂企业报表业务的综合管理系统 ,建立了模板库和报表库 ,模板和报表集中存储 ,全局共享;提出了业务分层和报表审核的管理方法 ;设计了灵活的权限管理方案 ;报表转发机制允许将生成的报表(或其中部分 Sheet s) 以文本、网页、Excel 文件、E 语言文件等格式向外转发;计划任务管理允许系统按照用户定制的计划自动执行生成报表、转发文件等任务;系统状态管理可以轻松完成系统的备份、恢复和移植等工作 ,降低了系统故障造成的损失。 3) 加强数据挖掘能力。

本系统支持多数据源 ,同一报表可以展示不同数据源的数据 ,新数据源可以被方便地引入系统; 数据查询支持简单的结构化查询语言( st ruct ured query language , SQL ) 查询和复杂的存储过程;数据统计和计算既可以使用数据库和 Excel 软件的内置函数、自定义函数 ,也可以使用本系统提供的计算工具;统计和计算以数据集(二维矩阵形式) 为基础 ,既可以对单个数值(单行单列矩阵) 进行计算 ,也具备批量数据运算的能力。

4) 计算量平台设计。

对于常用的计算量 ,通过模板机制自动写入数据库 ,形成计算量平台 ,

在设计报表模板时 ,可以直接从计算量平台内提取数据。 这既避免了重复写公式的工作 ,提高了模板制作效率 ,又解决了非本部门用户不了解具体计算公式的问题 ,同时避免了报表生成过程中的重复计算 ,降低了系统的负荷。 5) 注重用户体验。

本系统设计过程充分考虑用户的感受 ,尽量简化操作步骤 ,所有操作均实现界面化。 在客户端下载后 , 不需要任何配置可以直接运行;全局数据集的设计以及数据定义与映射关系相结合的模板设置模式 ,既保证了模板设置的灵活性 ,又使模板制作过程更加清晰、简洁。 6) 充分发挥 Excel 和数据库本身的功能。

Excel软件本身具有丰富的格式定义、强大的计算统计功能以及 VBA 编程接口 ,数据库本身具有丰富的计算函数 ,本系统完全支持并充分发挥了这些固有的功能。

4.2 系统总体架构 用户层桌面PC笔记本PDA手机业务展现层报表设计器图表流程设设计计器器报表管理商业规则编辑器仪表盘/分析视图等设计工具发布与部署元数据管理查询统计监控功能报表管理数据采集管理查询统计生产及经营管理分析系统管理数据采集管理系统服务及组件层报表/图表组件发布与部署OLAP组件元数据管理生产及经营管系统管理理分析Data Mining组件系统监控系统融合1.燃料管理系统2.生产管理系统3.基础数据管理……系统服务层系统引擎层标准规范体系报表及图表引 擎数据交换管理引 擎智能工作流管理引 擎OLAP引 擎商业规则管理引 擎调度管理引 擎Data Mining引 擎知识管理引 擎基于PKI统一的身份管理协同工作平台邮件服务、即时消息传真服务、短信系统引擎层Data Access Layer(数据库操作引擎)(支持MDX、JDBC、SQL等)安全保障体系数据访问层数据中心1.元数据信息库2.业务数据库(手工与自动分区)3.模型库数据库ETL层网页抓取集团生产管理系统ETL接口适配excel导入SIS采集数据源层国电系统【系统总体架构图】 从上图可以看出,综合报表系统可以概括为:“一个平台,八大组件,九大引擎;三个信息库,三大用户层”。

4.2.1 一个平台,八大组件,九大引擎

一个平台即统一的“综合报表平台”,作为与业务无关的智能分析处理的基础平台,该平台集成了部件化的九大核心工作引擎,所谓“9+X”核心工作平台,

指的是:报表及图表引擎、OLAP引擎、Data Mining引擎、数据交换管理引擎、智能工作流管理引擎、商业规则管理引擎、调度管理引擎、知识管理引擎,以及1个基于PKI体系的安全认证及派生应用服务环境。

该平台具有以下功能:

 报表及图表引擎:实现数据的格式化显示及图形化显示;  OLAP引擎:实现在线联机分析功能,实现维度转换、上钻、下钻、旋转,维度组合,度量值组合等操作;可利用OLAP 复杂的查询能力、数据对比、数据抽取和报表来进行探测式数据分析。

 Data Mining引擎:与OLAP 的探测式数据分析不同,数据挖掘是按照预定的规则对数据库和数据仓库中已有的数据进行信息开采、挖掘和分析,从中识别和抽取隐含的模式和有趣知识,为决策者提供决策依据。数据挖掘的任务是从数据中发现模式。模式有很多种,按功能可分为两大类:预测型( Predictive)模式和描述型(Descriptive)模式;预测型模式是可以根据数据项的值精确确定某种结果的模式。挖掘预测型模式所使用的数据也都是可以明确知道结果的。描述型模式是对数据中存在的规则做一种描述,或者根据数据的相似性把数据分组。描述型模式不能直接用于预测。在实际应用中,根据模式的实际作用,可细分为分类模式、回归模式、时间序列模式、聚类模式、关联模式和序列模式6 种。其中包含的具体算法有货篮分析(Market Analysis)、聚类检测(Clustering Detection)、神经网络(Neural Networks)、决策树方法(Decision Trees)、遗传算法(Genetic Analysis)、连接分析(Link

Analysis)、基于范例的推理(Case Based Reasoning)和粗集(RoughSet)以及各种统计模型。

 数据交换管理引擎:实现不同系统之间的数据交换及通信;  智能工作流管理引擎:实现的流程管理(并联审批、串联审批管理);

 商业规则管理引擎:规则引擎是一种嵌入在应用程序中的组件,它的任务是把当前提交给引擎的数据对象与加载在引擎中的业务规则进行测试和比对,激活那些符合当前数据状态下的业务规则,根据业务规则中声明的执行逻辑,触发应用程序中对应的操作。

 调度管理引擎:通过配置的方式,实现多任务的自动或并发执行的容器;

 知识管理引擎:实现针对业务系统的数据挖掘、数据分析、辅助决策;

 数据库访问引擎:实现异构平台、异构数据库的数据库访问封装,支持MDX查询、JDBC访问、标准SQL查询等;

一个基于PKI体系的安全认证及派生应用服务环境实现了业务系统的身份认证,保证业务系统用户身份的可信度。

该平台还实现了如下的目标:

 标准化:提供支撑异构、分布环境下系统运行的基础功能及统一工作机制;

 开放性:在分布式、异构异质的系统中提供公共沟通与协作机制,采用了对象化实现技术、XML数据格式定义、二次开发接口,使之与平台无关;

 基础化:抽象了支持业务系统的底层公共功能,形成包含构成公共运行环境所需各项要素——协同、交互、数据;

 安全化:提供多元化、安全的应用系统基础服务环境。

4.2.2 三个信息库

 元数据信息库:主要包括业务信息库的表结构描述信息、解决方案配置信息、维及度量信息等。

 业务信息库:包括业务系统相关的数据集定义。

 模型库:是决策支持系统及预测系统的核心部分,用来存储模型的代码;它主要包含经验数据及自学习功能。

4.2.3 三个用户层 1)

系统管理

是业务系统运行的保障,主要进行系统的配置管理、发布等功能。

2) 终端用户

是业务系统使用的主体。

4.3 数据中心(数据仓库)

数据中心是整个系统的神经系统,即核心。主要保存生产经营所需的数

据。 4.3.1 整体数据框架 数据仓库的建立,将给予报表平台完善的数据支持。对于数据仓库而言,他的数据源头将会是一系列诸如ERP的独立业务系统。 报表平台整体数据框架如下图,标准数据结构的建立,有助于报表平台在未来的不断升级。 数据暂存区数据集市重建报表业务数据抽取ETL传输数据存储区支撑自定义报表数据源数据插件数据仓库报表平台 4.3.2 业务数据准备 业务数据在支持自身业务系统运行的同时做为数据仓库源数据,会一定程度上影响业务系统自身的运行效能。因此我们建议使用中间库,保持中间库和源数据库之间的数据同步。由中间库来担任数据仓库源数据库的角色,从而排除给业务系统带来的影响。 业务数据同步业务数据传输数据存储数据源中间库数据仓库 4.3.3 数据仓库规划 数据暂存区数据集市数据集市数据存储数据集约数据仓库 对项目进行分区管理,针对不同分区、不同角色予以不同权限以保证数据的私密性、安全性。

第5章 主要功能

5.1 元数据管理

本期项目拟实现简单的元数据管理,主要管理Cube的定义参数以及维与度量的。

5.1.1 Cube构建

主要描述支持Cube构建所需的功能。构建输出的Cube定义文件为多维查询和分析提供Cube结构。

5.1.2 Cube树型结构构建

以树型结构构建Cube。Cube结构定义规则遵循Mondrian引擎要求的Cube定义规则。 1) Cube定义文件导入编辑

导入已有的Cube定义文件,对Cube结构编辑修改后生成新文件。

2) Cube结构非法检测

系统对当前正在编辑的Cube结构进行非法检测,并给出错误提示。

3) JDBC数据库连接和MDX测试

利用JDBC连接数据库,并编辑MDX语句测试当前Cube结构是否符合要求。

5.1.3 维与度量管理

1) 维表及事实表创建

建立维表与事实表的结构,以及定义各表之间的关联属性,以创建多维模型(例如ROLAP模型)。

建立维表与事实表包括对各维与度量的属性(如名称、数据类型、约束等)的编辑。

定义关联属性包括建立表与表之间的对应关系、定义关联的键Key等。 创建的多维模型以XML文件格式保存。

2) 维及度量编辑

对已建好的维表及事实表定义文件进行修改编辑。

3) 流程设计器

制定与业务相关的Action流程,并将Action流程描述文件以XML形式存储至文件。 4) 发布和部署

将已创建的报表设计保存文件、多维分析设计保存文件、Cube定义文件、Action描述文件发布到指定路径,以供业务流程二次开发调用或执行。 5) 解决方案引擎(Solution Engine)

对流程设计器制定的Action序列描述文件进行解析和顺序执行,从而完成一套业务解决方案。 6) SDK包

SDK包主要提供基于Eclipse的以及可供调用的插件。 主要提供对以下功能的支持: ➢ 报表设计

提供报表格式设计、图表生成等功能

➢ 多维分析设计

提供多维分析结构设计、数据展现、钻取、切片切块、旋转等功能

➢ 仪表盘设计

提供仪表盘界面设计、仪表盘数据展现等功能

➢ 工作流设计

提供Action定义、Action序列定制等功能

5.2 报表管理及展现平台功能

5.2.1 报表管理平台功能

报表管理平台功能如下图所示:

报表管理平台报表及查询设计器报表发布报表权限管理报表查询报表导出报表下载报表打印报表导出任务

 报表及查询设计器:提供基于Birt进行可视化设计报表的字段与样式,及查询规则。

 报表发布:设计好的报表可以发布到报表服务器。

 报表权限管理/报表查询:对已经发布的报表可进行权限配置,不同权限的用户可以查询不同的报表,相同报表用户机构不同查询的数据也不一样。  报表导出/下载/打印:查询出的报表可以以不同的格式导出(如PDF、HTML、Word、Excel、TXT等),报表打印可以使用相应格式的阅读器来操作打印机打印。

 报表导出任务(EOD):提供报表导出的一些任务(如 每月导出月报、每季导出季报等),日终的任务提供WebService接口由CPS平台进行调度。

1) 技术架构

报表管理平台主要由三个部分组成:

 报表设计器:基于开源商务智能项目Birt的报表设计器,可在eclipse开发工具中进行可视化设计报表的字段与样式,及查询规则。  报表服务器:J2EE+Web2.0技术的报表服务器应用,可将已经设计好的报表发布到报表服务器、对报表进行组织机构及权限的管理(不同的机构只需要关心本机构的报表)、可提供在线的方式查询及预览报表,手动实时导出及下载报表,提供日终批量报表导出任务,并可将该任务发布成WebService由CPS平台高度。

 报表平台数据库:对报表服务器本身提供存储的支持(如用户权限、组织机构、报表定义等)。

注意:报表平台数据库不提供报表的实际业务数据,生成报表的数据直接连接核心系统的数据库中,从已经转换好数据的表中抽取。

报表平台报表打印导出报表文件报表查询报表权限管理发布报表数据报表设计器 报表服务器核心数据库报表数据库

2) 报表开发流程

根据业务需求设计报表(报表设计器)配置组织机构和权限(报表服务器)发布已经设计的报表(报表服务器)配置报表与组织机构的关联(报表服务器)完成 3) 报表设计和模板 a】

报表设计

“报表设计”提供了基本报表的创建及创建过程中各种属性参数的定制功能。 b】

属性编辑

在报表创建时候输入报表的基本属性,包括报表名称、报表用途、报表作者等。 c】

模板选择

在报表创建时的选择报表所用的模板,供选择的模板可以是系统提供的模板,也可以是用户自定义的符合系统要求的模板。

d】 布局设计

报表基本布局包括页眉、表体和页脚,表体可以细分为表头、正文和表

尾。

“报表布局设计”提供了报表布局中三大部分的展示及往里添加报表元素的功能。具体的:页眉和页脚中可以放置图像、文本框和线条等报表项;表体中可以放置任何类型包含数据的报表项,包括表、矩阵、列表、图表和仪表等。除此之外,可将报表数据链接到设计图面上的报表项。 e】

数据展示

“数据展示”功能提供了报表数据源和包含在字段或表达式中的数据的展示,并支持将数据通过字段拖拽或表达式链接的方式添加到报表项中。 f】

报表元素

“报表元素”提供了各类可以与数据绑定、能添加到报表展示数据的报表项,包括文本框、表、矩阵、图表、图像、子报表、列表、仪表、矩形、线条等。 文本框

“文本框”用于显示单个实例数据。文本框可以放在报表上的任何位置,可以用来向报表添加标题、在页眉页脚中添加特定字段或者添加单实例数据。文本框可以包含标签、字段或计算数据,可以使用表达式来定义文本框中的数据。 表

“表”是用于创建表格格式报表或向报表添加表结构的数据区域。表可以包含任意多列、多行(多实例数据),数据区域由多个部分组成,包括详细信息行、指定格式的表格表头、表格表尾、组头和组尾。可以在表数据区域内嵌入其他数据绑定的报表项,包括另一张表。

矩阵

“矩阵”是数据绑定的报表项,其中数据排列于列和行相交的特定数据点。矩阵的功能与交叉表和透视表类似。与包括一组静态列的表不同的是,矩阵的列可以是动态的,可以定义包含静态和动态的行和列的矩阵。 图表

“图表”是报表数据的图形表示形式,便于用户查看数据中的比较、模式和趋势。可以选择不同的图表类型并更改图表的样式,包括不同的颜色、符号和三维效果。

图表包括柱形图、条形图、折线图、饼图、散点图、面积图、范围图、极坐标图等。 图像

“图像”用于在报表中显示二进制图像数据,可以使用 .bmp、.jpeg、.gif 和 .png 等格式的外部图像、嵌入图像或数据库图像,还可以将图像用作某些报表项的背景。 子报表

“子报表”是在主报表的表体中显示其他报表的报表项。子报表用于在报表中嵌入另一个报表,任何报表都可以用作子报表。定义子报表时,还可以定义用于筛选子报表数据的参数。 列表

“列表”是数据绑定的报表项,它包含了报表中多实例数据的单个列。可以将列表用于自由格式的报表或与其他数据区域结合使用。列表包含任意数量的报表项,也可以嵌套在其他列表中,以提供多重数据分组。 仪表

“仪表”是显示数据集中的单个值的一维数据区域。各仪表始终位于

仪表面板内,可以在仪表面板内添加子仪表或相邻仪表,也可以使用仪表面板在单个仪表面板内创建多个共享公用功能(如筛选、分组或排序)的多个仪表。 矩形

“矩形”是一种可以分隔报表的各部分、强调某些报表区或为一个或多个报表项提供背景的图形元素。矩形还可以用作容器,以控制数据区域在报表中的呈现方式。可以通过编辑矩形属性(如背景和边框颜色)自定义矩形的外观。 线条

可以为报表布局添加线条,也可以编写一个表达式来绘制特定的线条,表达式可写入要放置线条的单元中。 线条包括平滑线(直线、斜线)和折线。

5.2.2 报表展现平台

“报表展现”提供了一套功能完整的报表设计的图形界面使用接口,即报表设计器。使用报表设计器,可以利用“报表工具箱”提供的各种报表项在“报表设计窗口”中完成各式各样的报表设计、报表排版、数据库的查询生成、报表预览等工作,也可以利用“报表数据源”和“报表属性”窗口对报表的数据及数据的属性进行细致的调整,最后生成一个报表模板,并可发布到报表发布平台中。

报表设计器包括以下几个部分:

(1)报表设计窗口:报表设计的主要界面;

(2)报表预览窗口:提供了报表预览及打印预览的界面;

(3) 报表工具箱:以工具条的形式向用户提供了调用各种报表元素的快捷

途径,支持拖拽;

(4)报表数据源窗口:显示报表数据源和字段; (5)报表属性窗口:显示报表常规及数据属性; (6)报表日志窗口:包含了报表创建全程的日志。 1) 设计窗口

“设计窗口”是报表设计的图形界面,用户可以自由地在上面进行报表设计。可以在其中添加各种报表项、放置数据区域和字段,完善报表布局,设置交互式功能。

“设计窗口”由页眉、主体和页脚组成。

2) 预览窗口

“预览窗口”提供了预览报表的图形界面,可随时在设计和预览窗口进行切换。 3) 工具箱

“工具箱”提供了一条调用各报表元素功能的快速通道,工具箱上的快捷方式包括文本框、表、矩阵、图表、图像、子报表、列表、仪表、矩形、线条等。 4) 数据源窗口

“数据源窗口”提供了查看报表数据源和数据字段的窗口,并支持显示添加和删除数据源,支持数据字段的拖拽。

5) 属性窗口

“属性窗口”提供查看并修改报表各项属性的窗口。报表的属性包括报表的常规属性(如名称、作者、字体、背景色等)、布局属性(如列、间距、页宽、边距等)、引用属性(报表中表达式所使用的自定义程序集或其他外部程序集以及自定义类实例的引用)、数据输出属性(定义报表的 XML 数据输出选项)。 6) 日志窗口

“日志窗口”提供了查看报表设计生成全程日志的窗口。

5.2.3 报表

1) 月度煤耗分析表

2) 月上报环保数据表

3) 北电二期到厂煤各方化验数据表

4) 环保设施运行报表

5) 北仑发电表

6) 除尘器运行情况表

7) 废气污染物排放月报表

8) 节能减排运行月报表

9) 通流增容改造月报表

10)

工业企业模板表

一般工业企业指标:

火力指标:

季报时间:

11) 环保设施投撤记录表

脱硫季度:

脱硝季度:

12)

环保统计报表

13)

火电企业污染排放及处理利用情况表

14)

机组环保设施运行报表

15)

机组生产指标统计表

16)

排水处理设备运行与水质监测情况表

17) 浙江电网火电厂环保处理设备(烟气脱硝)运行表

5.3 数据分析引擎

数据分析的引擎可以根据项目情况,进行对应设计。

5.4 数据采集平台

搭建统一数据采集平台,实现excel导入、web数据抓取、SIS采集、国电接口数据倒入等功能。

5.4.1 Excel导入

把Excel表数据导入用作数据源导入数据中心。

此部分数据采集是人工数据采集包括:台账、人工修正以及现有的Excel表。

5.4.2 Web数据抓取

Web数据抓取(Web scraping,也叫Web数据采集)指的是批量、快速从网站上提取信息的一种计算机软件技术。Web数据抓取程序模拟浏览器的行为,能将可以在浏览器上显示的任何数据提取出来,因此也称为屏幕抓 取(Screen scraping)。Web数据抓取的最终目的是将非结构化的信息从大量的网页中抽取出来以结构化的 方式存储(CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等)。

通过程序自动的读取其它网站网页显示的信息,类似于爬虫程序。比方说我们有一个系统,要提取BaiDu网站上歌曲搜索排名。分析系统在根据得到的数据进行数据分析。为业务提供参考数据。

为了完成以上的需求,我们就需要模拟浏览器浏览网页,得到页面的数据在进行分析,最后把分析的结构,即整理好的数据写入数据库。那么我们的思路就是:

1、发送HttpRequest请求。

2、接收HttpResponse返回的结果。得到特定页面的html源文件。 3、取出包含数据的那一部分源码。

4、根据html源码生成HtmlDocument,循环取出数据。 5、写入数据库。

5.4.3 SIS采集

SIS是主要为全厂实时生产过程综合优化服务的生产过程实时管理和监控的信息系统。它面向生产过程,处理全厂的实时数据,是厂内单元机组DCS和公用辅助车间级自动化系统的上一级系统,同时也是整个企业信息系统的一个组成部分。

报表模块可以将计算机采集来的数据进行自动分类、归档,将8小时或24小时的监测数据每隔一小时为一组打印报表输出。同时有关的运行经济性技术指标也以报表形式打印输出,对机组在整个运行期内的寿命累计损耗以曲线及数据方式打印输出、故障以曲线或报告形式打印输出供高级管理人员和技术人员分析、决策、保存使用。

5.4.4 国电系统导入

此部分数据是由原来的国电系统数据导入的新数据用作报表的数据源,数据包含国电系统的生产日报、烧材管理、运行日志。在导入的过程中我们也做了备份,以免因为出现问题而造成数据的流失、错乱。

第二部分 系统软硬件配置

第1章 软件系统配置

1.1 软件系统配置一览表

软件类型 软件名称 系 统 软 件 数据库软件 操作系统 Windows2008 Server 应 用 软 件 应用平台 综合报表系统 移动报表系统 服务器端+ 1 1 1 35万 35万 20万 Oracle 9i Enterprise Server 1 数量 单价 金额

客户端 第2章 硬件配置

2.1 硬件配置一览表

因篇幅问题不能全部显示,请点此查看更多更全内容