Exadata存储服务器（又称Exadata存储单元）

存储单元可以说是让Exadata如此大规模普及并且使用效果优异的核心要素。

I/O性能问题始终是Exadata存储或者存储服务器尽力去解决的问题。

Exadata存储服务器概述

Exadata数据库一体机通常预装了3类硬件

• 数据库计算节点服务器
• 存储服务器
• 极速的InfiniBand存储交换机。

Exadata存储服务器也不像其他传统的SAN存储设备或者方便和满足存储需求的黑盒。它通过Exadata智能存储软件来提供存储单元的卸载处理智能扫描、存储索引、混合列压缩HCC或者EHCC、I/O资源管理IORM、智能闪存、快速文件创建等特有功能。在后续的章节里将详细介绍Exadata软件功能。

每个系列的Exadata数据库一体机都有多种型号配置。数据库计算节点的数据量和存储服务器的数量完全跟用户购买时选择的Exadata型号配置相关。

图3.1展示了不同型号配置的Exadata存储服务器的数量和空间占用情况其中

• 1/4配包含2个数据库计算节点和3个存储服务器。
• 半配包含4个数据库计算节点和7个存储服务器。
• 满配包含8个数据库计算节点和14个存储服务器。

 

 

每台Exadata存储服务器都视作独立个体来管理和配置。节点控制命令行接口工具CellCLI用来管理本地服务器分布式命令行接口工具dcli用来管理远端的Exadata存储服务器操作。CellCLI通常用来执行管理和维护本节点服务器上的大部分操作dcli工具非交互式可以用来集中管理Exadata一体机内的所有存储节点服务器。

存储服务器架构

除了传统的存储服务器的必备组件CPU、内存、网卡NIC、存储盘等之外Exadata存储服务器还预装了OEL操作系统和Exadata智能存储软件。

 每台Exadata存储服务器配备了统一的12块高性能或者大容量物理磁盘、预装OEL操作系统、Exadata存储软件和3个关键的后台服务。存储服务器可以通过3种途径访问本地登录、SSH登录和KVM设备登录。

存储节点软件的功能和管理

 Exadata存储节点的后台上运行着3个关键的软件它们提供了存储服务器的核心功能

• 存储服务CELLSRV:多线程的进程。
• 管理服务(MS):通过CellCLI工具来提供标准的存储节点配置和管理功能。

定期解析/dev/disk/by-path中的符号链接对应FMOD的Flash硬盘或称“闪存盘”验证它们依然存在并对底层操作系统可见

追踪存储节点服务器上硬件层面的变化并且通过ioctl系统调用通知CELLSRV。

收集、计算和管理存储服务器状态指标。

在更换硬盘时重建虚拟驱动器。

一般来说当一块硬盘性能不佳时相关的Grid Disk和Cell Disk会被离线并且MS服务会通知CELLSRV服务。

删除ADR目录、$LOG_HOME和历史指标中超过7天的文件。

在文件使用率达到80%时进行通知。

• 重启服务RS: 监控存储节点服务器上的其他服务并且在任何服务需要重启时自动重启它们。此外重启服务还处理软件更新过程中所需要的计划性服务重启。cellrssrm是重启服务的主要进程包含3个子进程cellrsomt、cellrsbmt和cellesmmt。

alter cell shutdown services all[FORCE]命令可关闭节点上的所有服务alter cell startup services all命令可启动所有服务。停止所有服务或者停止某个节点服务器时所有Grid Disk及其相关的ASM磁盘分别会变为不活动及离线状态存储节点和ASM及数据库实例之间的通信会被终止。

查询V$视图

新的Exadata相关的V$动态视图提供了存储节点和等待事件方面的统计信息可以用来评估存储节点的状态、已用IP地址等。

• V$CELL ——提供cellip.ora文件中提到的存储节点相关IP地址。
• V$CELL_STATE  ——提供所有可以访问存储节点的数据库客户端的信息。
• V$CELL_THREAD_HISTORY ——提供存储节点中存储服务收集的采样线程信息。
• V$CELL_REQUEST_TOTALS——提供存储节点请求的采样历史信息。

存储架构和规划

一个传统的Oracle数据库部署需要3个主要组件

• Oracle数据库服务器
• 存储服务器
• 网络层

Exadata一体机上的Oracle数据库部署也包含3个关键的硬件组件

• 数据库节点服务器
• 存储服务器
• 网络

 Exadata存储架构相对非Exadata架构在硬件层面有4个基本差异正是这些差异导致了两种架构其他方面的所有差异特别是对于存储的可扩展性及性能

●首先Exadata存储节点包含闪存模块可以把它用作快速硬盘或者是额外的缓存关于这点本章后面的内容中会详述。

●其次存储服务器运行在Oracle OEL操作系统而不是存储专有操作系统这可以激活存储软件架构功能反之则不行同样本章后面的内容会详述。

●再次在数据库节点和存储节点之间用的不是传统以太网而是基于InfiniBand的高速、私有网络。

●最后所有数据库节点之间以及数据库与存储节点之间的通信通过可靠数据报套接字Reliable Datagram SocketsRDS使用iDB协议完成。

非Exadata中的存储架构

传统的Oracle数据库部署环境中使用Oracle ASM存储服务器架构或者布局通常如图3.5所示。一般情况下物理硬盘或者分区映射成逻辑单元号Logic Unit NumberLUN或者设备它们被用来创建成Oracle ASM硬盘包含在ASM磁盘组内。尽管ASM是传统数据库部署中的可选项但Oracle通常建议在新建数据库时使用ASM尤其是在RAC环境部署时。当然使用ASM有一些突出的优势

●首先ASM作为一种存储特性已经高度集成到Oracle技术体系里了因此它工作得更高效。

●其次ASM消除了过去对OS文件系统和逻辑卷管理LVM的依赖。

●再次新硬盘加入或者删除时ASM提供动态负载均衡和空间平衡的功能LVM实现不了。

●最后ASM的设计起于底层很好地贴合了Oracle数据库的I/O特征和需求。

 

Exadata中的存储架构

每个Exadata存储服务器都带有12块同样大小的SAS物理硬盘——要么是高性能盘要么是大容量盘的配置还内置了4块闪存卡。前面两块盘使用RAIDmdadm做了镜像用于操作系统、swap交换空间、Exadata存储软件二进制文件还有一些其他的Exadata设置。存储节点上执行df命令会列出文件系统结构右下方的输出解释了挂载点和文件系统映射的类型

●“/”是根root文件系统。

●/opt/oracle存放已安装的Exadata存储软件。

●/var/log/oracle存放存储节点操作系统并记录崩溃crash日志。

●/dev/md5和/dev/md6是系统分区、活动active和镜像副本。

●/dev/md7和/dev/md8是Exadata安装软件安装点、活动active和镜像副本。

●/dev md11挂载给/var/log/oracle。

●在任何给定的时间点一个存储节点上同时只能挂载4个多设备multideviceMD挂载点。

有几个重要的概念要特别说明一下

●首先存储节点中同时包含传统物理硬盘和闪存模块。

●其次有一个新的硬盘抽象概念叫作Cell Disk它可以将一个LUN细分成更小的分区叫作Grid Disk。

●再次从闪存模块中构建的Cell Disk可以细分为闪存缓存Flash Cache或Grid Disk。物理磁盘类的LUN只能细分成Grid Disk。

●最后只有Grid Disk可以映射成ASM磁盘。

管理存储的系统用户

每个Exadata存储服务器一般会配置3个不同角色的默认用户。这些用户及其权限区别在于

●root——超级用户权限用于启停存储服务器。

●celladmin——用于完成存储节点的管理任务例如CREATE、ALTER、MODIFY一些存储对象像Cell Disk、Grid Disk、配置通知等使用CellCLI和dcli工具。

●cellmonitor——监控用户用于存储节点监控任务。不像root和celladmincellmonitor不能执行CREATE、ALTER或MODIFY命令。