日归档:2014 年 3 月 10 日

看图说话——Exadata的网络架构

下面两个图是Exadata的Owner Guide中讲解网络链接和部署的。 安装好了Exadata,我们需要熟悉Exadata上都有哪些部件,比如数据库服务器,存储服务器,思科交换机,2个PDU(用于冗余)等等,他们是怎么接到咱们的生成环境的,他们之间是怎么连接的,我们怎么去管理他们。。。 X2-2和X3-2的连接方式: X2-2的图,X3的图跟这个没有太大差别,只是X3以后没有KVM了,X4以后,少了一个Spine Switch(需要单独购买)。 其他没太大区别(X4的IB绑定有变化,后续会详细解释)。Sun的ILOM做的非常好,实际上很多管理功能,都可以通过ILOM来完成。 比如前面讲的使用ILOM来完成ISO image的Reimage功能,重启节点功能,还有收集信息功能,系统启动时troubleshooting等等。   计算节点上的对外服务部分有两种方式: 1,一种是NET0和NET1绑定作为client,接入到客户的核心网络,提供对外的数据库连接服务。 2,一种是不绑定,那么通常NET1连接到核心网络,提供数据库连接服务,NET2和NET3都作为其他用途,比如他们分别俩接到备份和灾备网络等等。 当然,大部分客户是绑定net0和net1作为bondeth0来对外提供数据库服务用。 X4-2的连接方式: 在网连接上,X2-2和X3-2的连接方法基本没有太大区别。 但是从X4开始,IB不在安装时进行绑定了,而是分别连接到IB1和IB2两个IB交换机上,这是因为从X4开始提供Active-Active的方式,带宽从40Gb/s升级为80Gb/s。 但是如果Double-E级联(比如2个Exadata机柜,或者Exadata跟Exalogic级联),就不能使用这种Active-Active的方式。 除此以外,我们看到,其余部分的连接都基本相同。 从上面的图我们可以看到,exadata上的网络主要分为4大块: 第一部分,是位于最下面的绿色区域的Infiniband网络连接,也就是exadata的内网。 内网主要是数据库服务器和存储服务器通过两个Infiniband交换机连接,能够获得高带宽低延迟带来的高性能。   第二部分,就是蓝色部分的管理网络。 Exadata上所有的部件都有一根线连接到思科交换机上。然后从思科交换机上有一根线接入到客户的管理网络,这样就方便客户管理。 其实就像传统小机+存储的架构一样,小机也都要连接到客户的管理网段的交换机,然后远程维护(比如使用crt,xmanager等等字符或者图形的管理工具维护客户的小机) exadata上的所有部件也都要让客户可维护和可管理,就是通过各部件连接到思科交换机,然后思科交换机接入到客户的管理网段。 连接到思科交换机的部件有: (1)在X2上有KVM,因此KVM要连接到思科交换机 (2)然后两个PDU(PDUA , PDUB)分别连接线到思科交换机上,也是为了远程管理。 当然需要管理PDU的时候不多,但是如果安装一些监控软件,比如oracle 的grid control的时候就需要能够连接PDU,因此,我们一般也把PDU接入到思科交换机 (3)在每个数据库服务器和存储服务器上有一个类似于芯片的部件,我们称之为ILOM。 它是一个远程管理的接口,我们通过ILOM可以做所有数据库的维护工作,包括安装,升级,刷机,启动和关闭主机,监控主机启动,关闭过程。。。。。 这个ILOM也要连接到思科交换机,然后客户就通过浏览器的方式管理每一个部件 (4)每一个数据库服务器和存储服务器上的NET0口就是管理口,使用这个端口接入思科交换机 这些部件都通过思科交换机,接入到客户的管理网络,包括客户如果使用EM(即grid … 继续阅读

发表在 体系架构 | 标签为 , | 6 条评论

Exadata 的4种刷机方法——Reimage

明天又要刷机器了,装机工很久没玩,快忘光了,温习一下,O(∩_∩)O哈哈~ 1,刷机前先检查和保留当前系统关键部件的信息,例如: 2,跟NOTES 888828.1的内容,找到相关的image,download后,解压,例如: unzip ImageMaker.tar.zip tar -pxvf ImageMaker.tar DB的image解tar后,可以发现 dl360 目录 CELL的image解tar后,可以发现 dl180 目录 这是因为,Exadata早先跟HP合作推出的V1,用的都是HP的pcserver系列,计算节点的型号是 dl360,存储节点的型号是 dl180,后来也就一直都没有更改了。 我们有四种方式刷机: 1. 用U盘刷机,也就是 USB flash thumb drive 2. 制作ISO image,使用ILOM指定iso的方式(当然如果刻录成光盘,也可以使用DVD模式) 3. 制作一个紧急启动的iso文件(类似于紧急启动盘),然后把image放在NFS上,进行刷机 4. 使用PXE+NFS 上面的4种方法,对于1/4配置来说,哪个都不复杂,用U盘和ISO Image最简单,也最省心。 对于满配或者大量的reimage工作来说,显然U盘就太不可取了,会累死人的,可以使用PXE+NFS和ISO image。 无论哪种方式,制作Reimage的命令都是一个makeImageMedia.sh,语法如下: Exadata出厂时带有双操作系统,一个是Linux,一个是solaris x86,通常,至少国内的客户绝大部分都会选择使用Linux,因此,在安装完成后,我们需要做reclaim操作。 如果是Reimage,那么我们也可以在制作U盘,image或者使用PXE时带上 … 继续阅读

发表在 安装和升级 | 标签为 , , | 2 条评论

研究数据字典和基表,发现处理手工删除fs$或者file$等问题的新思路

在测试环境玩什么东西忘记了,反正是忽然发现有个没用的表空间“UNDOTBS1”删除不掉,以前写过一篇,如何查找某个对象的定义(V$_X$_DBA), 这里重温一下数据字典和动态性能视图: UNDOTBS1在v$tablespace中可见,但是不能drop,在dba_tablespaces中不可见,说明数据字典和动态性能视图不匹配了(手工删除了基表导致的,忘记是删除了ts$还是file$内容了): 不得不说Oracle 11.2.0.3以后的版本,对于数据库的一致性校验进行了很人性化的改动,以前这种情况是crash的,现在还open着,带病工作,O(∩_∩)O哈哈~ 类似的带病工作的情况,还涉及到很多数据字典的不一致情况,比如以前的i_dependency1, i_dependency2等等。 从这个研究,也证实了如下结论: V$TABLESPACE的信息是来源于GV$TABLESPACE,GV$TABLESPACE来源于基表 X$KCCTS 而DBA_TABLESPACES是来源于 SYS.TS$ TS 和 SYS.X$KCFISTSA。也就是说,V$TABLESPACE的信息来源于控制文件,而DBA_TABLESPACES的信息是来源于其他基表,手工删除基表信息时,其信息不和控制文件信息同步。 下面有具体看看: 看下创建动态性能视图的语句: 通过上面建库脚本也可以清晰的看到,得到授权的普通用户仍然只能访问V$开头的视图,而不能直接访问V_$开头的视图,因为实际上V$视图是V_$视图的公有同义词(PUBLIC SYNONYM)要想访问V_$必须带上SYS.V_$,例如 而查看普通的DBA_ ALL_ USER_ 等视图,可以查看数据字典 dba_views(这个视图从8i开始引入的) 例如: X$ 是 Oracle 数据库 的核心部分,这些表用于跟踪内部数据库信息,维护数据库的正常运行。 X$ 表是加密的(除了MOS和直接看源代码以外,我不知道还有什么方法可以查看X$视图) Oracle 通过 X$和一些基表(TS$, OBJ$, SEG$等)建立起其他大量视图,提供用户查询和管理数据库。 在9i以前 另外,还可以通过X$KQFTA来查看X$表的相关信息: 类似,就是11.2中新引入的X$表: … 继续阅读

发表在 FAQ, Internal | 标签为 , , , , | 留下评论