标签归档:Exadata

使用DUL和ODU抽取Exadata上的oracle数据库(抽取磁盘上的数据文件)

之前研究过dul和odu,发现不能识别磁盘,当时犯了一个错误,因为普通环境(非exadata环境),都是在主机上运行扫描磁盘的工作,因此我之前也在exadata的主机上扫描磁盘,发现不行,具体参见: 在Exadata上,为什么 DUL 和 ODU不能读取ASM数据库的数据,但是Kfed却可以? 今天在exadata的存储节点(cell节点)上配置了一下,发现dul和odu都可以直接扫描磁盘,以后有exadata上oracle数据库损坏时,请联系我,O(∩_∩)O哈哈 具体测试如下: 这里我使用control+C终止了,因为磁盘太大了,扫描时间太久,上面的信息已经可以证明,至少可以扫描 至于normal external等其他问题,以后再说。 扫描文件具体如下: 这里 IDX_DATA1.dat 就是dul扫描出来的一些信息,之后使用命令抽成文件就依据这些。 再看看ODU: 这里报错是因为cell上磁盘空间很小,稍微一折腾就满了(存放ODU抽取文件的是根,100%了): 先别急删除,进去看看数据; 可以看到,odu也抽出了数据, 并且,可以看到,已经抽取了几个dbf的数据文件。

发表在 ASM, backup&recovery, DUL ODU, Exadata | 标签为 , , , | 留下评论

在Double-E之间配置基于Infiniband的SDP连接(比如,两个Exadata,或者1个Exadata和1个Exaligic之间)

在Double-E之间(比如,两个Exadata,或者1个Exadata和1个Exaligic之间),我们可以使用IB来连接 比如两个Exadata之间互相做灾备(ADG) 再比如,Exalogic上有大量的空间,即使是1/4配置的Exalogic上也有几十T的容量空闲(没有部署应用的空间)。 有时候我们会见可以购买了Double-E的客户用这个空间来做Exadata上的数据库的ADG。 为了充分利用IB的传输速度块,低延迟和CPU消耗少等优点,Double-E之间的互联,一般建议通过SDP协议访问Exadata上的数据库 文档建议(Exadata X2和X3),Exadata和Exalogic使用8个IB线进行连接(4跟的话也可以,但是没有冗余,一般不建议) Exadata 1/4 rack和Exalogic 1/4 rack上分别都有2个叶IB交换机(半配的会有第三个主IB交换机,从Exadata X3开始,出厂时缺省没有最下的主交换机了) 这4个交换机如下: Exadata-IB1 Exadata–IB2 Exalogic-IB1 Exalogic–IB2 连接方式: Exadata-IB1——-Exalogic–IB2 Exadata-IB1——-Exalogic–IB1 Exadata-IB2——-Exalogic–IB1 Exadata-IB2——-Exalogic–IB2 配置方式具体如下: 1、修改db node上的/etc/infiniband/openib.conf: 2、在/etc/ofed/libsdp.conf中添加: 3、在/etc/modprobe.conf都添加并且reboot节点: 配置Double-E(比如Exadata和ExalogicIB,或者Exadata和Exadata之间的)网络上配置监听: 添加network2(for IB): 验证添加结果: 添加vip: 检查vip是否可以正常启动: 添加这个IB网络的监听(LISTENER_IB): 配置tnsnames.ora 修改数据库参数listener_networks: 测试连接,使用oracle用户: 在客户端(Exalogic或者其他需要连接db的主机上),需要配置 如下连接串: … 继续阅读

发表在 Exadata, 日常运维 | 标签为 , | 留下评论

Exadata X5 上测试单进程impdp导入数据的效率

=========================================== 单进程,每分钟: 16G(每小时960G) 7分钟,导完LUNAR_P201404_1 请注意下面的过程 parallel=1,表示单进程测试 (只能测试单进程,是因为跟我同事的导出方式有关系,明天测试多进程……) =========================================== 导入过程中进行检测: 可以看到exadata聪明的选择了直接裸盘,没有走Flashcache,每秒钟吞吐量大概460MB左右(一起开始时候会有一个高峰大概有2倍的这个值,猜测是由于分配空间等等) 大概2~3分钟后,存储节点总的吞吐量稳定在每秒钟460MB: =========================================== 测试结果: 在数据库中实测的数据(按照每分钟这个表的增长大小来计算) 单进程,导入速度每分钟: 16G 7分钟,导完LUNAR_P201404_1,该表大概309GB(按照这个测试,每小时大概2.5TB左右) =========================================== =========================================== 注意上面: elapsed 0 00:07:02 也就是说,7分钟导入数据309GB

发表在 POC和性能调整 | 标签为 , | 留下评论

配置Exadata上的万兆模块和测试万兆

Exadata上配置万兆非常简单,就是设置一下网卡,然后绑定即可 根据文档描述,万兆光口对应的接口如下: Exadata Database Machine X5-2的eth4和eth5 不同的机器,可能接口名称不同,可以在机器上看,也可以核对文档来识别。 . (1)Exadata上,有两个光口,是千兆万兆自适应的,但是10Gib模块需要单独购买。 (2)Exadata上,4个电口是百兆,千兆,万兆自适应的 下面的是一个例子: 例如,电口的eth0(用于连接内置的Cisco): 连接了万兆的eth4: 然后设置一下IP,按照linux上绑定网卡的方法将eth4和eth5绑定即可。 万兆配置好了,测试了一下万兆的效率(还没时间做测试跨机房): 下载了iperf安装在exadata上: 测试了一下,每秒基本上可以达到7Gb(大概7Gb/8≈700MB/s):

发表在 Database | 标签为 , , | 留下评论

Exadata上精彩的硬件告警(准确的说,应该是SUN ILOM的)

昨天Exadata上发出了一封靓丽的告警邮件,如下图: 没见过这么漂亮的邮件,清晰的告诉你是什么部件(可惜我还不认识那个大大的就是CPU……汗……) 又惊又喜的傻Lunar以为硬件坏了,高兴的是,SUN的ILOM的告警做的真棒啊 但是奇怪的是才用了没多久啊,而且比较爱惜的,怎么回事? 后来,在oracle官网搜索这个硬件, 发现是CPU边上的一个部件,貌似PCIe“故障”了。系统组的同事log了SR,等待回复。 晚上回家,按照以往的管理,我也到ILOM上搜索了一下,然后按照官方文档收集了ILOM的snapshot和一些必要信息传到SR上,SR的回复我没看懂: ” 也就是说,33%的可能是是硬件损坏…… 在oracle官网找到如下方法判断,下面的输出是ILOM 3.2以上的输出(老版本的输出本文后面有例子) 收集的信息,跟SR上老外的回复差不多,也是每个部件都有33%的可能性是硬件损坏…… 按照以往的理解,猜测是“先兆损坏”,通常这种情况,工程师可能会把硬件进行一次插拔,如果没问题就算了,如果有问题,可能就是硬件损坏。 于是又到ILOM上检查,什么硬件,根据文档说明和ILOM的指示,大概知道是什么东西了(虽然每个东西长什么样子,我没见过……基本上从毕业后就没有拆过机箱,摸过螺丝的Lunar感觉很无奈……): . /SYS/MB ————-这个表示是主板 /SYS/MB/P0 ————这个表示是CPU /SYS/MB/RISER2/PCIE2 ———-这个就是文档中说的那个拗口的“PCIe 竖隔板”,2表示槽位2 . 找到硬件工程师问了一下,这个问题是因为我们插入万兆模块的时候,报的告警,不过奇怪的是为什么oracle文档中没有写明“更换万兆模块需要关机?” 行了,知道了不是硬件问题,clear即可,这个文档上有,照做即可: 检查清除结果: 顺便介绍一下老版本的ILOM输出(ILOM 3.2以前): —举例1: 输出类似 FRU : /SYS/FANBD/FM0,这个就指出了损坏的FRU是具体对应到主机上的哪一个物理组件(full physical path) —“/SYS” 底架(chassis),我理解可能是主机架,就是拆开挡板后,所有东西都插在上面的那个主机箱的含义。 —“FANBD” 风扇模块 (fan … 继续阅读

发表在 Database | 标签为 , , , , | 留下评论

oracle数据块如何定位到ASM中?在exadata定位block的思路是什么?

前几天有个朋友提出一个“老问题”,数据库上的block能否对应到EXADATA的block上,我答应做个demo,一直没时间,今天闲了,玩了一下: 对于EXADATA来说,这个需求设计两个问题: 1,数据库的block如何对应到asm中 2,exadata上的block如何对应到cell上的物理盘(griddisk,celldisk都是逻辑概念) 首先创建测试表: create table lunartest as select * from dba_users; –查找里面用户名为LUNAR的ROWID: 记录一下这个表的username=’LUNAR’的数据的rowid,便于验证数据。 然后找到该表的第一个block,也就是segment header,方法至少有3种 1,通过dbms_rowid 2,通过dba_extents 3,通过dba_segments 这里我们随便选一种,找到了该block的位置: 查看当前ASM的AU尺寸和BLOCK尺寸(通常是缺省的,不排除特殊客户自己设定的或者exadata的情况,因此还是找一下): exadata上使用KEFED的例子可以参考《Exadata上验证ASM磁盘头备份的位置》 我的数据库为8k的数据块(db_block_size),那么计算一下对应到ASM是哪一个extent: lunartest表在DATA DG的asm file 1755上: 如果是exadata,那么输出类似下面的,这里并没有本质区别(区别在通信方式上,后面会讲……): 根据上面的计算,查找这个表的第一个数据块在哪一个ASM的diskgroup,disk和AU的信息: 如果是exadata环境,那么查询到的信息,对应到这里的/dev/lunarlun02可能就是类似下面的:o/192.168.10.3/DATA_DM01_CD_00_dm01cel01: 这里也就对应到cell01(IP为:192.168.10.3) 具体例子可以参考:Exadata更换硬盘的操作过程和解释 使用dd 我们用dd验证一下数据,: 验证数据:这个LUNARTEST是根据DBA_USERS做的CTAS,因此上面我们有一行测试数据,这里可以找到: 因为是别人的生产库,不能使用bbed等工具瞎折腾,因此,我这里使用UltraEdit查看这个块来验证数据: 可以看到数据是吻合的。至此,上面将oracle的block对应到ASM是没问题的。 另外,如果要想观察asm的具体操作,还可以使用strace,比如 read64(15, … 继续阅读

发表在 ASM, 内部机制 | 标签为 , , | 留下评论

exadata巡检报告的模板

最近有几个兄弟要exadata巡检报告的模板,完善了一下,大概200页左右: 由于里面有大量客户的资料,因此暂时设置为需要口令下载的,有需要的兄弟直接联系我 后续如果有机会,将不断更新,加入新的内容,O(∩_∩)O哈哈~ 不过现在没有环境了,有需要的可以跟我联系,我免费检查,这样一举两得,我完善了自己的知识库,朋友们可以完成工作任务,O(∩_∩)O哈哈~ Exadata_HealthCheck_模板下载地址: Exadata_HealthCheck_模板

发表在 日常运维 | 标签为 , , | 10 条评论

Exadata上的进程-Diskmon进程

Master Diskmon是Oracle Clusterware 11.1.0.7版本引入的一个新的进程(主要是为了Exadata Storage Server软件而设计的),该进程作为缺省安装的一部分随着Oracle Clusterware的安装就存在了。 Master Diskmon主要负责监控cell,并负责跟数据库节点的diskmon进程通信。该进程还参与IO fencing机制和IORM(IO Resource Manager)。 Master Diskmon进程是一个单独的进程,他跟ocssd进程通信,即便是非Exadata环境,该进程也是存在的(只是非Exadata环境,Diskmon进程没有什么作用,后面会解释这个)。 在11.1.0.7中,/bin/sh /etc/init.d/init.cssd 会启动2个diskmon相关进程,即: root 1717 0.0 0.0 6716 1368 ? Ss 11:43 0:07 /bin/sh /etc/init.d/init.cssd fatal <span>root 2799 0.0 0.0 6720 1364 ? S 11:44 0:00 … 继续阅读

发表在 FAQ | 标签为 , | 留下评论

Exadata上的Writeback和Writethrouth-4-X3和X4上的Flash Card

从X3开始采用 Flash Accelerator F40 400GB Solid State Memory ,每个cell上有4块F40卡,每个卡上有4个100GB的FDOM(每个F40的容量为4*100GB=400GB),这样,每个cell的总Flash容量为1.6T。可见从容量上已经突飞猛进了。 这里,我们再回来思考上一篇《Exadata上的Writeback和Writethrouth-4-V2和X2上的Flash Card》中提到的一个问题:是否可以将Exadata上的Flash Card作为ASM disk使用? Exadata上的Writeback和Writethrouth-4-X3和X4上的Flash Card

发表在 FAQ, 体系架构 | 标签为 , , , | 留下评论

Exadata上的Writeback和Writethrouth-3-V2和X2上的Flash Card

从V2和X2的机器上硬件带有4块写缓存功能Sun Flash Accelerator F20 PCIe Card卡,每个F20上有4个FMOD模块,每个FMOD模块是24G(每个F20为24*4=96GB容量)。因此V2和X2的每台存储服务器上可以支持4*96GB=384GB的缓存,如图: Exadata上的Writeback和Writethrouth-3-V2和X2上的Flash Card

发表在 FAQ, 体系架构 | 标签为 , , , | 留下评论