Oracle11g_RAC for vmware workstation 安装教程(on suse11)

一、前言
本文介绍在vmware workstation环境下,基于suse11sp1操作系统安装Oracle11g RAC+ASM 数据库(两节点)。
1.1 RAC中的基本概念
安装ORACLE RAC+ASM前,您可能需要事先简要的了解RAC,CRS,ASM的概念。
1.1.1 CRS
CRS是Cluster-Ready Services的缩写,是ORACLE公司自己开发的一个集群管理工具,ORACLE 11g中的RAC集群就是用CRS工具管理的。
在以前的版本中,Oracle RAC必须借助第三方Cluster软件(如VCS)进行集群管理,通讯,数据同步等功能,而在Oracle 11g中,可以使用ORACLE的CRS工具来管理RAC集群各节点的集群管理,通讯,数据同步等功能。
CRS是一个单独的产品,在构建RAC环境中,需要在每个节点上单独安装。
1.1.2 ASM
ASM全称为Automated Storage Management,是ORACLE公司自行开发的存储管理软件,用于替代操作系统所提供的LVM来管理存储,数据文件。
在Oracle 10g这个版本之前,管理一个大型数据库成百上千个的数据文件对数据库管理员来说是一个既无技术含量又十分枯燥的工作,这要求数据库管理员要熟悉一些系统的LVM的相关知识,做好磁盘规划,LV的条带等相关的系统方面的相关操作。
而使用ASM将大大减轻这方面的工作量,数据库管理员只需要管理少数几个磁盘组即可。一个磁盘组是ASM管理的一个逻辑单元,由一组磁盘设备组成。我们可以定义一个磁盘组作为数据库的默认磁盘组,Oracle会自动管理存储,包括创建、删除数据文件等。Oracle会自动将这些文件与一个合适的数据库对象做关联,这样我们在管理这些对象时只需要提供对象的名称,而无需像以前那样提供详细的文件名。
本文中的“ASM实例”是指用ASM来管理数据文件的数据库实例。

二、运行环境
2.1 硬件环境
2.1.1 虚拟机版本
Vmware workstation:10.0.1 build-1379776(分配2CPU,2G内存,40G本地硬盘,2块网卡)
操作系统:Suse 11 sp1(SUSE 10 SP2也可以)
Oracle:Oracle11.1.0.7.0
2.1.2 检查软件包

# rpm -q package_name

对于Suse linux要求至少具备以下安装包,且各安装包的版本不低于以下各包的版本:

binutils-2.16.91.0.5
compat-libstdc++-5.0.7-22.2
gcc-4.1.0
gcc-c++-4.1.0
glibc-2.4-31.2
glibc-32bit-2.4-31.2 (32 bit)
glibc-devel-2.4
glibc-devel-32bit-2.4 (32 bit)
libaio-0.3.104
libaio-32bit-0.3.104 (32 bit)
libaio-devel-0.3.104
libelf-0.8.5
libgcc-4.1.0
libstdc++-4.1.0
libstdc++-devel-4.1.0
make-3.80
sysstat-6.0.2
unixODBC-2.2.11
unixODBC-devel-2.2.11

2.1.3 删除多余的软件包
1. 删除orarun包。

# rpm -qa ora*
orarun-1.9-21.15
# rpm -e orarun-1.9-21.15

2. 删除sqpinit包。

# rpm -qa sap*
sapinit-2.0.1-1.10
# rpm -e sapinit-2.0.1-1.10

3. 删除/etc/oraInst.loc文件。

# rm –i /etc/oraInst.loc

2.1.4 安装介质

安装包描述
linux.x64_11gR1_clusterware.zip11.1.0.6 ClusterWare
linux.x64_11gR1_database_1013.zip11.1.0.6 Database
p6890831_111070_Linux-x86-64.zip11.1.0.7.0补丁包

2.1.5 操作系统规划
说明
对于安装Oracle RAC的操作系统,主机名不要有大写字母和中划线。

2.1.6 IP地址规划
IP地址规划如下表所示。(注意主机名不要有“-”等特殊字符)

参数A机B机
主机名rac1rac2
public网卡IP地址(eth0)192.168.10.61192.168.10.62
public网卡IP掩码255.255.255.0255.255.255.0
public网卡IP网关192.168.10.1192.168.10.1
虚拟IP(VIP)192.168.10.51192.168.10.52
私有网卡IP地址(eth1)192.168.1.61192.168.1.62
私有网卡IP掩码255.255.255.0255.255.255.0 255.255.255.0
私有网卡IP网关不配置不配置

对于RAC中每一个节点:
需要2个公有IP地址,用于配置公网业务网卡和虚拟IP(VIP)。
需要1个私有IP地址,不需配置网关。
浮动(virtual)IP无须手工配置网卡,只需写入/etc/hosts文件,安装RAC时会自动设置,它必须与公网public IP处于同一网段。
例如:

rac1:~ # ifconfig
eth0     Link encap:Ethernet  HWaddr 00:25:9E:80:DF:E4inet addr:192.168.1.61  Bcast:192.168.1.255  Mask:255.255.255.0UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1RX packets:48476 errors:0 dropped:0 overruns:0 frame:0TX packets:22813 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:0RX bytes:63574027 (60.6 Mb)  TX bytes:2168026 (2.0 Mb)eth1     Link encap:Ethernet  HWaddr 00:25:9E:80:DF:E6inet addr:192.168.10.61  Bcast:10.69.11.255  Mask:255.255.255.0UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1RX packets:3024598 errors:0 dropped:0 overruns:0 frame:0TX packets:1514891 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:0RX bytes:4113073257 (3922.5 Mb)  TX bytes:178111512 (169.8 Mb)

虚拟机配置:
在这里插入图片描述
2.1.7 本地磁盘空间分配
对于本地磁盘空间划分,要求RAC的各节点保持一致。(测试环境够用即可)

分区空间(GB)文件系统类型
/swap16
/30reiser
/home8ext3
/opt8ext3
/opt/oracle20ext3
/opt/oracrs20ext3
/opt/orabak20ext3

2.1.8 共享磁盘规划
为模拟存储,虚拟机创建5个共享磁盘:(注意两个节点添加的硬盘的顺序要保持一致),以下为磁盘规划及大小,实际安装不需要严格按此划分。

共享磁盘名称大小(根据实际需要调整)作用
lun_ocr.vmdk1GB存放集群注册表OCR。
lun_vote.vmdk1GB存放集群锁盘文件Voting Disk。
lun_data.vmdk10GB存放Oracle系统表空间数据文件。
lun_ora.vmdk10GB存放应用数据表空间数据文件、应用索引表空间数据文件。
lun_arch1.vmdk2GB如果数据库要开启归档模式,用于创建节点一使用的归档目录/archivelog1,属组为oracle:dba。文件类型ext3。
lun_arch2.vmdk2GB如果数据库要开启归档模式,用于创建节点二使用的归档目录/archivelog2,属组为oracle:dba。文件类型ext3。

开始-运行-cmd,cd进入vmware安装目录,执行如下命令创建共享磁盘。

vmware-vdiskmanager.exe -c -s 1GB -a lsilogic -t 4 "Z:\RAC-DISK\lun_ocr.vmdk"
vmware-vdiskmanager.exe -c -s 1GB -a lsilogic -t 4 "Z:\RAC-DISK\lun_vote.vmdk"
vmware-vdiskmanager.exe -c -s 10GB -a lsilogic -t 4 "Z:\RAC-DISK\lun_data.vmdk"
vmware-vdiskmanager.exe -c -s 10GB -a lsilogic -t 4 "Z:\RAC-DISK\lun_ora.vmdk"
vmware-vdiskmanager.exe -c -s 2GB -a lsilogic -t 4 "Z:\RAC-DISK\lun_arch1.vmdk"
vmware-vdiskmanager.exe -c -s 2GB -a lsilogic -t 4 "Z:\RAC-DISK\lun_arch2.vmdk"

虚拟机添加磁盘选择添加已经存在的磁盘
在这里插入图片描述
下面这个提示选择“保持现有格式”即可。
在这里插入图片描述
创建后在高级设置中将硬盘分配到SCSI1:X下面
在这里插入图片描述
打开虚拟机存放目录的vmx配置文件,本例为SUSE11-1.vmx和SUSE11-2.vmx
检查如下配置,如不一致需要更改,注意检查下原来有没有相关配置项,以免冲突。

disk.locking= "FALSE"
diskLib.dataCacheMaxSize = "0" 
diskLib.dataCacheMaxReadAheadSize="0"
diskLib.DataCacheMinReadAheadSize="0"
diskLib.dataCachePageSize="4096"
diskLib.maxUnsyncedWrites="0"
scsi1.present = "TRUE"
scsi1.virtualDev = "lsilogic"
scsi1:1.present = "TRUE"
scsi1:1.fileName = "Z:\RAC-DISK\lun_ocr.vmdk"
scsi1:2.present = "TRUE"
scsi1:2.fileName = "Z:\RAC-DISK\lun_vote.vmdk"
scsi1:3.present = "TRUE"
scsi1:3.fileName = "Z:\RAC-DISK\lun_ora.vmdk"
scsi1:4.present = "TRUE"
scsi1:4.fileName = "Z:\RAC-DISK\lun_data.vmdk"
scsi1:5.present = "TRUE"
scsi1:5.fileName = "Z:\RAC-DISK\lun_arch1.vmdk"
scsi1:6.present = "TRUE"
scsi1:6.fileName = "Z:\RAC-DISK\lun_arch2.vmdk"

三、安装前准备
3.1 创建名为dba的操作系统组
以root用户登录,分别在RAC各节点上执行。
【检查命令】

# grep dba /etc/group

无输出则表示dba组不存在。如果dba组已存在,则使用以下命令删除dba组。
【删除命令】

# groupdel dba

【创建命令】

# groupadd -g 200 dba

3.2 创建名为oinstall的操作系统组
以root用户登录,分别在RAC各节点上执行。
【检查命令】

# grep oinstall /etc/group

无输出则表示oinstall组不存在。如果oinstall组已存在,则使用以下命令删除oinstall组。
【删除命令】

# groupdel oinstall

若提示以下信息,表示该组中还有用户,需要先删除用户再执行上面的命令删除组。

groupdel: GID '120' is primary group of 'oracle'.
groupdel: Cannot remove user's primary group.

【创建命令】

# groupadd -g 201 oinstall

3.3 创建名为oracle的操作系统用户
以root用户登录,分别在RAC各节点上执行。
【检查命令】

# grep oracle /etc/passwd

无输出则表示Oracle用户不存在。如果Oracle用户已存在,则使用以下命令删除Oracle用户。
【删除命令】

# userdel -rf oracle

【创建命令】

# useradd -u 300 -g oinstall -G dba -d /home/oracle -s /bin/bash -m oracle

【命令说明】
用户名为oracle,隶属于dba组。
3.4 为oracle用户建立密码
以root用户登录,分别在RAC各节点上执行。passwd oracle
【命令】

# passwd oracle
Changing password for oracle.
New Password:********
Reenter New Password:********
Password changed.

3.5 赋予目录正确的权限
3.5.1 改变文件系统/opt/oracle属组并赋权
以root用户登录,分别在RAC各节点上执行。
【命令】

# mkdir /opt/oracle
# chown -R oracle:dba /opt/oracle
# chmod -R 770 /opt/oracle

3.5.2 改变文件系统/opt/oracrs属组并赋权
以root用户登录,分别在RAC各节点上执行。
【命令】

# mkdir /opt/oracrs
# chown -R oracle:dba /opt/oracrs
# chmod -R 770 /opt/oracrs

3.5.3 改变文件系统/opt/orabak属组并赋权
以root用户登录,分别在RAC各节点上执行。
【命令】

# mkdir /opt/orabak
# chown -R oracle:dba /opt/orabak
# chmod -R 770 /opt/orabak

3.5.4 创建目录/usr/local/bin并赋权
在RAC各节点上检查/usr/local/bin目录是否存在,如不存在则需创建该目录,并赋予755权限。
【命令】

# mkdir /usr/local/bin
# chmod 755 /usr/local/bin
# ll /usr/local |grep bin
drwxr-xr-x  2 root root 4096 2024-05-03 21:24 bin

3.5.5 赋权/tmp目录权限
在RAC各节点上检查/tmp是否具有1777权限,如不具备则赋予/tmp目录1777权限。
【命令】

# chmod 1777 /tmp
# ll / |grep tmp
drwxrwxrwt  17 root root 4096 2019-06-13 10:00 tmp

3.6 设置oracle用户环境变量
以oracle用户登录,编辑RAC各节点的/home/oracle/.bashrc文件,在其中增加如下内容,设置环境变量。

# Oracle Environment
export ORACLE_BASE=/opt/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11g/db
export ORA_CRS_HOME=/opt/oracrs
export ORACLE_SID=ora11g1                     #请根据实际情况进行修改
export ORACLE_TERM=xterm
LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib:$ORACLE_HOME/rdbms/lib
export LD_LIBRARY_PATH
SHLIB_PATH=$ORACLE_HOME/lib32:$ORACLE_HOME/rdbms/lib32
export SHLIB_PATH
# Set shell search paths:
export PATH=$ORACLE_HOME/bin:$ORACLE_HOME/OPatch:/usr/sbin:$PATH:/usr/local/bin:$ORA_CRS_HOME/bin
# CLASSPATH must include the following JRE locations:
CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib
export CLASSPATH=$CLASSPATH:$ORACLE_HOME/network/jlib
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK

修改完成后使之生效。

$ source .bashrc

使用如下命令,查看环境变量是否生效

$env

【重要说明】
红色部分请根据实际情况进行设置。
ORACLE_SID:instance_name唯一的标识一个实例,一般以数据库名加上实例号为命名规范,例如:Rac的数据库名称为ora11g,则rac1中此处设置为ora11g1,rac2中此处设置为ora11g2,依次类推。

四、配置RAC网络及主机参数
4.1 网卡划分
两块网卡分别用作外网网卡和心跳网卡。
4.2 配置hosts文件
以root用户登录,编辑RAC各节点的/etc/hosts文件。且各节点请保持统一。
【内容示例】
请根据局点实际IP规划修改下面示例:

127.0.0.1        localhost.localdomain localhost
# Public IP and hostnames for NIC bond1 at Fabric (public network)192.168.10.61    rac1   # RAC node 1
192.168.10.62    rac2   # RAC node 2# Private IP and hostnames for NIC bond0 at basic (private Interconnect/heartbeat)192.168.1.61  rac1_heart      # RAC node 1
192.168.1.62  rac2_heart      # RAC node 2# Public virtual IP address and hostname (public Virtual Internet Protocol (VIP))192.168.10.51     rac1_vip      # RAC node 1
192.168.10.52     rac2_vip      # RAC node 2

4.3 建立RAC节点的SSH信任关系
4.3.1 操作步骤
由于ORACLE RAC安装界面使用SSH/SCP命令在各节点上同时复制文件或执行命令,因此必须配置SSH,以避免到时需要输入密码。如果不配SSH,安装时会报错。
步骤1:在各节点生成RSA公钥和DSA公钥

rac1:~ # su - oracle
oracle@rac1:~> ssh-keygen -t rsa       //需要按三次回车
Generating public/private rsa key pair.
Enter file in which to save the key (/home/oracle/.ssh/id_rsa):
Created directory '/home/oracle/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/oracle/.ssh/id_rsa.
Your public key has been saved in /home/oracle/.ssh/id_rsa.pub.
The key fingerprint is:
6a:da:e5:38:7a:44:24:b1:81:94:46:79:d8:97:98:0d oracle@hostnameA
oracle@rac1:~> ssh-keygen -t dsa       //需要按三次回车
Generating public/private dsa key pair.
Enter file in which to save the key (/home/oracle/.ssh/id_dsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/oracle/.ssh/id_dsa.
Your public key has been saved in /home/oracle/.ssh/id_dsa.pub.
The key fingerprint is:
6c:b4:4b:79:20:24:c1:1c:50:ab:bc:4b:a0:9d:3b:9c oracle@hostnameA

用同样的方法,在rac2上以oracle用户运行以下命令,生成各节点的公钥:

ssh-keygen -t rsa
ssh-keygen -t dsa

步骤2:将rac1的RSA公钥和DSA公钥添加到authorized_keys文件中

oracle@rac1: > cd /home/oracle/.ssh
oracle@rac1: > cat id_rsa.pub >> authorized_keys
oracle@rac1: > cat id_dsa.pub >> authorized_keys

步骤3:将rac1上的密钥对文件authorized_keys复制到rac2的.ssh目录下。

oracle@rac1: > scp authorized_keys oracle@rac2:/home/oracle/.ssh

步骤4:使用oracle用户登录rac2,将rac2的RSA公钥和DSA公钥添加到authorized_keys文件中。

oracle@rac2: > cd /home/oracle/.ssh
oracle@rac2: > cat id_rsa.pub >> authorized_keys
oracle@rac2: > cat id_dsa.pub >> authorized_keys

步骤5:将rac2上的密钥对文件authorized_keys复制到rac1的.ssh目录下。

oracle@rac2: > scp authorized_keys oracle@rac1:/home/oracle/.ssh

步骤6:更新主机列表
按照以上方式建立好互信关系后,互信的节点之间第一次访问时,系统会提示是否将该主机加入已知主机列表中,此处需要手工输入yes后,后续访问不再需要手工输入。

--在rac1上执行以下操作
oracle@rac1: > ssh rac1
oracle@rac1: > exit
logout
Connection to rac1 closed.
oracle@rac1: > ssh rac1_heart
The authenticity of host 'rac1_heart (192.168.1.61)' can't be established.
RSA key fingerprint is 06:de:db:73:91:98:a8:71:72:07:f8:c5:c5:4e:11:20.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'rac1_heart, 192.168.1.61' (RSA) to the list of known hosts.
oracle@rac1: > exit
logout
Connection to rac1_heart closed.

以下只列出命令,省略命令的输出

oracle@rac1: > ssh rac2
oracle@rac1: > ssh rac2_heart

步骤7:将rac1上的known_hosts文件拷贝至其他节点

--使用oracle用户登录rac1
oracle@rac1: > cd /home/oracle/.ssh
oracle@rac1: > scp known_hosts rac2:/home/oracle/.ssh/
known_hosts                               100% 1512     1.5KB/s   00:00

如果互信节点之间可以互相登录进行ssh访问而无需输入ORACLE用户的密码,则表明正确。
如果有更多节点,那么每个节点上都要检查与其它所有节点的互信关系。
4.3.2 异常处理
如果不能建立互信关系,进行如下操作:
步骤1:使用root用户分别登录rac1和rac2
步骤2:修改/etc/ssh/ssh_config,去掉如下配置项前的注释符“#”。

IdentityFile ~/.ssh/identity
IdentityFile ~/.ssh/id_rsa
IdentityFile ~/.ssh/id_dsa

步骤3:修改/etc/ssh/sshd_config,去掉如下配置项前的注释符“#”。

RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile      .ssh/authorized_keys

步骤4:执行如下命令重启rac1和rac2上的sshd服务。

# rcsshd restart
Shutting down SSH daemon                                             done
Starting SSH daemon                                                  done

步骤5:退出root用户登录,使用oralce用户登录rac1和rac2,删除原有的密钥对目录.ssh

//rac1上执行
oracle@rac1: > rm -rf .ssh
//rac2上执行
oracle@rac2: > rm -rf .ssh

步骤6:重新配置互信关系。
4.4 配置各节点时钟同步
ORACLE RAC在安装和今后的运行中必须保证所有节点时钟同步
4.4.1 两节点之间时钟同步
如果现场没有提供NTP服务器时,请做如下操作:
(虚拟机可使用vmtools进行时钟同步:将虚拟机vmx中tools.syncTime = "FALSE"修改为tools.syncTime = “TRUE”)
【检查时钟同步】

--以oracle用户登录rac1
$ date;ssh rac2 date
Fri Nov 27 15:41:11 EST 2024
Fri Nov 27 15:41:07 EST 2024
Fri Nov 27 15:40:41 EST 2024
Fri Nov 27 15:40:47 EST 2024

【配置时钟同步】

--以root用户登录rac1
# /etc/init.d/ntp stop
Shutting down network time protocol daemon (NTPD)                     done
# /etc/init.d/ntp start
Starting network time protocol daemon (NTPD)                         done
# ps -ef |grep -i ntp
ntp       5674     1  0 04:26 ?        00:00:00 /usr/sbin/ntpd -p /var/lib/ntp/var/run/ntp/ntpd.pid -u ntp -i /var/lib/ntp
--以root用户登录rac2
# /etc/init.d/ntp stop
Shutting down network time protocol daemon (NTPD)                    done
# ntpdate rac1
16 Jul 04:29:32 ntpdate[6924]: step time server 192.168.10.1 offset 28802.514019 sec

【确认时钟同步】

--以oracle用户登录rac1
$ date;ssh rac2 date
Fri Nov 27 16:08:01 EST 2024
Fri Nov 27 16:08:01 EST 2024
Fri Nov 27 16:08:01 EST 2024
Fri Nov 27 16:08:01 EST 2024

4.4.2 两节点从NTP服务器同步时钟
现场提供了NTP服务器时,请做如下操作:
步骤1:1)编辑/etc/ntp.conf

vi /etc/ntp.conf

配置文件的后面几行,会看到如下类似显示:

server 127.0.0.1 local clock
fudge 127.0.0.1 stratum 10

修改成如下显示:

server 133.64.32.5       # NTP服务器的IP地址
server 133.64.32.6        # NTP服务器的IP地址
fudge 133.64.32.5 stratum 10
fudge 133.64.32.6 stratum 9

步骤2:启动ntp服务

 /etc/rc.d/ntp start

同样,停止ntp服务命令为:/etc/rc.d/ntp stop
3)运行ntpq -p检查ntp工作情况

remote           refid      st t when poll reach   delay   offset  jitter
=============================================================== 133.64.32.5    LOCAL(0)        11 u    4   64    1    0.154    0.034   0.001133.64.32.6    LOCAL(0)       12 u    -   64    0    0.000    0.000 4000.00

4.5 调整操作系统参数
操作系统内核参数设置标准(虚拟机环境可以暂时不设置)

核心参数设置注释
KERNEL.SEMMSL250
KERNEL.SEMMNS32000定义了操作系统用户最大可以访问的信号量数量。
KERNEL.SEMOPM100
KERNEL.SEMMNI128定义了操作系统最大信号量集的数量
KERNEL.SHMALLmax((sga_target/4096 + 2097152),4194304)至少设置为4194304,sga_target表示Oracle分配给SGA的物理内存大小(单位BYTE)
KERNEL.SHMMAX4294967296如果物理内存在4G以下,则设置SHMMAX为物理内存的一半,否则设置SHMMAX为2G
KERNEL.SHMMNI4096定义了操作系统共享内存段的最大数量
FS.FILE-MAXmax(4096*PROCESSES,6553600)PROCESSES为“Oracle初始化参数设置标准”中的数据库参数
FS.AIO-MAX-NR1048576异步IO最大进程数
NET.IPV4.IP_LOCAL_PORT_RANGEMinimum:9000 Maximum:65500
NET.CORE.RMEM_DEFAULT262144
NET.CORE.RMEM_MAX4194304
NET.CORE.WMEM_DEFAULT262144
NET.CORE.WMEM_MAX1048576

通过修改文件/etc/sysctl.conf,增加对要修改的内核参数值。

注意: 如果文件/etc/sysctl.conf中的内核参数和新增内核参数相同,请使用’#'字符屏蔽文件/etc/sysctl.conf中原有的内核参数。
另外SUSE11需要卸载sapconf这个软件包,否则修改后重启会被自动修改。

【样例参考】

rac1:~ # more /etc/sysctl.conf
net.ipv4.icmp_echo_ignore_broadcasts = 1
net.ipv4.conf.all.rp_filter = 1
fs.inotify.max_user_watches = 65536
net.ipv4.conf.default.promote_secondaries = 1
net.ipv4.conf.all.promote_secondaries = 1
#kernel.shmmax = 9223372036854775807
#kernel.sem = 1250 256000 100 8192
#kernel.shmall = 1152921504606846720
vm.max_map_count = 1000000
fs.file-max = 4096000
fs.aio-max-nr = 1048576
kernel.shmall = 4194304
kernel.shmmax = 1073741824
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65000
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576

【启动命令进行参数修改】

# /sbin/chkconfig boot.sysctl on
# /sbin/sysctl -p

【检查参数是否生效】

# /sbin/sysctl -a | grep sem
# /sbin/sysctl -a | grep shm
# /sbin/sysctl -a | grep file-max
# /sbin/sysctl -a | grep aio-max-nr
# /sbin/sysctl -a | grep net.ipv4.ip_local
# /sbin/sysctl -a | grep rmem_
# /sbin/sysctl -a | grep wmem_

【显示如下】

kernel.sem = 250        32000   100     128
vm.hugetlb_shm_group = 1000
kernel.shmmni = 4096
kernel.shmall = 4194304
kernel.shmmax = 2147483648
fs.file-max = 4096000
fs.aio-max-nr = 1048576
net.ipv4.ip_local_port_range = 9000     65000
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
  1. 设置Oracle用户的shell限制
    修改文件/etc/security/limits.conf,追加以下内容
oracle  -  nproc  16384
oracle  -  nofile 65536

修改文件/etc/pam.d/login,追加以下内容

session  required   pam_limits.so

五、配置共享磁盘阵列
步骤1:重启主机之后,使用lsscsi或fdisk -l命令可以查看到挂载的共享磁盘。

# lsscsi
[0:0:0:0]    disk    VMware,  VMware Virtual S 1.0   /dev/sda 
[1:0:1:0]    disk    VMware,  VMware Virtual S 1.0   /dev/sdb 
[1:0:2:0]    disk    VMware,  VMware Virtual S 1.0   /dev/sdc 
[1:0:3:0]    disk    VMware,  VMware Virtual S 1.0   /dev/sdd 
[1:0:4:0]    disk    VMware,  VMware Virtual S 1.0   /dev/sde 
[1:0:5:0]    disk    VMware,  VMware Virtual S 1.0   /dev/sdf 
[1:0:6:0]    disk    VMware,  VMware Virtual S 1.0   /dev/sdg 
[3:0:0:0]    cd/dvd  NECVMWar VMware SATA CD01 1.00  /dev/sr0

5.2 挂接裸设备并赋权
Unix/Linux体系中,分区创建后,必须将块设备/dev/sd**映射为字符设备/dev/raw/raw*才能让应用程序使用。以root用户在RAC各节点执行。
步骤1:首先检查系统中已有哪些裸设备。

# raw -qa

若没有任何返回信息,表示没有裸设备,则执行步骤2;若有返回信息,则表示有裸设备,若现有裸设备不符合要求,可以通过以下的命令删除,然后执行步骤2。

#raw /dev/raw/raw<N> 0 0       //<N>表示裸设备的编号。

例如,用raw /dev/raw/raw1 0 0 删除裸设备/dev/raw/raw1。

步骤2:由于SUSE存在绑定的裸设备在重启后权限丢失的风险,建议采用以下方式规避,注意用于OCR的裸设备权限与其他裸设备的权限不同:

# vi /etc/init.d/after.local
modprobe raw
raw /dev/raw/raw1 /dev/sdb
raw /dev/raw/raw2 /dev/sdc
raw /dev/raw/raw3 /dev/sdd
raw /dev/raw/raw4 /dev/sde
sleep 5chown root:oinstall /dev/raw/raw1
chmod 775 /dev/raw/raw1
chown oracle:oinstall /dev/raw/raw2
chmod 775 /dev/raw/raw2
chown oracle:dba /dev/raw/raw3
chmod 775 /dev/raw/raw3
chown oracle:dba /dev/raw/raw4
chmod 775 /dev/raw/raw4--执行如下命令
# chmod u+x /etc/init.d/after.local
# /etc/init.d/after.local
# raw -qa
/dev/raw/raw1:  bound to major 8, minor 16
/dev/raw/raw2:  bound to major 8, minor 32
/dev/raw/raw3:  bound to major 8, minor 48
/dev/raw/raw4:  bound to major 8, minor 64

步骤3:重启单板。

# init 6

步骤4:检查裸设备数目是否正确。

# raw -qa
/dev/raw/raw1:  bound to major 8, minor 16
/dev/raw/raw2:  bound to major 8, minor 32
/dev/raw/raw3:  bound to major 8, minor 48
/dev/raw/raw4:  bound to major 8, minor 64

步骤5:检查裸设备权限是否正确:注意:rawctl的属主必须为:root

# ll /dev/raw
total 0
crwxrwxr-x 1 root   oinstall 162, 1 Dec 12 11:21 raw1
crwxrwxr-x 1 oracle oinstall 162, 2 Dec 12 11:21 raw2
crwxrwxr-x 1 oracle dba      162, 3 Dec 12 11:21 raw3
crwxrwxr-x 1 oracle dba      162, 4 Dec 12 11:21 raw4
crw-rw---- 1 root   disk     162, 0 Dec 12 10:49 rawctl

步骤6:检查裸设备的读写。
注意:使用DD命令时务必小心,确保盘符没有写错,避免误格式化其它磁盘。
例如:

# dd if=/dev/zero of=/dev/raw/raw1 count=2000
2000+0 records in
2000+0 records out
1024000 bytes (1.0 MB) copied, 0.798751 seconds, 1.3 MB/s
# dd of=/dev/null if=/dev/raw/raw1 count=2000
2000+0 records in
2000+0 records out
1024000 bytes (1.0 MB) copied, 0.635695 seconds, 1.6 MB/s

所有绑定的裸设备检查后如果都能读写说明OK。

5.3 创建归档文件系统
通过“5.3 扫描新磁盘”将新磁盘扫描上来后,需要为RAC的两个节点创建归档文件系统。规划的文件系统类型为ext3,需要先将磁盘pv化后再创建vg、lv及挂载到文件系统上。
以root用户执行如下命令。

步骤1:创建归档目录。
在rac1节点执行如下命令。

# cd /
# mkdir /archivelog1
# chown oracle:dba /archivelog1

在rac2节点执行如下命令。

# cd /
# mkdir /archivelog2
# chown oracle:dba /archivelog2

步骤2:创建PV。
在rac1节点执行如下命令。

# pvcreate /dev/sde

在rac2节点执行如下命令。

# pvcreate /dev/sdf

步骤3:创建VG。
在rac1节点执行如下命令。

# vgcreate arch1vg /dev/sde

在rac2节点执行如下命令。

# vgcreate arch2vg /dev/sdf

步骤4:创建LV。
在rac1节点执行如下命令。

# lvcreate -l `vgdisplay arch1vg | grep "Total PE"| awk '{printf $3}'` arch1vg -n arch1lv

在rac2节点执行如下命令。

# lvcreate -l `vgdisplay arch2vg | grep "Total PE"| awk '{printf $3}'` arch2vg -n arch2lv

步骤5:激活卷组。
在rac1节点执行如下命令。

# vgchange -a y arch1vg

在rac2节点执行如下命令。

# vgchange -a y arch2vg

步骤6:创建文件系统。
在rac1节点执行如下命令。

# mkfs.ext3 /dev/arch1vg/arch1lv

在rac2节点执行如下命令。

# mkfs.ext3 /dev/arch2vg/arch2lv

步骤7:加载文件系统。
在rac1节点执行如下命令:

# vgchange -a y arch1vg
# mount /dev/mapper/arch1vg-arch1lv /archivelog1
# sleep 5
# chown -cR oracle:dba /archivelog1

在rac2节点执行如下命令:

# vgchange -a y arch2vg
# mount /dev/mapper/arch2vg-arch2lv /archivelog2
# sleep 5
# chown -cR oracle:dba /archivelog2

为了避免系统重启后还要重新加载文件系统,需要将上述命令合入/etc/init.d/after.local文件中。在rac1和rac2上分别添加上述命令到/etc/init.d/after.local文件中。

六、安装CRS
6.1 安装前准备工作
安装CRS之前,请确认已经调整了操作系统的内核参数。

6.1.1 上传安装介质
以root用户将安装软件上传到rac1的/opt/orabak中(如采用FTP上传注意需要二进制方式),目录结构如下:
/opt/orabak/linux.x64_11gR1_clusterware.zip
解压缩安装文件,并赋予权限。

# cd /opt/orabak
# unzip linux.x64_11gR1_clusterware.zip
# chmod 770 -R /opt/orabak/clusterware
# chown oracle:dba -R /opt/orabak/clusterware

6.1.2 创建Inventory目录
Inventory目录主要用于存放Oracle安装过程中的一些信息。
在RAC各节点上以root用户创建目录/opt/oracle/oraInventory,并使oracle:dba为其所有者。

# mkdir /opt/oracle/oraInventory
# chown oracle:dba /opt/oracle/oraInventory
# chmod 770 /opt/oracle/oraInventory

6.1.3 设置DISPLAY环境变量
在虚拟机本地安装可以不用设置

步骤1:切换到oracle用户。

# su - oracle

步骤2:设置DISPLAY环境变量。
如果是直接连接到主机的终端上进行安装,执行:

$ export DISPLAY=localhost:0.0

如果是在远程终端上进行安装,执行:

$ export DISPLAY=REMOTE_IP:0.0  --例export DISPLAY=10.71.111.142:0.0

步骤4:检查oracle的所有环境变量是否已经生效,在启动安装前需要确保.bashrc中设置的环境变量都已生效。

$ env

6.2 安装Oracle CRS软件
安装ORACLE11g软件必须使用oracle用户,并确oracle用户的环境变量生效。
在安装过程中,如果遇到/tmp空间过小的错误安装将无法继续,此时请在安装用户oracle下设置TEMP和TEMPDIR环境变量,将ORACLE使用的TEMP空间指向一个足够大的文件系统即可。例如:

$ export TEMP=/opt/oracle
$ export TEMPDIR=/opt/oracle

6.2.1 集群安装预校验
以oracle用户登录rac1,执行以下命令检查双机是否满足CRS安装的条件,要求所有项目都要passed。如果存在问题,必须按照提示修复后才可以执行集群安装。(由于SUSE11不在ORACLE11的默认支持范围内,因此检查会报错,可以忽略此步骤)

$ cd /opt/orabak/clusterware
$ ./runcluvfy.sh stage -pre crsinst -n rac1,rac2
Performing pre-checks for cluster services setupChecking node reachability...
Node reachability check passed from node " rac1".Checking user equivalence...
User equivalence check passed for user "oracle".Checking administrative privileges...
User existence check passed for "oracle".
Group existence check passed for "oinstall".
Membership check for user "oracle" in group "oinstall" [as Primary] passed.Administrative privileges check passed.Checking node connectivity...Node connectivity check passed for subnet "192.168.1.0" with node(s) rac1,rac2.
Node connectivity check passed for subnet "10.69.11.0" with node(s) rac2,rac1.Interfaces found on subnet "192.168.1.0" that are likely candidates for VIP:
rac1 eth4:192.168.1.61
rac2 eth4:192.168.1.62Interfaces found on subnet "10.69.11.0" that are likely candidates for a private interconnect:
rac2 bond1:192.168.10.62
rac1 bond1:192.168.10.61Node connectivity check passed.Checking system requirements for 'crs'...
Total memory check passed.
Free disk space check passed.
Swap space check passed.
System architecture check passed.
Kernel version check passed.
Package existence check passed for "make-3.80".
Package existence check passed for "binutils-2.16.91.0.5".
Package existence check passed for "gcc-4.1.0".
Package existence check passed for "gcc-c++-4.1.0".
Package existence check passed for "libaio-0.3.104".
Package existence check passed for "libaio-32bit-0.3.104".
Package existence check passed for "libelf-0.8.5".
Package existence check passed for "compat-libstdc++-5.0.7".
Package existence check passed for "libaio-devel-0.3.104".
Package existence check passed for "libgcc-4.1.0".
Package existence check passed for "libstdc++-4.1.0".
Package existence check passed for "libstdc++-devel-4.1.0".
Package existence check passed for "sysstat-6.0.2".
Package existence check passed for "glibc-2.4-31.2".
Package existence check passed for "glibc-32bit-2.4-31.2".
Package existence check passed for "glibc-devel-2.4".
Package existence check passed for "glibc-devel-32bit-2.4".
Group existence check passed for "dba".
Group existence check passed for "oinstall".
User existence check passed for "nobody".System requirement passed for 'crs'Pre-check for cluster services setup was successful.

假如出现类似如下的信息,表示检查不通过,可能是由于双机信任关系不正确。请通过ping命令和SSH检查双机信任关系的方法定位。

Performing pre-checks for cluster services setup Checking node reachability...Check: Node reachability from node "rac1"Destination Node                      Reachable?              ------------------------------------  ------------------------rac2                                  no                      rac1                                  no                      
Result: Node reachability check failed from node "rac1".ERROR: 
Unable to reach any of the nodes.
Verification cannot proceed.Pre-check for cluster services setup was unsuccessful on all the nodes.

6.2.2 启动Universal Installer安装界面
步骤1:用oracle用户登录rac1启动OUI进行安装。
虽然是登录rac1进行安装,但是由于在安装过程中会指定其他的rac节点,所以实际上CRS会在所有指定的rac节点上安装。

$ /opt/orabak/clusterware/runInstaller
Starting Oracle Universal Installer...Checking Temp space: must be greater than 120 MB.   Actual 3658 MB    Passed
Checking swap space: must be greater than 150 MB.   Actual 8197 MB    Passed
Checking monitor: must be configured to display at least 256 colors.    Actual 16777216    Passed
Preparing to launch Oracle Universal Installer from /tmp/OraInstall2024-12-08_05-26-49PM. Please wait ...oracle@rac1:/opt/orabak/clusterware> Oracle Universal Installer, Version 11.1.0.6.0 Production
Copyright (C) 1999, 2024, Oracle. All rights reserved.

在这里插入图片描述
步骤2:选择Next进入下一个界面。
如果报以下错误,请确认系统上没有已安装的ORACLE后,单击OK即可。
在这里插入图片描述
步骤3:指定Inventory目录存放位置。
在Enter the full path of the inventory directory中选择事先建好的Inventory目录
在Specify Operation System group name中选择“oinstall”
在这里插入图片描述
步骤4:指定CRS安装目录,然后单击Next。
在Path中选择“/opt/oracrs”。
在这里插入图片描述
若出现如下提示,单击OK继续。
在这里插入图片描述
步骤5:进行预安装检测。单击Next。
在这里插入图片描述
步骤6:没有重要错误可以忽略。
步骤7:没有重要错误可以忽略。
步骤8:添加集群节点。
单击Add按钮,添加其他的节点;单击Edit按钮,修改已有的节点。
在Cluster Name中填写“rac_cluster”
说明:下述信息要与etc/hosts中的内容保持一致。
在Public Node Name中填写rac1
在Private Node Name中填写rac1_heart
在Virtual Host Name中填写rac1_vip
在这里插入图片描述
例如:添加rac2这个节点
在这里插入图片描述
在Public Node Name中填写“rac2”
在Private Node Name中填写“rac2_heart”
在Virtual Host Name中填写“rac2_vip”
然后单击OK
在这里插入图片描述
添加完毕之后单击Next。

步骤9:指定网卡的应用
Eth2指定为Public,eth1网卡指定为Private,其他的指定为“Do Not Use”。
在这里插入图片描述
步骤10:指定OCR位置
选择External Redundancy
按照之前的规划,在Specify OCR Location中填写“/dev/raw/raw1”
在这里插入图片描述
步骤11:指定锁盘位置
选择External Redundancy
在Voting Disk Location中填写“/dev/raw/raw2”
在这里插入图片描述
步骤12:概要检查
检查没有问题,确保空间足够,按Install按钮进行安装。
在这里插入图片描述
步骤13:执行orainstRoot.sh和root.sh脚本
安装即将结束时,会提示用root用户执行orainstRoot.sh和root.sh脚本。
在这里插入图片描述
新开一个SHELL窗口,在rac1节点,依次执行以下命令。

$ su - root
# cd /opt/oracle/oraInventory/
# ./orainstRoot.sh
Changing permissions of /opt/oracle/oraInventory to 770.
Changing groupname of /opt/oracle/oraInventory to oinstall.
The execution of the script is complete# cd /opt/oracrs/
# ./root.sh
Checking to see if Oracle CRS stack is already configured
/etc/oracle does not exist. Creating it now.Setting the permissions on OCR backup directory
Setting up Network socket directories
Oracle Cluster Registry configuration upgraded successfully
Successfully accumulated necessary OCR keys.
Using ports: CSS=49895 CRS=49896 EVMC=49898 and EVMR=49897.
node <nodenumber>: <nodename> <private interconnect name> <hostname>
node 1: rac1 rac1_heart rac1
node 2: rac2 rac2_heart rac2
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
Now formatting voting device: /dev/raw/raw2
Format of 1 voting devices complete.
Startup will be queued to init within 30 seconds.
Adding daemons to inittab
Expecting the CRS daemons to be up within 600 seconds.
Cluster Synchronization Services is active on these nodes.rac1
Cluster Synchronization Services is inactive on these nodes.rac2
Local node checking complete. Run root.sh on remaining nodes to start CRS daemons.

在rac2节点,依次执行如下命令

$ su - root
# cd /opt/oracle/oraInventory/
# ./orainstRoot.sh
Changing permissions of /opt/oracle/oraInventory to 770.
Changing groupname of /opt/oracle/oraInventory to oinstall.
The execution of the script is complete# cd /opt/oracrs/
# ./root.sh
Checking to see if Oracle CRS stack is already configured
/etc/oracle does not exist. Creating it now.Setting the permissions on OCR backup directory
Setting up Network socket directories
Oracle Cluster Registry configuration upgraded successfully
clscfg: EXISTING configuration version 4 detected.
clscfg: version 4 is 11 Release 1.
Successfully accumulated necessary OCR keys.
Using ports: CSS=49895 CRS=49896 EVMC=49898 and EVMR=49897.
node <nodenumber>: <nodename> <private interconnect name> <hostname>
node 1: rac1 rac1_heart rac1
node 2: rac2 rac2_heart rac2
clscfg: Arguments check out successfully.NO KEYS WERE WRITTEN. Supply -force parameter to override.
-force is destructive and will destroy any previous cluster
configuration.
Oracle Cluster Registry for cluster has already been initialized
Startup will be queued to init within 30 seconds.
Adding daemons to inittab
Expecting the CRS daemons to be up within 600 seconds.
Cluster Synchronization Services is active on these nodes.rac1rac2
Cluster Synchronization Services is active on all the nodes.
Waiting for the Oracle CRSD and EVMD to start
Oracle CRS stack installed and running under init(1M)
Running vipca(silent) for configuring nodeappsCreating VIP application resource on (2) nodes...
Creating GSD application resource on (2) nodes...
Creating ONS application resource on (2) nodes...
Starting VIP application resource on (2) nodes...
Starting GSD application resource on (2) nodes...
Starting ONS application resource on (2) nodes...Done.

步骤14:两个节点都成功执行完root.sh脚本后,单击OK进入如下界面(此处检查错误如是因为操作系统版本的问题可忽略)
在这里插入图片描述
步骤15:结束安装。
出现如下界面,单击Exit,结束安装。
在这里插入图片描述
步骤16:安装完成后,以oracle用户在任一节点执行下面的命令进行Cluster校验。(SUSE11跳过此步骤)

$ $ORA_CRS_HOME/bin/cluvfy stage -post crsinst -n rac1,rac2
Performing post-checks for cluster services setupChecking node reachability...
Node reachability check passed from node "rac1".Checking user equivalence...
User equivalence check passed for user "oracle".Checking Cluster manager integrity...Checking CSS daemon...
Daemon status check passed for "CSS daemon".Cluster manager integrity check passed.Checking cluster integrity...Cluster integrity check passedChecking OCR integrity...Checking the absence of a non-clustered configuration...
All nodes free of non-clustered, local-only configurations.Uniqueness check for OCR device passed.Checking the version of OCR...
OCR of correct Version "2" exists.Checking data integrity of OCR...
Data integrity check for OCR passed.OCR integrity check passed.Checking CRS integrity...Checking daemon liveness...
Liveness check passed for "CRS daemon".Checking daemon liveness...
Liveness check passed for "CSS daemon".Checking daemon liveness...
Liveness check passed for "EVM daemon".Checking CRS health...
CRS health check passed.CRS integrity check passed.Checking node application existence...Checking existence of VIP node application (required)
Check passed.Checking existence of ONS node application (optional)
Check passed.Checking existence of GSD node application (optional)
Check passed.Post-check for cluster services setup was successful.

6.2.3 异常处理
如果安装过程中不能出来如下设置Inventory路径的界面。
在这里插入图片描述
可能的原因是因为以前安装过CRS,以前设置的CRS安装路径以及Oracle实例名没有删除。请参照以下步骤进行处理。

1、确认有无oraInst.loc文件,若有,请删除oraInst.loc 文件。

oracle@rac1:/opt/orabak/clusterware> cd /etc
oracle@rac1:/etc> ls *.loc
oraInst.loc
oracle@rac1:/etc> cat oraInst.loc
inventory_loc=/oracle/app/oraInventory
inst_group=oinstall

使用root用户删除oraInst.loc文件。

#rm -f /etc/oraInst.loc

2、确认有无oratab文件,若有,请删除oratab文件。

oracle@rac1:/etc> cat oratab
## This file is used by ORACLE utilities.  It is created by root.sh
# and updated by the Database Configuration Assistant when creating
# a database.# A colon, ':', is used as the field terminator.  A new line terminates
# the entry.  Lines beginning with a pound sign, '#', are comments.
#
# Entries are of the form:
#   $ORACLE_SID:$ORACLE_HOME:<N|Y>:
#
# The first and second fields are the system identifier and home
# directory of the database respectively.  The third filed indicates
# to the dbstart utility that the database should , "Y", or should not,
# "N", be brought up at system boot time.
#
# Multiple entries with the same $ORACLE_SID are not allowed.
#
#
ora11g:/oracle/app/product/11g/db:N

使用root用户删除oratab文件。

rm -f cat /etc/oratab

6.2.4 启动CRS服务
以root用户登录,分别在RAC各节点上执行。
【命令】

# /etc/init.d/init.crs start
Startup will be queued to init within 30 seconds.

6.2.5 检查CRS是否安装成功
以root用户执行以下命令:

# cd /opt/oracrs/bin
# ./crs_stat -t
Name           Type           Target    State     Host
------------------------------------------------------------
ora.rac1.gsd   application    ONLINE    ONLINE    rac1
ora.rac1.ons   application    ONLINE    ONLINE    rac1
ora.rac1.vip   application    ONLINE    ONLINE    rac1
ora.rac2.gsd   application    ONLINE    ONLINE    rac2
ora.rac2.ons   application    ONLINE    ONLINE    rac2
ora.rac2.vip   application    ONLINE    ONLINE    rac2

如果gsd、ons、vip这3个节点应用资源已经成功的在RAC各个节点上启动了,即State列的状态与Target列的状态保持一致且都为ONLINE,则表明CRS已经安装成功。

【注意】虚拟机环境需要额外执行下面的配置,否则在系统繁忙时可能会导致节点异常重启。以下命令使用root用户执行:
1、停止所有节点CRS

/opt/oracrs/bin/crsctl stop crs

2、停止OPROCD进程

/opt/oracrs/bin/oprocd stop

3、设置DIAGWAIT值(该值过小会导致系统繁忙时节点被自动重启)

/opt/oracrs/bin/crsctl set css diagwait 13 –force

4、启动所有节点CRS

/opt/oracrs/bin/crsctl start crs

七、安装ORACLE软件
7.1 安装前准备工作
7.1.1 上传安装介质
以root用户将安装软件上传到rac1的/opt/orabak中,目录结构如下:
/opt/orabak/linux.x64_11gR1_database_1013.zip
解压缩安装文件,并赋予权限。
【命令】

# cd /opt/orabak
# unzip linux.x64_11gR1_database_1013.zip
# chmod 770 -R /opt/orabak/database
# chown oracle:dba -R /opt/orabak/database

7.1.2 检查CRS服务是否已启动
在安装之前,请确保CRS服务已经正常启动。
以root用户登录,分别在RAC各节点上执行,以查看CRS资源的状态:

# /opt/oracrs/bin/crs_stat -t
Name           Type           Target    State     Host
------------------------------------------------------------
ora.rac1.gsd   application    ONLINE    ONLINE    rac1
ora.rac1.ons   application    ONLINE    ONLINE    rac1
ora.rac1.vip   application    ONLINE    ONLINE    rac1
ora.rac2.gsd   application    ONLINE    ONLINE    rac2
ora.rac2.ons   application    ONLINE    ONLINE    rac2
ora.rac2.vip   application    ONLINE    ONLINE    rac2

若返回的State列的状态与Target列的状态保持一致且都为ONLINE,则表示CRS服务已启动。
若CRS服务未启动,则以root用户分别在RAC各节点上执行如下命令。

# /etc/init.d/init.crs start

7.1.3 设置DISPLAY环境变量
在虚拟机本地安装可以不用设置
步骤1:切换到oracle用户

# su - oracle

步骤2:设置DISPLAY环境变量
如果是直接连接到主机的终端上进行安装,执行:

$ export DISPLAY=localhost:0.0

如果是在远程终端上进行安装,执行:

$ export DISPLAY=REMOTE_IP:0.0  --例export DISPLAY=10.71.111.142:0.0

步骤3:检查环境变量是否生效

$ echo $DISPLAY

步骤4:检查oracle的所有环境变量是否已经生效,在启动安装前需要确保.profile中设置的环境变量都已生效。

$ env

7.2 安装Oracle11g软件
安装Oracle11g软件必须使用oracle用户,并确保oracle用户的环境变量生效。
【提示】
在安装过程中,如果遇到/tmp空间过小的错误安装将无法继续,此时请在安装用户oracle下设置TEMP和TEMPDIR环境变量,将ORACLE使用的TEMP空间指向一个足够大的文件系统即可。

$ export TEMP=/opt/oracle
$ export TEMPDIR=/opt/oracle

7.2.1 启动Universal Installer安装界面
步骤1:用oracle用户登录rac1启动OUI进行安装
虽然是登录rac1进行安装,但是由于在安装过程中会指定其他的rac节点,所以实际上ORACLE软件会在所有指定的rac节点上安装。
【命令】

$ /opt/orabak/database/runInstaller

在这里插入图片描述
选择Next进入下一个界面

步骤2:选择安装类型
选择企业版安装(Enterprise Edition)
在这里插入图片描述
步骤3:选择安装路径
在Oracle Base中填写“/opt/oracle”
在这里插入图片描述
【提示】
如果出现错误,说明前面某些必要步骤没有完成,例如:
不存/opt/oracle目录
Oracle用户没有/opt/oracle的写权限

步骤4:指定集群中的节点
选择“Cluster Installation”
勾选集群中所有的节点
在这里插入图片描述
步骤5:预安装检测
检查没有问题单击Next按钮。
在这里插入图片描述
出现如下检查不通过项,可不必理会,继续安装。
在这里插入图片描述
步骤6:选择配置类型
选择“Install Software Only”
在这里插入图片描述
步骤7:指定操作系统用户组。
全部指定为“dba”。
在这里插入图片描述
步骤8:概要检查。
检查没有问题,确保空间足够,按Install按钮进行安装。
在这里插入图片描述
在这里插入图片描述
步骤9:执行root.sh脚本
安装即将结束时,会提示用root用户执行/opt/oracle/product/11g/db/root.sh脚本。
在这里插入图片描述
新开一个SHELL窗口,在Rac中所有的节点下,依次执行以下命令。

$ su – root
# cd /opt/oracle/product/11g/db/
# ./root.sh
Running Oracle 11g root.sh script...The following environment variables are set as:ORACLE_OWNER= oracleORACLE_HOME=  /oracle/product/11g/dbEnter the full pathname of the local bin directory: [/usr/local/bin]:     #此处直接按回车。Copying dbhome to /usr/local/bin ...Copying oraenv to /usr/local/bin ...Copying coraenv to /usr/local/bin ...Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root.sh script.
Now product-specific root actions will be performed.
Finished product-specific root actions.

步骤10:执行完脚本之后,单击OK。
步骤11:结束安装。
出现如下界面,单击Exit,结束安装。
在这里插入图片描述
7.3 安装后检查
以下操作只需要在主机rac1上执行。
步骤1:以oracle 用户登录。
步骤2:连接数据库。

% sqlplus "/as sysdba"

系统显示如下类似信息:

SQL*Plus: Release 11.1.0.6.0 - Production on Thu Aug 21 17:44:41 2024
Copyright (c) 1982, 2024, Oracle. All rights reserved.
Connected to an idle instance.
SQL>

连接数据库成功,表示数据库软件安装成功。

八、安装Oracle补丁
8.1 安装前准备工作
8.1.1 上传安装介质
以root用户将安装软件拷贝到rac1的/opt/orabak中,目录结构如下:
/opt/orabak/p6890831_111070_Linux-x86-64.zip
【解压缩安装文件,并赋予权限】
步骤1:以root用户登录rac1,执行以下命令

# cd /opt/orabak
# unzip p6890831_111070_Linux-x86-64.zip
# chmod 770 -R /opt/orabak/Disk1
# chown oracle:dba -R /opt/orabak/Disk1

8.1.2 设置DISPLAY环境变量
在虚拟机本地安装可以不用设置

步骤1:切换到oracle用户

# su - oracle

步骤2:设置DISPLAY环境变量
如果是直接连接到主机的终端上进行安装,执行:

$ export DISPLAY=localhost:0.0

如果是在远程终端上进行安装,执行:

$ export DISPLAY=REMOTE_IP:0.0  --例export DISPLAY=10.71.111.142:0.0

步骤3:检查环境变量是否生效

$ echo $DISPLAY

步骤4:检查oracle的所有环境变量是否已经生效,在启动安装前需要确保.bashrc中设置的环境变量都已生效。

$ env

8.2 安装CRS补丁
升级CRS 软件到11.1.0.7.0。CRS 11.1.0.7.0 主要解决CRS 11.1.0.6.0 的Bug。
8.2.1 停止CRS
以root用户登录RAC各节点,执行以下命令。

# cd /opt/oracrs/install
# ./preupdate.sh

8.2.2 安装CRS补丁
1、 安装步骤
步骤1:以oracle用户登录,进入rac1节点的/opt/orabak/Disk1目录,执行安装程序。
虽然是登录rac1进行安装,但是由于在安装过程中会指定其他的rac节点,所以实际上补丁会在所有指定的rac节点上安装。
注意:
请一定使用./runInstaller进行安装补丁,否则可能会使用到驻留内存中的安装文件的runInstaller程序,这样会导致程序无法识别/Disk1/stage/product.xml文件。

$ export ORACLE_HOME=/opt/oracrs
$ cd /opt/orabak
$ cd Disk1
$./runInstaller

系统出现如下界面
在这里插入图片描述
选择“Next”
步骤2:选择安装目录
在这里插入图片描述
步骤3:选择节点
选择所有节点
在这里插入图片描述
步骤4:检查升级所需要的各项条件
检查没有问题单击Next按钮。
在这里插入图片描述
步骤5:概要浏览
选择“Install”
在这里插入图片描述
步骤6:执行安装
在这里插入图片描述
步骤7:系统安装完毕后,出现如下界面
在这里插入图片描述
步骤8:新开一个SHELL窗口,分别在rac两个节点上执行如下操作。
1.以root用户登录rac1,执行如下命令:

$ su – root
# /opt/oracrs/bin/crsctl stop crs
# /opt/oracrs/install/root111.sh

返回类似如下信息,表示脚本执行成功

Creating pre-patch directory for saving pre-patch clusterware files
Completed patching clusterware files to /oracle/oracrs
Relinking some shared libraries.
Relinking of patched files is complete.
Preparing to recopy patched init and RC scripts.
Recopying init and RC scripts.
Startup will be queued to init within 30 seconds.
Starting up the CRS daemons.
Waiting for the patched CRS daemons to start.
This may take a while on some systems.
.
.
.
.
.
.
.
11107 patch successfully applied.
clscfg: EXISTING configuration version 4 detected.
clscfg: version 4 is 11 Release 1.
Successfully accumulated necessary OCR keys.
Using ports: CSS=49895 CRS=49896 EVMC=49898 and EVMR=49897.
node <nodenumber>: <nodename> <private interconnect name> <hostname>
node 1: rac1 rac1_heart rac1
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
clscfg -upgrade completed successfully
Creating '/oracle/oracrs/install/paramfile.crs' with data used for CRS configuration
Setting CRS configuration values in /oracle/oracrs/install/paramfile.crs
Setting cluster unique identifier
Restarting Oracle clusterware
Stopping Oracle clusterware
Stopping resources.
This could take several minutes.
Successfully stopped Oracle Clusterware resources
Stopping Cluster Synchronization Services.
Shutting down the Cluster Synchronization Services daemon.
Shutdown request successfully issued.
Waiting for Cluster Synchronization Services daemon to stop
Cluster Synchronization Services daemon has stopped
Starting Oracle clusterware
Attempting to start Oracle Clusterware stack
Waiting for Cluster Synchronization Services daemon to start
Waiting for Cluster Synchronization Services daemon to start
Waiting for Cluster Synchronization Services daemon to start
Waiting for Cluster Synchronization Services daemon to start
Waiting for Cluster Synchronization Services daemon to start
Waiting for Cluster Synchronization Services daemon to start
Waiting for Cluster Synchronization Services daemon to start
Cluster Synchronization Services daemon has started
Event Manager daemon has started
Cluster Ready Services daemon has started

2.以root用户登录rac2,执行如下命令。

$ su – root
# /opt/oracrs/bin/crsctl stop crs
# /opt/oracrs/install/root111.sh

返回类似如下信息,表示脚本执行成功。

Creating pre-patch directory for saving pre-patch clusterware files
Completed patching clusterware files to /oracle/oracrs
Relinking some shared libraries.
Relinking of patched files is complete.
Preparing to recopy patched init and RC scripts.
Recopying init and RC scripts.
Startup will be queued to init within 30 seconds.
Starting up the CRS daemons.
Waiting for the patched CRS daemons to start.
This may take a while on some systems.
.
11107 patch successfully applied.
clscfg: EXISTING configuration version 4 detected.
clscfg: version 4 is 11 Release 1.
Successfully accumulated necessary OCR keys.
Using ports: CSS=49895 CRS=49896 EVMC=49898 and EVMR=49897.
node <nodenumber>: <nodename> <private interconnect name> <hostname>
node 2: rac2 rac2_heart rac2
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
clscfg -upgrade completed successfully
Creating '/oracle/oracrs/install/paramfile.crs' with data used for CRS configuration
Setting CRS configuration values in /oracle/oracrs/install/paramfile.crs

步骤9:执行完脚本,单击Exit退出安装。

2、验证补丁是否安装成功
步骤1:以root 用户在rac1 和rac2 上检查CRS 以及资源是否正常。

# /opt/oracrs/bin/crs_stat -t

显示类似如下信息,则CRS 启动成功。

Name           Type           Target    State     Host
------------------------------------------------------------
ora.rac1.gsd application    ONLINE    ONLINE    rac1
ora.rac1.ons application    ONLINE    ONLINE    rac1
ora.rac1.vip application    ONLINE    ONLINE    rac1
ora.rac2.gsd application    ONLINE    ONLINE    rac2
ora.rac2.ons application    ONLINE    ONLINE    rac2
ora.rac2.vip application    ONLINE    ONLINE    rac2

步骤2:以root 用户登录rac1,检查CRS 软件版本是否都为11.1.0.7.0。

# /opt/oracrs/bin/crsctl query crs softwareversion

显示类似如下信息,则CRS 升级成功。

Oracle Clusterware version on node [rac1] is [11.1.0.7.0]

步骤3:以root 用户登录rac2,检查CRS 软件版本是否都为11.1.0.7.0。

# /opt/oracrs/bin/crsctl query crs softwareversion

显示类似如下信息,则CRS 升级成功。

Oracle Clusterware version on node [rac2] is [11.1.0.7.0]

8.3 安装Oracle 11.1.0.7.0补丁
Oracle 11.1.0.7.0 主要解决Oracle 11.1.0.6.0 的Bug。
1、前提条件
以root用户登录rac1与rac2,停止CRS服务。

# /etc/init.d/init.crs stop

2、安装步骤
步骤1:以oracle用户登录,进入rac1节点的/opt/orabak/Disk1目录,执行安装程序。
注意:
请一定使用./runInstaller进行安装补丁,否则可能会使用到驻留内存中的安装文件的runInstaller程序,这样会导致程序无法识别/Disk1/stage/product.xml文件。

$ export ORACLE_BASE=/opt/oracle
$ export ORACLE_HOME=$ORACLE_BASE/product/11g/db
$ cd /opt/orabak
$ cd Disk1
$./runInstaller

步骤2:系统出现如下界面
在这里插入图片描述
选择“Next”

步骤3:选择安装目录
使用默认目录
在这里插入图片描述
步骤4:提供联系方式
不需要填写Email
不需要勾选“I wish to recive security updates via Metalink”
在这里插入图片描述
步骤5:不需要提供email地址
选择“Yes”
在这里插入图片描述
步骤6:选择节点
选择所有节点。
在这里插入图片描述
步骤7:检查升级所需要的各项条件
检查没有问题单击Next按钮。
在这里插入图片描述
步骤8:概要浏览
选择“Install”
在这里插入图片描述
步骤9:执行安装
在这里插入图片描述
步骤10:系统安装完毕后,出现如下界面
在这里插入图片描述
步骤11:新开一个SHELL窗口,在rac1和rac2,分别执行以下命令。

$ su – root
# /opt/oracle/product/11g/db/root.sh

该脚本执行过程中需要回答一些问题,在不同的平台上具体问的内容会有所不同,但只要在出现’……[yes]?’时输入’no’,出现’[y,n]’时输入y,出现其他问题时直接按回车即可。
出现类似如下信息,表示脚本执行成功。

Running Oracle 11g root.sh script...The following environment variables are set as:ORACLE_OWNER= oracleORACLE_HOME=  /oracle/product/11g/dbEnter the full pathname of the local bin directory: [/usr/local/bin]:
The file "dbhome" already exists in /usr/local/bin.  Overwrite it? (y/n)
[n]: yCopying dbhome to /usr/local/bin ...
The file "oraenv" already exists in /usr/local/bin.  Overwrite it? (y/n)
[n]: yCopying oraenv to /usr/local/bin ...
The file "coraenv" already exists in /usr/local/bin.  Overwrite it? (y/n)
[n]: yCopying coraenv to /usr/local/bin ...Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root.sh script.
Now product-specific root actions will be performed.
Finished product-specific root actions.

步骤12:脚本执行完后,单击OK。
步骤13:单击Exit,结束安装。

3、验证补丁安装是否成功
步骤1:以oracle用户登录rac1和rac2,检查数据库软件版本是否都为11.1.0.7。

% cd $ORACLE_HOME/bin
% sqlplus "/as sysdba"

显示类似如下信息,表明数据库软件升级成功。

SQL*Plus: Release 11.1.0.7.0 - Production on Thu Aug 21 17:44:41 2024
Copyright (c) 1982, 2024, Oracle. All rights reserved.
Connected to an idle instance.
SQL>

步骤2:分别启动rac1和rac2上的CRS。

% su
# /etc/init.d/init.crs start

步骤3:检查数据库是否正常启动。

#/opt/oracrs/bin/crs_stat -t
Name Type Target State Host
------------------------------------------------------------
ora.rac1.gsd application ONLINE ONLINE rac1
ora.rac1.ons application ONLINE ONLINE rac1
ora.rac1.vip application ONLINE ONLINE rac1
ora.rac2.gsd application ONLINE ONLINE rac2
ora.rac2.ons application ONLINE ONLINE rac2
ora.rac2.vip application ONLINE ONLINE rac2

确保主备机上都有gsd、ons、vip 进程,并且状态都为ONLINE。

8.4 Oracle PSU及One-off补丁安装
根据业务需要及要求进行安装,本处不详细描述。

九、建立ASM实例
9.1 建库前准备工作
要求使用DBCA(Database Configuration Assistant)来建立ASM实例,不建议使用命令行或脚本。
9.1.1 检查CRS服务
在安装之前,请确保CRS服务已经正常启动。
以root用户登录,分别在RAC各节点上执行命令,检查各服务是否都启动到target状态。

# /opt/oracrs/bin/crs_stat -t

9.1.2 设置DISPLAY环境变量
在虚拟机本地安装可以不用设置

步骤1:切换到oracle用户

# su - oracle

步骤2:设置DISPLAY环境变量
如果是直接连接到主机的终端上进行安装,执行:

$ export DISPLAY=localhost:0.0

如果是在远程终端上进行安装,执行:

$ export DISPLAY=REMOTE_IP:0.0  --例export DISPLAY=10.71.111.142:0.0

步骤3:检查环境变量是否生效

$ echo $DISPLAY

步骤4:检查oracle的所有环境变量是否已经生效,在启动安装前需要确保.profile中设置的环境变量都已生效。

$ env

9.2 为节点配置ASM实例
必须使用操作系统oracle用户调用DBCA进行安装。
步骤1:启动DBCA安装界面
用oracle用户登录rac1启动DBCA进行安装

$ dbca

在这里插入图片描述
选择“Oracle Real Application Clusters database”
单击Next

步骤2:选择创建数据库
选择“Configure Automatic Storage Management”
在这里插入图片描述
步骤3:选择节点
选择所有节点
在这里插入图片描述
步骤4:设置ASM实例SYS用户密码
从安全角度考虑,所设置的密码必须符合以下要求的密码复杂度:
1.口令长度至少6个字符(特权用户至少8个字符);
2.口令必须包含如下至少两种字符的组合:
至少一个小写字母;
至少一个大写字母;
至少一个数字;
至少一个特殊字符:#$-_或空格。
3.口令不能和帐号或者帐号的倒写一样;
其他的设置使用默认值。

在这里插入图片描述
步骤5:确认安装ASM
选择“OK”
在这里插入图片描述
步骤6:选择自动创建监听器
选择“Yes”
在这里插入图片描述
步骤7:开始创建ASM实例
在这里插入图片描述
步骤8:查找裸设备
选择“Change Disk Discovery Path”
在“Disk Discovery Path”中填写“/dev/raw/*”
然后单击“OK”

在这里插入图片描述
步骤9:创建Disk Group
选择“Create New”

在这里插入图片描述
步骤10:创建dg_ora。
在Disk Group Name中填写“dg_ora”;
冗余选择“External”;
按照前面的规划,选择磁盘路径“/dev/raw/raw3”;
单击“OK”开始创建dg_ora。

步骤11:创建dg_data。
在Disk Group Name中填写“dg_data”;
冗余选择“External”;
安装前面的规划,选择磁盘路径“/dev/raw/raw4”和“/dev/raw/raw5”;
单击“OK”开始创建dg_data。

9.2.2 完成ASM实例和DG的创建
单击“Finish”完成ASM实例的创建
在这里插入图片描述

十、建立数据库
10.1 建库前准备工作
10.1.1 必须使用DBCA创建数据库
要求使用DBCA(Database Configuration Assistant)来建立Oracle数据库,不建议使用命令行脚本方式建立数据库。
10.1.2 检查CRS服务
在安装之前,请确保CRS服务已经正常启动。
以root用户登录,分别在RAC各节点上执行,检查各服务是否都启动到target状态。

# /opt/oracrs/bin/crs_stat -t

10.1.3 设置DISPLAY环境变量
步骤1:切换到oracle用户

# su - oracle

步骤2:设置DISPLAY环境变量
如果是直接连接到主机的终端上进行安装,执行:

$ export DISPLAY=localhost:0.0

如果是在远程终端上进行安装,执行:

$ export DISPLAY=REMOTE_IP:0.0  --例export DISPLAY=10.71.111.142:0.0

步骤3:检查环境变量是否生效

$ echo $DISPLAY

步骤4:检查oracle的所有环境变量是否已经生效,在启动安装前需要确保.profile中设置的环境变量都已生效。

$ env

10.2 创建ORACLE数据库

必须使用操作系统oracle用户调用DBCA进行安装。
步骤1:启动DBCA安装界面
用oracle用户登录rac1启动DBCA进行安装

$ dbca

选择“Oracle Real Application Clusters database”
在这里插入图片描述
步骤2:选择创建数据库
选择“Create a database”
在这里插入图片描述
步骤3:选择节点。
选择所有节点。
在这里插入图片描述
步骤4:选择数据库模板。
选择“Custom Database”。
在这里插入图片描述
步骤5:指定数据库名。
填写数据库全局名和SID前缀,两个名字请保持一致。
各RAC节点上的数据库service name由ORACLE自动设置,值是SID前缀+N,例如ora11g1,ora11g2。
在这里插入图片描述
步骤6:配置企业管理器。
勾选此界面中的“Configure Enterprise Manager”,再勾选“Configure Database Control for local management”。
在这里插入图片描述
步骤7:设置用户密码。
从安全角度考虑,所设置的密码必须符合以下要求的密码复杂度:
1.口令长度至少6个字符(特权用户至少8个字符);
2.口令必须包含如下至少两种字符的组合:
至少一个小写字母;
至少一个大写字母;
至少一个数字;
至少一个特殊字符:#$-_或空格。
3.口令不能和帐号或者帐号的倒写一样;
在这里插入图片描述
步骤8:使用ASM文件管理。
在这里插入图片描述
步骤9:选择DG。
勾选界面中的所有DG。

步骤10:选择通用文件位置。
选择“Use Common Location for All Database Files”。
在这里插入图片描述
步骤11:不需要指定恢复区。
不勾选此界面中的“Specify Flash Recovery Area”。
不勾选此界面中的“Enable Archiving”。

步骤12:勾选特性。
选中“Enterprise Manager Repository”特性,这个是oracle 11g自带的WEB化的管理工具。其他的特性不选中。
单击“Standard database Components…”按钮。
若是安装CRM产品的数据库,则务必选中此窗口中Oracle JVM。
若是安装CSP/DT/DWH产品的数据库,则不要选中此窗口中的Oracle JVM和Oracle XML DB。
说明:有时“Standard database features…”按钮不显示,需要将此窗口最大化。

在这里插入图片描述
步骤13:设置初始参数。
选择典型设置。
此图参数值仅为示例,必须依据《CRM&BI数据库参数配置指导书》为标准进行设置。
在这里插入图片描述
在这里插入图片描述
在Data Warehousing业务应用中,Block_Size必须选中32K,即32768Bytes。此参数在建库完成后无法修改。
在这里插入图片描述
步骤14:选择数据库字符集。
【重要说明】
1.“Choose from the list of character sets”必须改变,且只能选择AL32UTF8或ZHS16GBK两种字符集,规则如下:
国内局点统一使用ZHS16GBK字符集
海外局点统一使用AL32UTF8字符集
2.National Character Set统一选择AL16UTF16
在这里插入图片描述
步骤15:数据库安全设置。
使用推荐设置“Keep the enhanced 11g default security settings”。
在这里插入图片描述
步骤16:自动维护任务设置。(关闭自动维护任务,不勾选)

步骤17:指定ASM数据文件的名称和路径。
此处需指定system表空间、sysaux表空间、temp表空间、undotbs表空间、users表空间的数据文件裸设备名称和路径,以及Controlfile和Redo Log Files的文件名称和路径。
Diskgroup选择“+DG_ORA”。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
步骤18:去掉数据文件的自动扩展功能。
不勾选“Automatically extend datafile when full (AUTOEXTEND)”。
在这里插入图片描述
步骤19:生成一个数据库创建脚本。
勾选“Generate Database Creation Scripts”。
在这里插入图片描述
步骤20:确认配置参数后开始创建数据库。
在这里插入图片描述
步骤21:创建数据库。
DBCA运行完毕,数据库建立。
在这里插入图片描述
在这里插入图片描述
建库结束后会弹出数据库建库完成及信息确认窗口,单击EXIT按钮后会有1~2分钟没响应,此时千万要耐心等待,直到弹出窗口显示完毕。
完成后DBCA窗口会自动关闭,完成数据库创建操作。

步骤22:检查RAC状态。
以root用户登录,查看服务状态。如果都处于ONLINE状态,则说明RAC安装成功。

# /opt/oracrs/bin/crs_stat -tName   Type    R/RA   F/FT   Target    State     Host
----------------------------------------------------------------------
ora....SM1.asm application    ONLINE    ONLINE    rac1
ora....c1.lsnr application    ONLINE    ONLINE    rac1
ora....ac1.gsd application    ONLINE    ONLINE    rac1
ora....ac1.ons application    ONLINE    ONLINE    rac1
ora....ac1.vip application    ONLINE    ONLINE    rac1
ora....g1.inst application    ONLINE    ONLINE    rac1
ora....SM2.asm application    ONLINE    ONLINE    rac2
ora....c2.lsnr application    ONLINE    ONLINE    rac2
ora....ac2.gsd application    ONLINE    ONLINE    rac2
ora....ac2.ons application    ONLINE    ONLINE    rac2
ora....ac2.vip application    ONLINE    ONLINE    rac2
ora....g2.inst application    ONLINE    ONLINE    rac2

步骤23:登录数据库进行验证。
数据库实例启动后,登录数据库确认数据库状态:

# su - oracle
$ sqlplus /nolog
SQL> conn /as sysdba;
SQL> select status from v$instance;
STATUS
------------------------
OPEN

10.3 配置ORACLE监听器
以root用户登录,使用下面的命令检查监听器状态。如果出现下面的结果,则说明成功创建监听器。

# cd /opt/oracrs/bin
# ./crs_stat -t|grep lsnr
ora....c1.lsnr application    ONLINE    ONLINE    rac1
ora....c2.lsnr application    ONLINE    ONLINE    rac2

否则,请按照下述步骤手工创建监听器。

步骤1:启动NETCA
用oracle用户登录rac1启动NETCA

$ netca

选择“Cluster configuration”
在这里插入图片描述
步骤2:选择节点
选择所有节点
在这里插入图片描述
步骤3:选择配置监听器
在这里插入图片描述
步骤4:删除已有监听器
在这里插入图片描述
步骤5:选择监听器
选择“LISTENER”
在这里插入图片描述
步骤6:确认删除当前监听器。
选择“Yes”。
连续单击“Next”。
在这里插入图片描述
步骤7:完成监听器删除操作。
选择“Finish”。
在这里插入图片描述
步骤8:重新启动NETCA。
用oracle用户登录rac1启动NETCA。

$ netca

选择“Cluster configuration”。
在这里插入图片描述
步骤9:选择节点。
选择所有节点。
在这里插入图片描述
步骤10:选择配置监听器。
在这里插入图片描述
步骤11:选择添加监听器。
在这里插入图片描述
步骤12:填写监听器名称。
在Listener name中填写“LISTENER”。
在这里插入图片描述
步骤13:配置监听器规约。
选择“TCP”。
在这里插入图片描述
步骤14:使用默认端口号。
在这里插入图片描述
步骤15:不再配置其他的监听器。
在这里插入图片描述
步骤16:完成监听器增加操作。
选择“Finish”。
在这里插入图片描述

十一、RAC常用命令
11.1 CLUSTER命令
11.1.1 启动与停止CLUSTER
使用root用户登录,分别在各节点执行以下命令:
启动CLUSTER
方法1:

# /etc/init.d/init.crs start

方法2:

# /opt/oracrs/bin/crsctl start crs

关闭CLUSTER
方法1:

# /etc/init.d/init.crs stop

方法2:

# /opt/oracrs/bin/crsctl stop crs

11.1.2 观察CLUSTER状态

# /opt/oracrs/bin/crs_stat -t

11.2 ASM的备份与修复
11.2.1 ASM备份与修复的必要性
在LINUX的ORACLE RAC方案中,由于ORACLE迄今为止未正式宣布支持VERITAS的共享裸设备/文件系统作为其存储,因此要使用裸设备的话只能使用ORACLE自带的存储管理软件ASM。测试和现网都发现ASM很不稳定,不时会出现不能挂载磁盘组的错误:
ORA-15063: ASM discovered an insufficient number of disks for diskgroup “DG名”
一旦出现以上错误,该DG所在的数据就很可能全部丢失了!为了尽量降低此类事故的风险,本章节提供了具体的备份与恢复方法。需要注意的是,这些方法只能作为现场出现问题后的救急手段,不能100%保证DG能修复回来,数据不会丢失。它们并不是ORACLE官方推荐的做法(ORACLE官方坚持认为这是由于存储设备不稳定造成的),要想确保数据库的数据完全安全,建议对数据库做好物理备份。以下操作风险较高,需要有经验的DBA来完成。

11.2.2 ASM备份与修复的方法
使用ASM管理RAC存储的环境中,必须做好OCR、VOTING DISK、ASM磁盘头信息的备份。否则一旦出现DG问题,丢失所有数据将是灾难性的!
1、OCR的备份恢复方法
备份OCR的方法如下:
默认地,OCR会被自动备份,使用如下命令查看OCR进行的自动备份:

# $ORA_CRS_HOME/bin/ocrconfig -showbackup

如果要手工备份,可执行下面的命令(不需要关闭RAC):

# $ORA_CRS_HOME/bin/ocrconfig -export /opt/orabak/ocrbak.ocr

恢复OCR的方法如下:
先关闭所有节点上的RAC,分别执行以下命令:

# /etc/init.d/init.crs stop

然后执行恢复:

# $ORA_CRS_HOME/bin/ocrconfig -import /opt/orabak/ocrbak.ocr

2、VOTING DISK的备份与恢复方法
这里,以SUSE上使用raw2作为VOTING DISK为例:
备份命令如下:

# dd if=/dev/raw/raw2 of=/opt/orabak/voting.bak

备份时间会比较长,备份文件与VOTING DISK盘的大小接近。
恢复命令如下:

# dd if=/opt/orabak/voting.bak of=/dev/raw/raw2

恢复前不需要先关闭RAC。
3、 ASM磁盘头信息的备份与恢复方法
备份磁盘头(DH)的信息:
备份方法1:

# dd if=/dev/raw/raw204 bs=4096 count=1 of=/oracle/db/raw204_bak_dh

这里,bs固定为4096。Count=1表示只备份一个块(默认从第一个块开始备份)。
备份方法2:
以oracle用户登录,执行如下命令:

Oracle $ kfed read /dev/raw/raw204 > /oracle/db/raw204au0

恢复DH的信息:
如果用了方法1,则用以下命令恢复:

# dd if=/oracle/db/raw204_bak_dh bs=4096 count=1 of=/dev/raw/raw204

若检查出有 oracle 相关的进程,请不要使用 kill -9 命令杀死进程,否则会导致系统
重启或其他不可预知的错误。请以 root 用户执行如下命令停止 oracle 进程:

# /etc/init.d/init.crs stop

如果系统中创建了多个实例,请参考上述方法,以实例的启动用户将所有的数据库实例停止。

11.3.2 卸载步骤
步骤1:通过 xManager 以 oracle 用户登录 rac1。
步骤2:执行安装脚本。

%cd/opt/orabak/database
%./runInstaller

系统显示如下所示界面。
在这里插入图片描述
步骤3:单击“Deinstall Products”,选择要卸载的Oracle产品。
选中安装的 Oracle 数据库软件“ORACLE_HOME”。
在这里插入图片描述
步骤4:单击“Remove”。
系统显示确认卸载界面。
在这里插入图片描述
步骤5:单击“Yes”。
系统提示是否确认删除相关目录。
步骤6:单击“Yes”。
系统开始自动卸载 Oracle 数据软件。
步骤7:卸载完成后,单击“Close”。
系统返回欢迎界面。
步骤8:单击“Cancel”。
系统提示退出确认界面。
步骤9:手工删除相关目录及其内容。
以下操作需要在双机主备机上都执行,下面以在rac1上执行为例进行说明。
(1)以 root 用户登录rac1。
(2)删除 Oracle Base 目录“/opt/oracle”中的内容。

# rm –rf /opt/oracle/product/11g/db

步骤10:删除“/etc”目录下的相关文件和目录。

# rm /etc/oracle/ocrInst.loc

11.4 卸载CRS
11.4.1 前提条件
Oracle软件已卸载。
CRS已停止。
停止CRS 的方法是在root 用户下执行以下命令:

# /etc/init.d/init.crs stop

11.4.2 卸载步骤
如无特殊说明,以下操作需要在双机的两个节点都执行。以下仅介绍在 rac1 的操作步骤。
步骤1:以 root 用户登录执行。
步骤2:执行卸载脚本。
1、进入 CRS 的安装目录的install目录。

#cd /opt/oracrs/install

其中/opt/oracrs与 oracle 用户环境变量中“$ORA_CRS_HOME”相同。

2、执行卸载脚本。

#./rootdelete.sh
#./rootdeinstall.sh

步骤3:删除 CRS 相关的文件和目录。
1.拷贝/etc/inittab.orig文件。

#cp /etc/inittab.orig /etc/inittab

2.检查 CRS 相关的进程。
执行如下命令,确保没有进程。

#ps -ef |grep css
#ps -ef | grep crs
#ps -ef | grep evm

执行上述命令后,若显示有进程,请执行如下命令关闭进程。

#/etc/init.d/init.crs stop

3.删除“/etc”目录下的相关文件和目录。

#rm /etc/init.cssd
#rm /etc/init.crs
#rm /etc/init.crsd
#rm /etc/init.evmd
#rm /etc/rc.d/rc2.d/K96init.crs
#rm /etc/rc.d/rc2.d/S96init.crs#rm -Rf /etc/oracle/scls_scr
#rm -Rf /etc/oracle/oprocd
#rm /etc/oracle/ocr.loc
#rm /etc/oracle/ocrInst.loc
#rm -rf /etc/oracle
#rm -rf /etc/ora_save_*
#rm /etc/oratab
#rm /etc/*crs*

4.切换到oracle 用户,删除CRS安装目录。

# su - oracle
% rm -rf $ORA_CRS_HOME/*

5.切换到root 用户,删除“/tmp”目录下的相关文件。

% su - root
# rm -rf /tmp/.oracle
# rm -rf /tmp/OraInstal*

6.删除“/var/tmp”目录下的相关文件。

# rm -rf /var/tmp/.oracle

7.清空“/opt/oracle/oraInventory”目录的内容。

# cd /opt/oracle/oraInventory
# rm -rf *

步骤4:以 oracle 用户登录 rac1 执行如下操作。
1.进入CRS安装程序所在目录,执行“runInstaller”脚本。
说明:在双机两个节点上分别执行完步骤 1~步骤 3 后,再执行本步骤。本步骤仅需在一个节点执行即可。

%cd /opt/orabak/clusterware
%./runInstaller

系统显示如下界面。
在这里插入图片描述
2.单击“Deinstall Products”,选择要卸载的CRS 产品。
说明:如果没有可卸载的产品选择,可能是卸载Oracle 数据库软件时,已经将CRS 产品的组件卸载,跳过本步骤即可。
3.单击“Yes”。
系统开始卸载自动CRS 数据软件。
4. 卸载完成后,单击“Close”。
系统返回欢迎界面。
5. 单击“Cancle”。
系统提示退出确认界面。
6. 单击“Yes”。
系统提示是否确认删除相关目录。
7.单击“Remove”。
系统显示确认卸载界面。
在这里插入图片描述
8.检查CRS 安装目录是否已清空。
以oracle 用户登录检查CRS 安装目录“$ORA_CRS_HOME”是否已清空,如该目录不为空,请执行如下命令清空该目录内容。

%rm -rf $ORA_CRS_HOME/*

步骤5:清空“OCR”和“Voting”文件。
说明:bs 的单位为bytes,bs*count 的值小于等于绑定的裸设备大小即可,请根据实际规划填写,以下仅举例。
因为CRS 使用的外置磁盘空间是LUN 形式,执行如下命令:

#dd if=/dev/zero of=/dev/raw/raw1 bs=4086 count=1048576
#dd if=/dev/zero of=/dev/raw/raw2 bs=4096 count=1048576

步骤6:删除“/etc/inittab”文件的如下三行。

# vi /etc/inittabh1:3:respawn:/sbin/init.d/init.evmd run >/dev/null 2>&1 /dev/null 2>&1
h2:3:respawn:/sbin/init.d/init.cssd fatal >/dev/null 2>&1 /dev/null 2>&1
h3:3:respawn:/sbin/init.d/init.crsd run >/dev/null 2>&1 /dev/null 2>&1

11.5 裸设备挂接注意事项
在SUSE Linux上,多个裸设备可以重复绑定到同一个LV上,这种操作非常危险,因为Oracle不会去区分绑定到同一个LV上的多个裸设备,它们会被当作不同的数据文件。当把已经属于表空间的LV通过裸设备路径再添加到某个表空间时,它会导致LV的数据头重新被格式化,引起数据文件介质损坏,进而导致数据库宕机。对于这个问题我们可以通过root用户在/usr/sbin目录下创建文件bindlv.sh脚本,以改进裸设备挂接程序的不足,防止重复绑定现象的产生,内容如下:

#!/bin/kshmajor=`lvdisplay $2 | awk '/Block device/{print $3}'|awk -F : '{print $1}'`
minor=`lvdisplay $2 | awk '/Block device/{print $3}'|awk -F : '{print $2}'`
iResult=`raw -qa|grep "bound to major $major, minor $minor"`
if [ "$iResult" = "" ]
thenraw $1 $2
elseecho "Error:$2 had been bound before."
fi

然后执行命令chmod u+x /usr/sbin/bindlv.sh为其赋可执行权限。
日后在系统维护增加裸设备时统一使用该脚本进行,它可以避免多个裸设备绑定同一个LV的情况。命令格式与系统自带的raw程序相同,格式如下:

/usr/sbin/bindlv.sh raw_path lv_path

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/45384.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

easyExcel 不规则模板导入数据

文章目录 前言一、需求和效果二、难点和思路三、全部代码踩坑 前言 之前分享的 EasyExcel 批量导入并校验数据&#xff0c;仅支持规则excel&#xff0c;即首行表头&#xff0c;下面对应数据&#xff0c;无合并单元格情况。 本篇主要解决问题&#xff1a; 模板excel 表头不在首…

【python】 对上市银行的年报信息进行语义挖掘,计算各银行年报中与金融科技有关的关键词的词向量的余弦相似性,衡量银行的金融科技发展程度。

目录 引言 文本预处理 数据收集 ​编辑​编辑 文本清洗 词向量的训练 Word2Vec 的两种主要模型 Word2Vec 的工作原理 训练过程 Word2Vec 的应用 训练模型 建立银行应用金融科技的关键词词库 关键词 计算余弦相似度 统计关键词词频 引言 随着金融科技的迅猛发展&a…

前端面试题54(断点续传讲解)

断点续传是一种在上传或下载大文件时&#xff0c;如果因为网络问题中断&#xff0c;可以从已经上传或下载的部分继续&#xff0c;而不是重新开始的技术。这对于提高用户体验和节省带宽非常有帮助。下面我将分别从HTTP协议层面、前端实现思路以及一个简单的前端实现示例来讲解断…

linux权限深度解析——探索原理

前言&#xff1a;本节内容主要讲述的是linux权限相关的内容&#xff0c; linux的权限如果使用root账号是感受不到的&#xff0c; 所以我们要使用普通账号对本节相关内容进行学习&#xff0c;以及一些实验的测试。 然后&#xff0c; 通过linux权限的学习我们可以知道为什么有时候…

合合TextIn - 大模型加速器

TextIn是合合信息旗下的智能文档处理平台&#xff0c;在智能文字识别领域深耕17年&#xff0c;致力于图像处理、模式识别、神经网络、深度学习、STR、NLP、知识图谱等人工智能领域研究。凭借行业领先的技术实力&#xff0c;为扫描全能王、名片全能王等智能文字识别产品提供强大…

SpringBoot相关

SpringBoot 1. what springboot也是spring公司开发的一款框架。为了简化spring项目的初始化搭建的。 spring项目搭建的缺点&#xff1a; 配置麻烦依赖繁多tomcat启动慢 2 .springboot的特点(why) 自动配置 springboot的自动配置是一个运行时(更准确地说&#xff0c;是应用程…

关于斯坦福TTT,大家难道没啥可唠的嘛~?

TTT与transformer也好或manba也好它们之间背后的本质思想&#xff0c;表面上来看是对上下文进行状态表征压缩&#xff0c;再细想来看&#xff0c;均是一种对输入自身结构的一种线性建模变换&#xff0c;不过三者间所采用线性建模方法和策略各有不同和优劣&#xff0c;而TTT在这…

【C++ Primer Plus】学习笔记1

文章目录 前言一、预备知识二、基本语法1.main函数2.有返回值的函数C程序应当为程序中使用的每个函数提供原型3.自定义函数 总结 前言 一直没系统学过C&#xff0c;最近接触了一段时间Java发现还是不太喜欢&#xff0c;所以转向C开发了qaq。因为学过C语言不算零基础了&#xf…

软件杂志软件杂志社软件编辑部2024年第4期目录

基金项目论文 “互联网”环境下智慧教育支撑平台的架构研究 黄孔曜; 1-3 基于机器学习的Web网络爬虫算法优化研究 刘俊培;贾继洋;班岚;迟欢;孙沛叶; 4-7 基于Ant Design Pro的物流系统前端开发与用户体验优化研究 王菊雅; 8-10《软件》投稿&#xff1a;cnqikantg12…

【建议收藏】一万字图文并茂,终于有人把GPT的玩法整理全了

1. 学生常用 1.1 辅导作业、写作业 打数学建模和写期末作业~ Openai GPT-4o 模型从 2024 年 5 月发布以来&#xff0c;作为各项性能评测综合第一的 GPT。 对于法律类&#xff0c;语言类的作业&#xff0c;随意秒杀了&#xff01;&#xff01; 所以我决定让他做一道高等数学…

keepalived+nginx实现高可用

1. keepalived需要了解的知识 1.1 业务场景&#xff1a; 如果我们有个网站&#xff0c;最开始只有一台服务器对用户提供服务&#xff0c;业务架构图如下&#xff1a; 当业务量增大时&#xff0c;这台服务器支撑不了那么大的流量&#xff0c;随时会出现宕机的风险&#xff0c;…

Dr4g0nb4ll靶机

信息收集 使用arp-scan生成网络接口地址&#xff0c;查看ip 输入命令&#xff1a; arp-scan -lnmap扫描端口开放 TCP 输入命令&#xff1a; nmap --min-rate 10000 -p- 192.168.187.184 //以最低10000的发包速率扫描全部端口可以看到目标只开放http的22和80端口 UDP …

鸿蒙Harmony--文本组件Text属性详解

金樽清酒斗十千&#xff0c;玉盘珍羞直万钱。 停杯投箸不能食&#xff0c;拔剑四顾心茫然。 欲渡黄河冰塞川&#xff0c;将登太行雪满山。 闲来垂钓碧溪上&#xff0c;忽复乘舟梦日边。 行路难&#xff0c;行路难&#xff0c;多歧路&#xff0c;今安在&#xff1f; 长风破浪会有…

2024最新国际版抖音TikTok安装教程,免root免拔卡安卓+iOS,附全套安装工具!

我是阿星&#xff0c;今天给大家带来是2024年最新TikTok国际版抖音的下载和安装教程&#xff0c;而且还是免root免拔卡的那种&#xff0c;安卓和iOS都能用哦&#xff01;由于某些原因&#xff0c;国内用户并不能使用TikTok。今天阿星就教一下大家怎么安装TikTok。 TikTok在全球…

张爱华:身残志坚谱写人间大爱 推己及人彰显巾帼风采

张爱华&#xff0c;女&#xff0c;1963年2月出生&#xff0c;响水县聚贤养老协会会长、响水县小尖镇爱华老年公寓院长。张爱华因患小儿麻痹症导致下肢重度残疾&#xff0c;但她身残志坚&#xff0c;通过创办服装厂慢慢走上致富之路。2011年&#xff0c;她先后筹资、贷款600多万…

UART串口通信实验

一.通信种类 1.1按照数据通信方式 1.1.1串行通信 优点&#xff1a;占用的引脚少&#xff0c;成本低 缺点&#xff1a;传输速度慢 适用场合&#xff1a;长距离、低速率的通信场合 1.1.2并行通信 优点&#xff1a;传输速率快 缺点&#xff1a;占用引脚多&#xff0c;成本…

【开源项目的机遇与挑战】探索、贡献与应对

&#x1f493; 博客主页&#xff1a;倔强的石头的CSDN主页 &#x1f4dd;Gitee主页&#xff1a;倔强的石头的gitee主页 ⏩ 文章专栏&#xff1a;《热点时事》 期待您的关注 目录 引言 一&#xff1a;开源项目的发展趋势 &#x1f343;开源项目的蓬勃发展现状 &#x1f343;开…

VSCode 远程反复输入密码不能链接问题解决

通过 vscode 远程连接服务器时出现了连接不上&#xff0c;而且一直要循环输入密码的问题&#xff0c;可能是因为上次异常退出导致。 主要解决思路是删除当前 vscode 远端服务后&#xff0c;重新建立连接。 解决方法一 在 vscode 端接口删除 vscode 服务。 View->Commond…

vue 使用腾讯地图 标点 自定义瓦片 折线配置

vue 使用腾讯地图 标点 自定义瓦片 折线配置 申请腾讯地图秘钥 key 腾讯地图开发者 https://lbs.qq.com/dev/console/application/mine 腾讯地图开发文档 https://lbs.qq.com/webApi/javascriptGL/glGuide/glOverview 添加 key 代码中引入 // 入口文件 index.html // 填…

【通信原理】其实QPSK就是一种特殊的QAM,即4-QAM

文章目录 幅度调制和相位调制QPSK(Quadrature Phase Shift Keying)QAM(Quadrature Amplitude Modulation)QPSK作为4-QAMQPSK(Quadrature Phase Shift Keying)和QAM(Quadrature Amplitude Modulation)都是数字调制技术,用于在无线信号中传输数据。要理解“QPSK其实就是…