戴尔MD只支持3200磁盘存储服务器DELL SAS硬盘。存储服务器可以上12块3.5英寸SAS硬盘、2个电源和2个控制器。每个控制器都有一个阵列卡带2G缓存,支持4个SAS IN接口用于连接4台主机。每台MD3200机器上的两个控制器可以同时连接8台主机。此外,每个控制器都含有一个SAS OUT用于连接到口MD1200磁盘柜的SAS IN接口,从而支持拓展多达96块SAS硬盘。
1. 硬件组装
我的经验是12元4TB的DELL SAS盘插入到DELL MD在3200存储服务器中。然后,在三台服务器主机上PCI-E分别在插槽上插一块SAS直通卡。每片SAS有两张直通卡SF8088的SAS接口。使用6根SAS线(SF8088-SF8088)将MD3200存储上的SAS IN三个服务器和三个服务器SAS连接直通卡。
另外,每一张都要注意SAS直通卡贴纸上的一个号码,建议拍照留存,以备后续使用。
2. 对DELL MD磁盘阵列设置3200
在个人windows软件安装在10系统的笔记本电脑上DELL_MDSS软件,有线网卡设置笔记本电脑IP地址为192.168.128.120,使之和MD3200控制器IP地址192.168.128.101的IP段一致。然后用网线连接笔记本电脑的有线网口和控制器的网卡,然后打开DELL的MDSM软件。如果两个有线网卡在同一个网站上IP存储阵列可以自动找到地址段。
推荐重命名自动找到的存储阵列,然后双击对其进行管理,启动阵列管理窗口。再先后进行两项设置(1)阵列设置;(2)主机映射。
2.1 阵列设置
先将最后两盘设置为热备盘,再设置为热备盘RAID将剩余的10块盘组成阵列,并利用所有空间创建分区。
2.2 主机映射
在保证DELL MD3200存储服务器和3台服务器主机启动并连接数据线后,重启所有服务器主机,有利于MD3200存储能识别3片SAS直通卡。
在MDSM在整列卡管理窗口中,创建一个名称chenlianfu主机组,然后在主机组下依次添加6个主机名称。每次添加主机时,都需要设置一个SAS直通卡的机器代码(需要和SAS直通卡上的机器代码对应)和别名。SAS有两张直通卡SAS口,有两个机器代码,两个主机名对应添加。
主机映射完成后,允许6个指定的SAS口可以访问磁盘存储器。然后在重启界面中重启3台服务器SAS直通卡时,应提示SAS直通卡检测到虚拟磁盘。在进入系统后,则会增加 /dev/sdb 和 /dev/sdc 两种设备分别对应SAS两张直通卡SAS口。
3. 多路径设置服务器主机
在/dev/sdb和/dev/sdc两条路径同时指向存储服务器。需要通过CentOS设置系统中的多路径,使数据同时通过这两条路径传输,从而完全达到6Gbps的数据。。
yum install https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
yum install *device-mapper-multipath*
yum install *kpartx*
yum install *scsi_dh_rdac*
yum install *scsi_dh*
yum install *scsi_id*
yum install *udev*
yum install *modutils*
yum install *iscsi-initiator-utils*
使用三台服务器root用户进行以下操作:
multipath -v3
使用上述命令得到/dev/sdb的wwid然后生成/etc/multipath.conf内容如下:
blacklist {
devnode "^sda"
# Begin Dell MD Modification
device {
vendor "*"
product "Universal Xport"
}
device {
vendor "*"
product "MD3000"
}
device {
vendor "*"
product "MD3000i"
}
device {
vendor "*"
product "Virtual Disk"
}
# End Dell MD Modification
}
defaults {
user_friendly_names yes
path_grouping_policy multibus
failback immediate
no_path_retry fail
# Begin Dell MD Modification
max_fds 8192
# End Dell MD Modification
}
multipaths {
multipath {
wwid 36d4ae52000ad3c1800000c755df2d836
alias chenlianfu_md3200
path_grouping_policy multibus
path_checker tur
path_selector "round-robin 0"
}
}
# Begin Dell MD Modification
devices {
device {
vendor "DELL"
product "MD32xxi"
path_grouping_policy multibus
prio rdac
polling_interval 5
path_checker rdac
path_selector "round-robin 0"
hardware_handler "1 rdac"
failback immediate
features "2 pg_init_retries 50"
no_path_retry 30
rr_min_io 100
prio_callout "/sbin/mpath_prio_rdac /dev/%n"
}
device {
vendor "DELL"
product "MD32xx"
path_grouping_policy multibus
prio rdac
polling_interval 5
path_checker rdac
path_selector "round-robin 0"
hardware_handler "1 rdac"
failback immediate
features "2 pg_init_retries 50"
no_path_retry 30
rr_min_io 100
prio_callout "/sbin/mpath_prio_rdac /dev/%n"
}
device {
vendor "DELL"
product "MD36xxi"
path_grouping_policy multibus
prio rdac
polling_interval 5
path_checker rdac
path_selector "round-robin 0"
hardware_handler "1 rdac"
failback immediate
features "2 pg_init_retries 50"
no_path_retry 30
rr_min_io 100
prio_callout "/sbin/mpath_prio_rdac /dev/%n"
}
device {
vendor "DELL"
product "MD36xxf"
path_grouping_policy multibus
prio rdac
polling_interval 5
path_checker rdac
path_selector "round-robin 0"
hardware_handler "1 rdac"
failback immediate
features "2 pg_init_retries 50"no_path_retry 30
rr_min_io 100
prio_callout "/sbin/mpath_prio_rdac /dev/%n"
}
device {
vendor "DELL"
product "MD34xx"
path_grouping_policy multibus
prio rdac
polling_interval 5
path_checker rdac
path_selector "round-robin 0"
hardware_handler "1 rdac"
failback immediate
features "2 pg_init_retries 50"
no_path_retry 30
rr_min_io 100
prio_callout "/sbin/mpath_prio_rdac /dev/%n"
}
device {
vendor "DELL"
product "MD38xxf"
path_grouping_policy multibus
prio rdac
polling_interval 5
path_checker rdac
path_selector "round-robin 0"
hardware_handler "1 rdac"
failback immediate
features "2 pg_init_retries 50"
no_path_retry 30
rr_min_io 100
prio_callout "/sbin/mpath_prio_rdac /dev/%n"
}
device {
vendor "DELL"
product "MD38xxi"
path_grouping_policy multibus
prio rdac
polling_interval 5
path_checker rdac
path_selector "round-robin 0"
hardware_handler "1 rdac"
failback immediate
features "2 pg_init_retries 50"
no_path_retry 30
rr_min_io 100
prio_callout "/sbin/mpath_prio_rdac /dev/%n"
}
}
# End Dell MD Modification
再启动multipath服务:
systemctl restart multipathd.service
systemctl enable multipathd.service
这时,就可以在 /dev/mapper/目录下看到相应的设备了,在进行分区挂载操作等:
mkdir /disks/md3200/
mount /dev/mapper/chenlianfu_md3200p1 /disks/md3200/
最后,可以在 /etc/fstab 中增加一行,进行开机自动挂载:
/dev/mapper/chenlianfu_md3200p1 /disks/md3200 xfs defaults 0 0