Multipath on RedHat (NetApp FAS2240)

Multipath 是 CentOS/RedHat 內建套件，可用作兩 port 的 HBA 卡連接 Storage時，有雙路由的備援架構。

系統環境

• RedHat 4.7
• NetApp FAS2240
• SAN Switch x 2
• HBA Card: QLogic, port x 2

#>lspci
Fibre Channel: QLogic Corp. ISP2532-based 8Gb Fibre Channel to PCI Express HBA (rev 02)

RedHat 的 HBA Card 驅動

建議安裝方法為，在安裝 RedHat 前先安裝 HBA 卡，然後安裝 RedHat 時會自動驅動 HBA 卡。

如果無法重新安裝 RedHat 試試修改 /etc/modprobe.conf，加上這一行

alias scsi_hostadapter2 qla2500

scsi_hostadapterX 編號視實際狀況修改

查出 HBA 卡的 WWN

#> cat /proc/scsi/qla2xxx/2

SCSI Device Information:
scsi-qla0-adapter-node=5001438004253c81;
scsi-qla0-adapter-port=5001438004253c80; <---- WWN
scsi-qla0-target-0=50001fe1500e28fd;
scsi-qla0-target-1=50001fe1500e28f9;
scsi-qla0-target-2=500a09829140a66c;

另一個 HBA port 裝置檔為 /proc/scsi/qla2xxx/3，以此類推

每個 port 有獨立的 WWN

NetApp storage 分配 LUN 以此 WWN 作為 Host Mapping 的主要參數

驅動後的模組列表

# lsmod | grep qla
    qla2500               209985  0
    qla2xxx               203681  13 qla2500
    scsi_transport_fc      19521  1 qla2xxx
    scsi_mod              153489  7 ib_srp,qla2xxx,scsi_transport_fc,sr_mod,libata,cciss,sd_mo   d

SAN Storge 設定與接線

1. 將 NetApp storage、SAN switch、RedHat 接上各自的光纖線
2. 找出 RedHat 的 HBA 卡 兩 port 各自的 WWN
3. 設定 NetApp，將 LUNs 分配至兩個 WWN Hosts

設定 Multipath

更新：RedHat 客戶中心有提供設定 multipath.conf 線上協助導引，網頁必須先登入才能瀏覽
https://access.redhat.com/labs/multipathhelper/

必要的套件安裝

rpm -q device-mapper
rpm -q device-mapper-multipath
yum install device-mapper
yum install device-mapper-multipath

CentOS 5.x)

編輯 /etc/multipath.conf

# Blacklist all devices by default. Remove this to enable multipathing
# on the default devices.
devnode_blacklist {
#        devnode "*" << 註解這一行
}

## Use user friendly names, instead of using WWIDs as names.
defaults {
        user_friendly_names yes
}

注意：即使啟動了 multipathd 服務，預設是抓不到任何 LUNs 的，必須註解上述的那一行

啟動 multipathd 服務

#> service multipathd start
#> chkconfig multipathd on 

CentOS 6/7)

預設沒有設定檔 /etc/multipath.conf，執行這個指令會自動產生，並且將服務 multipathd 設定成自動執行。

#> mpathconf --enable --with_multipathd y

不用修改 multipath.conf

檢視 multupah 的裝置

CentOS 5.x

[root@cdb3-b ~]# multipath -ll
mpath1 (360a98000383035537824474d3936556a) dm-4 NETAPP,LUN
[size=700G][features=3 queue_if_no_path pg_init_retries 50][hwhandler=0][rw]
\_ round-robin 0 [prio=4][active]
 \_ 1:0:1:0 sdb        8:16  [active][ready]
 \_ 2:0:1:0 sdd        8:48  [active][ready]
\_ round-robin 0 [prio=1][enabled]
 \_ 1:0:0:0 sda        8:0   [active][ready]
 \_ 2:0:0:0 sdc        8:32  [active][ready]

CentOS 6.x

[root@cdb3 ~]# multipath -ll
mpathb (360a98000383035537824474d39365568) dm-2 NETAPP,LUN
size=700G features='4 queue_if_no_path pg_init_retries 50 retain_attached_hw_handle' hwhandler='0' wp=rw
|-+- policy='round-robin 0' prio=4 status=active
| |- 1:0:1:0 sdc 8:32 active ready running
| `- 2:0:1:0 sde 8:64 active ready running
`-+- policy='round-robin 0' prio=1 status=enabled
  |- 1:0:0:0 sdb 8:16 active ready running
  `- 2:0:0:0 sdd 8:48 active ready running

安裝 NetApp 管理工具

＊建議＊安裝 LUN 管理工具 - NetApp Linux Host Utilities

yum install libnl
rpm -ivh QConvergeConsoleCLI-1.0.01-32.x86_64.rpm
rpm -ivh netapp_linux_host_utilities-6-2.x86_64.rpm

- 如果沒有安裝這套件，將無法使用 sanlun 指令

- 適用 CentOS 5.x/6.x

新增 LUN 需系統重新開機）

一旦重新開機後，所有的 LUN disks (在 dual path SAN 架構下會有多個 LUN disks)應該都會被偵測到，並且會有一個 mpathXX 的裝置名稱。

#> multipath -l
mpath1 (360a98000424732615124444150534a35)
[size=100 GB][features="1 queue_if_no_path"][hwhandler="0"]
\_ round-robin 0 [active]
 \_ 2:0:2:0 sde 8:64 [active]
 \_ 3:0:2:0 sdf 8:80 [active]

mpath0 (3600508b400068e5c00012000001a0000)
[size=100 GB][features="1 queue_if_no_path"][hwhandler="0"]
\_ round-robin 0 [active]
 \_ 2:0:0:1 sda 8:0  [active]
 \_ 3:0:0:1 sdc 8:32 [active]
\_ round-robin 0 [enabled]
 \_ 2:0:1:1 sdb 8:16 [active]
 \_ 3:0:1:1 sdd 8:48 [active]

mpathX 這路徑可作為 LVM 的 PV 或直接格式化為 filesystem，完整路徑為 /dev/mapper/mpathX

2:0:0:1 這表示為 host : channel : ID : LUN

Host 2 與 Host 3 表示 HBA 卡有兩個 port 或者單 port 的卡兩張

新增/移除 LUN 系統不需重開機）

參考教學：

• https://library.netapp.com/ecmdocs/ECMP1654943/html/GUID-F88A86D2-F3A9-4440-8C32-539BFEA6BED1.html
• https://access.redhat.com/solutions/3941

CentOS/RedHat 5.x 以後

從 CentOS/RedHat 5 以後或者 SLES 10 以後，可以安裝以下套件：

yum install sg3_utils

不停機下掃描新的 LUN Disk

檢視目前現有的 LUN Disks
#> sanlun lun show all

掃描所有 LUN
#> scsi-rescan
NOTE: 如果偵測不到新 LUN，試試加上 -a
#> scsi-rescan -a

再次檢視目前的 LUN Disks
#> sanlun lun show all

移除 LUN 的程序

要移除現有的 LUN disk 必須依照以下步驟完成：

1. 執行 umount 卸載
2. 執行 lvremove 移除 LV
3. 需要時，執行 vgremove 移除 VG
4. 執行 pvremove 移除 PV
5. 執行 multipath -f mpathXX 移除 multipathXX
   NOTE: 如果沒有執行這步驟，一旦移除 LUN 後系統可能會 Hang。
6. 從 Storage 管理介面移除這個 LUN disk
   NOTE: 當 LUN 被移除後，執行 sanlun lun show all，那些移除的 LUN 會顯示 unknown。
7. 執行 scsi-rescan -r 移除所有未使用的 LUN disk
   NOTE: 執行後輸出訊息，應該要顯示類似
   4 device(s) removed.
   [5:0:1:0]
   [5:0:3:0]
   [6:0:1:0]
   [6:0:3:0]
   重新執行 sanlun lun show all，那些 unknown 就會消失。

CentOS/RedHat 4.x：

• Vmware Linux Guest Add a New Hard Disk Without Rebooting Guest

使用附檔區的兩個 script

1. remove-LUNs.sh
2. rescan-LUNs.sh

新增 LUN disk 步驟

1. 在 NetApp storage 上完成 LUN Mapping 的設定
2. 在 RedHat 上執行 rescan-LUNs.sh
3. 在 RedHat 上執行 multipath -l

移除現有 LUN disk

1. 在 RedHat 上卸載不用的 mpathX
2. 在 RedHat 上執行 sanlun lun show all 找出 LUN 的名稱與 NetApp 上路徑
   註：要執行 sanlun 指令必須先安裝 NetApp 的套件 netapp_linux_host_utilities-6-2.x86_64.rpm
3. 在 NetApp 上移除所對應的 LUN
4. 在 RedHat 上執行 multipath -l
5. 找出要移除 LUN disks 的 host:channel:id:LUN
6. 執行 remove-LUNs.sh <host> <channel> <id> <LUN>

現有 LUN disk 擴充空間

1. 確認 LUN ID 與 sd[X] 的對應

smartctl -a /dev/sd[X]

2. 掃描 LUN disk，確認最新容量

echo 1 > /sys/block/sd[X]/device/rescan

lsblk | grep sd[X]

3. Resize PV

pvresize /dev/sd[X]

4. 完成。接著就按 SOP 進行 LV 與 Filesystem 的擴充。

LVM 管理

新增 LUN disk 成一個 PV

#> pvcreate /dev/mapper/mpath6

PV 新增後，執行 pvdisplay 時的裝置名稱會是 dm-X。

新增一個 VG (需指定 PV)

#> vgcreate dbVG /dev/mapper/mpath6

指令更多用法

multipath

/etc/init.d/multipathd start	Manually starts the multipathing service on the Linux host.
multipath -ll	Displays the multipathing configuration.
multipath -v2	Creates the initial multipathing configuration.
multipath -f device_map	Removes an existing LUN from the multipathing configuration.
multipath -ll -v2 -d	Displays the multipathing configuration in verbose mode.
multipath -t 或 multipathd show config	顯示目前的設定參數

Accesing LUNs on host

sanlun fcp show adapter -v	Displays HBA information.
sanlun fcp show adapter	Display WWPN of HBA cards
sanlun lun show all	Lists available LUNs as seen by the sanlun script.
sanlun lun show -p	Provides multipath information for both DM-Multipath and Veritas Storage Foundation TM dynamic multipathing solutions.
ls -lh /dev/mapper/	Lists DM-Multipath devices generated for LUNs.
e2label device label	Creates a persistent label for a file system. device is the partition; label is a unique string up to 16 characters. Not needed with DM-Multipath.

Q & A

Q: RHEL 7 沒有使用 alias path

使用 NetApp Storage，執行 multipath -ll

    360a98000443437576f2444726e556d76 dm-2 NETAPP  ,LUN
    size=800G features='4 queue_if_no_path pg_init_retries 50 retain_attached_hw_handle' hwhandler='1 alua' wp=rw
    |-+- policy='service-time 0' prio=50 status=active
    | `- 6:0:0:0 sdb 8:16 active ready running
    `-+- policy='service-time 0' prio=10 status=enabled
      `- 6:0:3:0 sdc 8:32 active ready running

    不會顯示 alias name: mpathXX

參閱官方手冊：https://access.redhat.com/solutions/2061463

檢視 multipath 可支援的裝置清單

multipath -t

沒有看到 NetApp 的裝置。

解決方法：編輯 multipath.conf，加入 NetApp 的參數設定

NOTE: 僅適合 NetApp Storage。

defaults {
        user_friendly_names yes
        find_multipaths yes
}

devices {
        device {
                vendor "NETAPP"
                product "LUN.*"
                path_grouping_policy "group_by_prio"
                path_checker "tur"
                features "3 queue_if_no_path pg_init_retries 50"
                hardware_handler "0"
                prio "ontap"
                failback immediate
                rr_weight "uniform"
                rr_min_io 128
                flush_on_last_del "yes"
                dev_loss_tmo "infinity"
                user_friendly_names yes
                retain_attached_hw_handler yes
                detect_prio yes
        }

載入新設定

#> systemctl reload multipathd

#> multipath -ll
mpatha (360a98000443437576f2444726e556d76) dm-2 NETAPP  ,LUN
size=800G features='4 queue_if_no_path pg_init_retries 50 retain_attached_hw_handle' hwhandler='1 alua' wp=rw
|-+- policy='service-time 0' prio=50 status=active
| |- 4:0:0:0 sdb 8:16 active ready running
| `- 6:0:0:0 sdd 8:48 active ready running
`-+- policy='service-time 0' prio=10 status=enabled
  |- 4:0:3:0 sdc 8:32 active ready running
  `- 6:0:3:0 sde 8:64 active ready running

Q: 安裝 netapp_linux_host_utilities 時，出現錯誤訊息

Warning: libnl.so library not found, some sanlun commands may not work. Refer Li nux Host Utilities Installation and Set up Guide for more details
    Warning: libHBAAPI.so library not found, some sanlun commands may not work. Refe r Linux Host Utilities Installation and Setup Guide for more details

Solution: 先安裝 libnl

yum install libnl

再安裝以下套件任一個

• http://driverdownloads.qlogic.com/QLogicDriverDownloads_UI/ResourceByOS.aspx?productid=1043&oemid=372&oemcatid=111969
  
• http://driverdownloads.qlogic.com/QLogicDriverDownloads_UI/SearchByOs.aspx?ProductCategory=39&OsCategory=2&Os=65&OsCategoryName=Linux&ProductCategoryName=Fibre+Channel+HBAs&OSName=Linux+Red+Hat+%2864-bit%29
  
• QConvergeConsole CLI (x64)
•   SANsurfer CLI (x86/x64)

Q: 執行 pvscan、vgscan 或開機時出現以下訊息

Found duplicate PV XXXXXXXXXXXXXXXX: using /dev/sdb not /dev/sda

Solution: 

這通常會發生在系統有作 multipath 與 LVM 設定後，原因是 CentOS 4/5 預設 LVM 的設定會掃描所有的磁碟裝置，然而，當系統設定有 multipath 時，LVM 應該管理 mpathX 或 dm-X 的裝置，而不再是 sdX 裝置。

要使 LVM 不再對 sdX 裝置作管理，可以修改 /etc/lvm/lvm.conf，此外，如果要使每次系統開機時，LVM 不要對 sdX 裝置作掃描，還必須要重建 initrd 開機映像檔，並且修改 grub.conf 相關的設定。

操作步驟如下:

1. 編輯 /etc/lvm/lvm.conf

...
filter = [ "r|/dev/sd.*|", "a|/.*|" ]
... 

r|/dev/sd.*| 這設定會排除所有 sda, sdb, ...等所有磁碟裝置掃描，如果系統有使用其中某個裝置，必須自行修改這規則。

存檔離開

執行 pvscan 或 vgscan，如果不再出現 Warning，繼續步驟 2。

2. 重建 initrd 開機映像檔

#> cd /boot
#> mkinitrd -f -v /boot/initrd-$(uname -r).multipath.img $(uname -r) 

編輯 /boot/grub/grub.conf
複製 title 段落的所有行，並依照實際狀況修改

title CentOS (2.6.18-398.el5-Multipath)                      <== 加上 Multipath
          root (hd0,0)
          kernel /vmlinuz-2.6.18-398..........
          initrd /initrd-2.6.18-398.el5.multipath.img     <== 重建後的initrd 開機映像檔名

存檔離開

3. 重新開機後，出現開機選單後，選擇第二個開機項目。

如果開機訊息不再出現警告文字，而且系統一切正常，就可以再修改 grub.conf 的 default=1。