IBM OpenPOWER Linux

    更多文章:

    說明

    • 機型:IBM Power System S822LC (8001-22C) for big data
    • 作業系統:RedHat 7.3 for POWER8 Little Endian (NOTE: 此機型只能適用 Little Endian 安裝版本,其他機型適用版本可見附檔區的參考文件:Quick Start Guide for installing Linux on IBM Power System LCservers)

    使用心得:

    1. 不知為何 Linux 辨識到磁碟代號順序與實機上的位置完全無法做對應。(請見下文的位置對照表)
    2. 沒有指令可以識別指定磁碟的實際位置。
      NOTE: 即使可用 storcli 指令辨識磁碟位置,但它的順序與 Linux 的磁碟順序不一致
    3. 雖然內建有 Megaraid 介面卡,卻無法成功建立硬體式的 Raid。
      NOTE: 使用 storcli 指令新增 raid 失敗,錯誤訊息: Resource already in use

    安裝 RedHat Linux

    NOTE: 官方資料顯示支援 RedHat 7.2,但實際上無法安裝此版本,狀況是無法執行光碟開機。

    方法一:以光碟安裝

    連接外接式 USB 光碟機,並置入 RedHat 安裝光碟

    主機開啟電源 > Petitboot 

    畫面的選單上方應該會出現 RedHat 安裝光碟的選項

    * Install Red Hat Enterprise Linux 7.3 (64-bit kernel)

    移動方向建至該選項,按 Enter 即可進入安裝程序

    TIP:

    如過程失敗,參考附檔區文件: Quick Start Guide for installing Linux on IBM Power System LCservers

    軟體 Raid 設定

    這款機型沒有內建 Raid Adapter,只能使用 RedHat 的 Software Raird。不過在使用與設定上與 x86 機器有許多不同,其中有幾項重點需要注意:

    • RedHat for Power 系統開機流程的順序是: BIOS > sda1: PPC PReP Boot > sda2: /boot (GRUB2) > sda3: /
    • PPC PReP Boot 這磁區不支援安裝在 Software Raid (注意: 這個爾後可能會造成系統無法正常開機,詳細資訊參閱: 開機磁區複寫至多個磁碟
    • /boot 與 / 可安裝在 Software Raid
    • 磁區新增如下: 合計 5 顆磁碟 sda, sdb, sdc, sdd, sde
      1. sda1 = PPC PReP Boot (Power 開機)
      2. sda2 = raid1 /boot (GRUB2 開機)
      3. sda3 = raid6 /
      4. sdb1 = PPC PReP Boot (Power 開機)
      5. sdb2 = raid1 /boot (GRUB2 開機)
      6. sdb3 = raid6 /
      7. sdc1 = raid6 /
      8. sdd1 = raid6 /
      9. sde1 = raid6 /
        更多詳細資訊可見附檔區
    • raid6 的 / 都是 LVM 格式,預設的 VG 名稱是 rhel,LV 名稱是 rhel-<磁區名稱>,例如 rhel-swap
    • 設定 raid level 6 時,size policy 建議使用 As large as possible。

     

    TIP:

    size policy:
    預設 Automatic - 這 raid 的 size 是以實際已使用資料量大小為基準,優點是 raid 初始化時比較快速,因此安裝時間也會明顯變短;缺點是未來管理磁碟用量時不是這麼直覺,透過指令檢查 PV 或 VG 的剩餘空間永遠都是 0 - 1 %。
    As large as possible - 這 raid 的 size 是以包含的所有實體硬碟可用空間做計算,優點是較容易管理整體磁碟空間,透過一般指令就可以控管磁碟用量;缺點是 raid 一開始做初始化,以及爾後需要做 Raid Rebuild 所花費的時間比較久。

    新增磁區時:
    技巧一 - 先移除全部舊磁區,再依序新增 prepboot(sda), prepboot(sdb), /boot, SWAP, /。
    技巧二 - 如果多顆磁碟裡存在舊的 PPC PReP Boot 磁區,透過安裝畫面的工具(Anaconda)是無法有效移除,建議方法是先以單顆磁碟做簡單系統安裝,完成後進入系統再以 fdisk 指令一一將不用的開機磁區移除。
    技巧三 - 第二顆磁碟上的 prepboot 磁區可能不會正常顯示在畫面上,要確認所有磁區是否新增正確,可以檢視下一頁的 Summary of Changes。
    技巧三 - 如果出現訊息: boot loader stage2 device boot is on a multi-disk array but boot loader stage1 sevice sda1 is not ....,可以先忽略它,按下 Done 繼續完成安裝的步驟。
    一旦系統完成安裝後,再繼續文章 開機磁區複寫至多個磁碟 的步驟。

    安裝後的步驟

    關閉 SELinux

    sed -i 's/SELINUX=.*$/SELINUX=disabled/' /etc/selinux/config
    setenforce 0  
    

    關閉防火牆

    systemctl stop firewalld.service
    systemctl disable firewalld.service 
    

    硬體監控管理

    設定 IPMI (BMC) 網路

    網路線連接主機後方的 IPMI Network Port
    主機開啟電源 > Petitboot > Exit to Shell

    ipmitool lan print 1
    ipmitool lan set 1 ipsrc static
    ipmitool lan set 1 ipaddr <ipmi-ip-address>
    ipmitool lan set 1 netmask <ipmi-ip-netmask>
    ipmitool lan set 1 defgw ipaddr <ipmi-ip-gateway>
    ipmitool lan print 1 
    

    BMC 網頁存取:

    http://ipmi-ip-address/ , 預設登入: ADMIN / ADMIN
    NOTE: 官方手冊提到的預設帳號與密碼是錯誤的。

    Java 版本是 1.6.0.45 32-bit, Windows 7 64-bit,沒試過其他 Java 版本。

    IPMITools 存取:

    安裝 ipmitool 在 Desktop PC
    Ubuntu

    sudo apt-get update
    sudo apt-get install ipmitool 
    

    以 source 編譯安裝
    https://sourceforge.net/projects/ipm...atest/download

    wget https://sourceforge.net/projects/ipmitool/files/latest/download
    bzip2 -d ipmitool-1.8.15.tar.bz2
    tar xvf ipmitool-1.8.15.tar
    cd ipmitool-1.8.15
    ./configure 
    

    測試連線

    顯示所有裝置的 FRU 資訊
    ipmitool -I lanplus -H ipmi-ip-address -U ADMIN -P ADMIN fru
    

    磁碟名稱與實體位置對應

    sdb EMPTY NVMe EMPTY
    sde sdc EMPTY EMPTY
    sda sdd EMPTY NVMe

     

    標籤 (Edit tags)
    • No tags
    您必須 登入 才能發佈評論。
    Powered by MindTouch Core