站長新書 站長開講 首頁 最新文章 站長著作及審校 FreeBSD 筆記 Linux 筆記 Windows 筆記 虛擬化筆記 網管人雜誌 遊山玩水 關於本站
站長新書 VMware vSphere ICM 團購開跑了!!

ESX ESXi 安裝

ESX / ESXi 前言

ESX 使用 Service Console 來管理而 ESXi 雖然沒有 Service Console 管理上較為不方便,但因為 Service Console 其實是 Linux 所以少了 Service Console 的 ESXi 其實就安全性來說相對提高,ESX 的 Service Console 為 64-bit, 2.6-base Linux Kernel RHEL 5.2 編譯出來,ESX 內含的 VMKernel 也為 64-bit,因此您可利用 Service Console 來對 ESX Host 進行設定、管理、除錯...等工作。

ESXi 在授權上有二種版本即免費及授權 (版本的區別由輸入的註冊序號來決定),而免費版本序號一旦啟動後相關進階功能將會關閉 (Product Features),且目前 ESXi 還未支援 Boot From SAN 預計下一版本會支援 (ESX 已經支援),且日後的發展趨勢會趨向為 ESXi 而非目前的 ESX,主因在於之前提到的安全性較高之外還有 32MB Footprint.

ESX / ESXi 安裝前硬體確認

在安裝 ESX / ESXi 以前必須了解屆時要安裝的硬體是否支援否則將無法進行安裝,您可查看 VMware 認證過的硬體清單,在此清單的內的硬體保證可以順利運作 ESX / ESXi 適合用於正式上線機,若您僅是要測試 ESX / ESXi 您可試試至 VMware 論壇上找尋是否有人回報未在 VMware 認證過的硬體清單上但卻可順利安裝 ESX / ESXi 的硬體。

建議至 [VMware Compatibility Guide - Search VMware Certified Compatibility Guides] 尋找 VMware 認證過的硬體清單,以保障您日後運作 ESX / ESXi 時不會有任何因硬體而導致的任何問題。

請至 [VMware Communities: Community Hardware Software Community-Supported Hardware/Software List] 尋找是否有人回報未在 VMware 認證過的硬體清單上但卻可順利安裝 ESX / ESXi 的硬體,如筆者此次的 ESX 測試主機硬體即為未在認證硬體清單中卻有人回報可安裝成功的 [VMware Communities: Dell Optiplex 755] 經筆者測試確實可安裝 ESX 4.0。

ESX / ESXi 授權

若您未輸入註冊序號則您會進入 60 天評估模式 (Evaluation Mode),在這期間您仍可使用 VMware 的進階功能包含 VMotion、DRS、HA...等,若評估時間到期後您仍未更新您的註冊序號則:

如何查看註冊訊息及如何更新註冊序號

ESX 安裝

預設情況下 Service Console 安裝完成後會佔掉 ESX Host 300MB 實體記憶體 (所以預設 SWAP 為 600MB),Service Console 最大可調整為 800MB 因此 SWAP 最大可設為 1.6GB 即可設超過此空間的 SWAP 實際上並不會被利用到,另外要注意的是若調整 Service Console Memory 大小時必須將 ESX Host 重新開機後設定值才會生效。

ESX Host 若當機時為 紫色畫面 ,造成的原因通常為硬體故障所造成。

關於安裝 ESX 詳細步驟由於 VMware 官方有非常詳細的影片教學就不在重新造輪子,請直接參考下方文件及影片連結

ESXi 安裝

安裝 ESXi 完成並開機完成後,可看到 ESXi 的 Direct Console User Interface,您可按下 F2 來進行基本 Host 管理設定 例如: 設定密碼、是否允許 root 帳號登入 (Lockdown Mode)、設定 IP Address、查看系統日誌...等。

如果您希望製作透過 USB 隨身碟來安裝 ESXi 的話,那麼您可以透過 [unetbootin] 工具,再配合所下載的 ESXi ISO 映像檔即可。

關於安裝 ESXi 詳細步驟由於 VMware 官方有非常詳細的影片教學就不在重新造輪子,請直接參考下方文件及影片連結

自動化安裝

DCUI 及 TSM

什麼是 Direct Console User Interface? 什麼是 TSM? 看了下面教學影片就可略知一二了

更換 Host 憑證 (Certificates)

因為預設的 ESXi Host 的憑證發行名稱為 localhost.localdomain,若您想要更換憑證的發行名稱 (例如 vm1.weithenn.org) 可以依如下方式設定即可將您 Host 的憑證發行名稱重新發行。

 #/sbin/generate-certificates.sh              //重新產生 Host 憑證
  Generating a 2048 bit RSA private key
  .........................................................+++
  .....+++
  writing new private key to '/etc/vmware/ssl/ca.key'
  -----
  Generating a 2048 bit RSA private key
  ..........................................+++
  ...................+++
  writing new private key to '/etc/vmware/ssl/rui.key'
  -----
  Signature ok
  subject=/C=US/ST=California/L=Palo Alto/O=VMware, Inc/OU=VMware ESX Server Default Certificate/ema  
  ilAddress=ssl-certificates@vmware.com/CN=vm1.weithenn.org/unstructuredName=1305006680,564d7761726520496e  632e
  Getting CA Private Key
 #/sbin/services.sh restart                 //重新啟動相關服務以便套用剛才憑證的變更

了解 ESXi 5.0 Host 日誌檔

您可以在 ESXi 5.0 Host 中查看相關 Log Files 以了解系統狀況,詳細相關資訊請參考:

以下為 ESXi 5.0 Host 的「/var/log」資料夾中相關 Log Files 其名稱與內容記錄與哪方面有關:

參考

[VMware Compatibility Guide - Search VMware Certified Compatibility Guides]

[VMware Communities: Community Hardware Software Community-Supported Hardware/Software List]

[VMware Compatibility Guide - Search Supported Guest and Host Operating Systems]

[ESXi Host SSL Certificates « JGcomp]

[vCenter 4 and ESX 4 Now Use 10 Year Default SSL Certificate | VM /ETC]

[Replace SSL Certificates: Replace vCenter Server SSL Certificates]

[Replacing vCenter Server 4.0 Certificates]

[VMware vSphere 5 Memory Management and Monitoring diagram]

[VMware KB-1012382 - TCP and UDP Ports required to access vCenter Server, ESX hosts, and other network components]

[vSphere 5.1 Upgrade Guide]

Me FAQ

Q.IBM x3650 M3 及 BladeCenter HS22V 安裝 ESX/ESXi 4.1 後 HBA 及 PCI 裝置停止回應?

Error Message:

若您使用安裝 ESX/ESXi 4.1 的伺服器硬體為 IBM x3650 M3 或 BladeCenter HS22V 您可能會發生下列狀況詳細內容請參考 [VMware KB1030265 - HBAs and other PCI devices may stop responding in ESX/ESXi 4.1 when using IBM servers]

 vmkernel: 6:01:34:46.970 cpu0:4120)ALERT: APIC: 1823: APICID 0x00000000 - ESR = 0x40
 vmkernel: 6:01:42:36.189 cpu15:4274)<6>qla2xxx 0000:1a:00.0: qla2x00_abort_isp: **** FAILED ****
 vmkernel: 6:01:47:36.383 cpu14:4274)<4>qla2xxx 0000:1a:00.0: Failed mailbox send register test
 vmkernel: 6:01:47:36.383 cpu14:4274)<4>qla2xxx 0000:1a:00.0: ISP error recovery failed - board disabled 

Ans:

解法方式有二種,一為執行指令另一為使用 vSphere Client 操作

指令執行

 #esxcfg-advcfg -k TRUE iovDisableIR
 #reboot                              //重開機
 #esxcfg-info -c                      //確認變更生效
 iovDisableIR=TRUE 

vSphere Client

  1. 點選【Configuration】 >> 【Software 下 Advanced Settings】 >> 【VMkernel】
  2. 選擇 【VMkernel.Boot.iovDisableIR】 後按下【OK】
  3. 將 ESX Host 重新啟動

Q.IBM x3650M3 伺服器無法安裝 ESXi 4.1?

Error Message:

放入 VMware ESXi 4.1 光碟開機後準備進行安裝,此時出現下面錯誤且無法繼續 ESXi 的安裝程序

 The BIOS reports that NUMA node 1 has no memory. This problem is either caused by a bad BIOS or a very unbalanced distribution of memory modules. 

Ans:

[VMware KB Article ID 1021508] 可知會發生這種錯誤的可能,查看 IBM x3650M3 的 CPU 及 Memory 配置後,發現此台伺服器在 Memory 部份有二個區塊而現在的記憶體都插在其中一個區塊而以,因此將記憶體平均插於二個區塊 (請按背板指示依序插至相對應的 Memory DIMM Slots) 後便可順利安裝 VMware ESXi 4.1。

Q.IBM x3850/x3950 伺服器的 CPU 數量 (Socket) 及核心數 (Cores) 無法被正確識別?

Error Message:

IBM x3850/x3950 安裝 VMware vSphere ESX 4.1 及 Windows Server 2008 R2 時,作業系統無法正確識別到正確的 CPU 數量 (Socket) 及核心數 (Cores),例如 IBM x3950 伺服器實體有 4 顆 CPU 而每顆 CPU 有 6 核心,但 VMware vSphere ESX 4.1 卻識別成 3 顆 CPU 每顆 CPU 為 8 核心,並且導致 VMware ESX License 無法上上去?

Ans:

[Microsoft Windows Server 2008 x64 does not show all processors under task manager - IBM System x3950 M2 (7233, 7234) ] 文章可知會導致此問題為 BIOS 中 CPU Clustering Technology 設定項目所造成,請將設定值由 Logical Destination Mode (default) 調整為 Physical Destination Mode 即可,設定步驟如下

  1. 開機時按下 【F1】 進入 BIOS 模式
  2. 選擇 【Advanced Setup】
  3. 選擇 【CPU Option】
  4. 選擇 【Clustering Technology】
  5. 預設值為 Logical Mode 請修改為 【Physical Mode】後存檔重新開機即可
  6. 重新開機後 VMware vSphere ESX 4.1 及 Windows Server 2008 R2 便能正確識別 CPU 數量及核心數

Q.如何啟用 IBM x3550 BIOS 中 Intel-VT 及 NX/XD 功能?

Error Message:

因為沒有啟用 IBM x3550 BIOS 中 Intel-VT 及 NX/XD 功能造成 vMotion 時發生問題。

Ans:

以下為啟用 IBM x3550 BIOS 中 [Intel-VT][NX (No Execute Bit) / XD (Execute Disable Bit)] 的步驟:

  1. 將 IBM x3550 重新啟動後按下【F1】進入 Configuration/Setup Utility
  2. 【Advanced Setup】 >> 【CPU Options】
    1. 【Execute Disable Bit】 調整為 【Enable】
    2. 【Intel Virtualization Technology】 調整為 【Enable】
  3. 存檔後離開後重新啟動即可

Q.Host 發生 Cannot synchronize host "Hostname" Operation timed out. 錯誤?

Error Message:

環境為 VMware ESXi 4.1 (Build Number 800380),突然發生了如下錯誤訊息導致其上運作的 VM 無法順利存取 iSCSI Storage。

 Cannot synchronize host vm2.weithenn.org Operation timed out.

Ans:

發生原因看來是因為 VMware Host 上的相關 Agnet 呆掉所致,您可以到 ESXi DUCI 上去「重新啟動(Restart)」相關的 Agent,不過有人反應即使重新啟動 Agnet 後過一陣子同樣的問題還是會發生,因此在此次發生問題時我將整台 Host 重新啟動後目前看來一切運作正常。詳細說明您可以參考相關連結:

Q.Two filesystems with the same UUID have been detected. Make sure you do not have two ESXi installations ?

Error Message:

今天發生使用 ESXi 安裝在 USB 隨身碟開機,但是因為先前也有在硬碟安裝過 ESXi,所以雖然開機選項已經設定 USB Storage 為開機選單最前面,但是開機到 ESXi 後卻出現如下錯誤訊息:

 Two filesystems with the same UUID have been detected. Make sure you do not have two ESXi installations

Ans:

詳細作法請參考 [VMware KB-1035107 - ESXi host displays an error and fails to boot when two ESXi installations are on the same system],以下簡述其作法:

  1. 重新啟動主機
  2. 在 ESXi 啟動初期視窗右下角會有提示訊息請按下【Shift+O】
  3. 在 Boot Option 選單中請輸入【overrideDuplicateImageDetection】後按下 Enter 鍵,便可以順利使用 USB 開機

Q.無法掛載 USB Flash 給 ESXi Host?

Error Message:

插入一支 USB Flash 希望讓 ESXi Host 可以掛載使用,但是將 USB Flash 插入主機後發現 ESXi Host 似乎無法偵測到 USB Flash?

Ans:

詳細作法請參考 [VMware KB-1036340 - Cannot mount a USB key or disk device media to an ESX/ESXi host ],以下簡述其作法:

  1. 先在 ESXi Host 執行指令【/etc/init.d/usbarbitrator stop】
  2. 將 USB Flash 從 ESXi Host 上【退出】然後再次【插上 USB Flash】進行重新偵測,照理說應該會自動在 /vmfs/volumes 內掛載,如果沒有的話可以檢查 /dev/disks 內是否有偵測到 USB Flash
  3. 順利掛載並使用 USB Flash 後再啟動服務【/etc/init.d/usbarbitrator start】

Q.ESXi 5.1 Host 無法抓到 Brocade 815-E FC HBA,如何安裝驅動程式?

Error Message:

在 ESXi 5.1 (1065491) 中安裝 Brocade 815-E FC HBA (Single Port),但是 ESXi Host 開機後卻發現無法識別這張 FC HBA 卡?

Ans:

您需要手動為 ESXi 5.1 Host 安裝 Brocade 815-E FC HBA 驅動程式,並且將 ESXi Host 重新啟動即可,以下簡述其過程: [VMware Compatibility Guide I-O Device Search]

  1. [Brocade 官網 - Brocade Adapter Drivers EMC] 下載相對應的驅動程式,本實作為下載 brocade_driver_esx5x_v3-2-0-0.tar.gz 驅動程式檔案。
  2. 使用 Datastore Browser 或 ESXi Host 有開啟 SSH 的話將該 Brocade 815-E FC HBA 驅動程式檔案,上傳到 ESXi Host 主機當中,此實作上傳到資料夾【HBA-Drivers】當中。
  3. 將 ESXi Host 開啟 SSH 或 Shell 模式,使用指令進行驅動程式檔案解壓縮以及安裝的動作,之後重新啟動後即可發現 ESXi Host 的【Storage Adapters】中已經可以順利看到 Brocade 815-E FC HBA
 # cd /vmfs/volumes/datastore1/HBA-Drivers             //切換到驅動程式放置路徑
 # tar zxvf brocade_driver_esx5x_v3-2-0-0.tar.gz       //進行檔案解壓縮
  BCD-bfa-3.2.0.0-00000-offline_bundle-943825.zip
  BCD-bna-3.2.0.0-00000-offline_bundle-944129.zip
  README_INSTALL_ESXI
 ...略...
 # ./brocade_install_esxi.sh                           //執行安裝驅動程式
  Checking currently installed packages of ... [bna]...done
  Installation Result
     Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.
     Reboot Required: true
     VIBs Installed: Brocade_bootbank_net-bna_3.2.0.0-1OEM.500.0.0.472560
     VIBs Removed:
     VIBs Skipped:
  checking currently installed packages of ... [bfa]...done
  Installation Result
     Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.
     Reboot Required: true
     VIBs Installed: Brocade_bootbank_scsi-bfa_3.2.0.0-1OEM.500.0.0.472560
     VIBs Removed:
     VIBs Skipped:
  checking currently installed packages of ... [bcu]...done
  Installation Result
     Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.
     Reboot Required: true
     VIBs Installed: Brocade_bootbank_brocade-esx-bcu-plugin_3.2.0.0-03
     VIBs Removed:
     VIBs Skipped:
  unknown module 'bfa'
  checking currently installed packages of ... [hp]...done
  Installation Result
     Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.
     Reboot Required: true
     VIBs Installed: Brocade_bootbank_hostprofile-bfaConfig_3.2.0.0-1OEM.464360
     VIBs Removed:
     VIBs Skipped:
  --------------------------------------------------------------------
  Driver software is successfully installed.
  Please reboot the system.
  ---------------------------------------------------------------------
 # sync;sync;sync;reboot            //重新啟動 ESXi 主機
 # vmkload_mod -l | grep bfa        //確認 bfa 模組是否載入
   bfa                      1    2208
 # esxcli brocade                   //安裝成功後可使用 brocade 指令工具
  Usage: esxcli brocade {cmd} [cmd options]
  Available Commands:
   bcu                   Brocade Command Utility commands
   supportsave           Brocade Support Save Utility
   supportshow           Brocade Support Show Utility
Go To Oddmuse OrgGo To FreeBSD OrgCreative Commons 2.5 Taiwansitestates.com