【硬件相关】PCIe组件配置说明

PCI Express（peripheral component interconnect express）是INTEL新一代总线接口，PCI Express与业内流行的点对点串行连接相比，采用了目前流行的点对点串行连接PCI以及早期计算机总线的共享并行架构，每个设备都有自己的特殊连接，不需要向整个总线要求带宽，数据传输率可以提高到很高的频率PCI不能提供的高带宽。

相对于传统PCI总线只能在单一时间周期内实现单向传输，PCI Express双单工连接可提供更高的传输速率和质量。

• PCIe规格

目前PCIe分别有五种物理规格PCIe x1、PCIe x4、PCIe x8、PCIe x16、PCIe x32，x后面的数字是PCIe插槽内的通道数

详见示意图如下。目前主流规格主要是x1、x4、x8、x16，PCIe插槽可向下兼容，如PCIe x16插槽可插x8、x4、x1卡(最终运行模式由卡(PCIe卡决定，如PCIe x16插槽插入PCIe x4卡，最终以PCIe x4模式运行）

• PCIe版本

目前PCIe有六种版本，分别是PCIe1.0、PCIe2.0、PCIe3.0、PCIe4.0、PCIe5.0、PCIe6.0，PCIe版本向后兼容，任何版本PCIe卡和主板可以以最低版本的模式工作(例如PCIe 3.0卡插到PCIe 2.0槽位，最后PCIe 2.0版本运行）

详见示意图如下，列PCIe版本总线性能，PCIe每个传输通道都是全双工通道（SEND、RECEIVE两个方向不相互影响，表中传输带宽为单向速率)

PCIe是一条串行总线，数据中嵌入时钟，需要保证足够的电平转换(1到0和0到1)，以便接收端恢复时钟。 为了增加电平转换，"8b/10b"例如，每8个编码bit(1字节)编码为10bit传输符号，然后解码接收端，即总线需要传输10 bit编码数据表示发送的8 bit编码效率为80%(80%)b/10b）

               （ 原始传输率 x Line编码效率 x 通道数 ） 带宽传输有效 =   ------------------------------------                                8 注： GT/s表示每秒千兆传输（**Gigatransfer**），由于原始传输率为Gbps(二进制以1000换算，即2.5Gbps=2500Mbps），因此需要除以8换算GBps 

• 同一主板，同一张卡，插入PCIe A它可以正常使用，但在PCIe B但是不能识别？ 这个问题经常出现在双路主板上，主板PCIe有两个接口CPU控制。如果只有一个。CPU，另一个CPU控制的PCIe通道不通电，自然无法识别。

• 查看服务器PCI-E插槽数量及使用情况：dmidecode | grep -1 PCI 注：可使用PCIe扩展卡扩充PCIe插槽

[root@node111 ~]# dmidecode | grep -1 PCI         ISA is supported         PCI is supported         PNP is supported -- System Slot Information     Designation: PCIe Slot 1     Type: x8 PCI Express 3 x16     Current Usage: Available -- System Slot Information     Designation: PCIe Slot 2     Type: x8 PCI Express 3 x16     Current Usage: Available -- System Slot Information    Designation: PCIe Slot 3
    Type: x8 PCI Express 3 x16
    Current Usage: Available
--
System Slot Information
    Designation: PCIe Slot 4
    Type: x8 PCI Express 3 x16
    Current Usage: In Use
--
System Slot Information
    Designation: PCIe Slot 5
    Type: x8 PCI Express 3 x16
    Current Usage: In Use
--
System Slot Information
    Designation: PCIe Slot 6
    Type: x16 PCI Express 3
    Current Usage: Available

FC HBA卡常见的品牌厂商主要为Emulex、Qlogic

• Emulex 可通过lspci | grep Fibre查询服务器当前使用FC HBA卡，若品牌为Emulex，通常驱动模块为lpfc

[root@node85 ~]# lspci | grep Fibre
62:00.0 Fibre Channel: Emulex Corporation LightPulse LPe16002 (rev 30)
62:00.1 Fibre Channel: Emulex Corporation LightPulse LPe16002 (rev 30)
[root@node85 ~]# 
[root@node85 ~]# modinfo lpfc
filename:       /lib/modules/4.14.113-1.el7.x86_64/kernel/drivers/scsi/lpfc/lpfc.ko.xz
version:        0:11.4.0.3
author:         Broadcom
description:    Emulex LightPulse Fibre Channel SCSI driver 11.4.0.3
license:        GPL
srcversion:     9B519AD74B0149A85A5638D

• Qlogic 可通过lspci | grep Fibre查询服务器当前使用FC HBA卡，若品牌为Qlogic，通常驱动模块为qla2xxx

• 查看FC本地（通常为服务器FC HBA卡）WWN号：cat /sys/class/fc_host/host{x}/port_name 注：如FC HBA卡配置两个FC口，则存在两个WWN号

[root@node85 ~]# cat /sys/class/fc_host/host11/port_name 
0x10000090fadc39ac
[root@node85 ~]# cat /sys/class/fc_host/host13/port_name 
0x10000090fadc39ad

• 查看FC远端（通常为FCSAN存储）WWN号：cat /sys/class/fc_remote_ports/rport-{x}/port_name

[root@node85 ~]# cat /sys/class/fc_remote_ports/rport-11\:0-0/port_name 
0x277000c0fff0b1d3
[root@node85 ~]# cat /sys/class/fc_remote_ports/rport-13\:0-0/port_name 
0x237000c0fff0b1d3

• 扫描FC本地新SCSI磁盘：rescan-scsi-bus.sh

• 查看FC本地SCSI连接情况：lsscsi

[root@node85 ~]# lsscsi 
[3:0:0:0]    enclosu SEAGATE  4565             G280  -        
[3:0:1:0]    enclosu SEAGATE  4565             G280  -        
[3:0:2:0]    enclosu BROADCOM VirtualSES       03    -        
[11:0:0:0]   enclosu SEAGATE  5865             G280  -        
[11:0:0:11]  disk    SEAGATE  5865             G280  /dev/sdb 
[11:0:0:15]  disk    SEAGATE  5865             G280  /dev/sdd 
[11:0:0:19]  disk    SEAGATE  5865             G280  /dev/sdf 
[11:0:0:23]  disk    SEAGATE  5865             G280  /dev/sdh 
[11:0:0:27]  disk    SEAGATE  5865             G280  /dev/sdj 
[11:0:0:31]  disk    SEAGATE  5865             G280  /dev/sdl 
[11:0:0:35]  disk    SEAGATE  5865             G280  /dev/sdn 
[11:0:0:39]  disk    SEAGATE  5865             G280  /dev/sdp 
[12:0:0:0]   disk    ATA      INTEL SSDSC2KB24 0132  -        
[12:0:1:0]   disk    ATA      INTEL SSDSC2KB24 0132  -        
[12:1:0:0]   disk    LSI      Logical Volume   3000  /dev/sda 
[13:0:0:0]   enclosu SEAGATE  5865             G280  -        
[13:0:0:12]  disk    SEAGATE  5865             G280  /dev/sdc 
[13:0:0:16]  disk    SEAGATE  5865             G280  /dev/sde 
[13:0:0:20]  disk    SEAGATE  5865             G280  /dev/sdg 
[13:0:0:24]  disk    SEAGATE  5865             G280  /dev/sdi 
[13:0:0:28]  disk    SEAGATE  5865             G280  /dev/sdk 
[13:0:0:32]  disk    SEAGATE  5865             G280  /dev/sdm 
[13:0:0:36]  disk    SEAGATE  5865             G280  /dev/sdo 
[13:0:0:40]  disk    SEAGATE  5865             G280  /dev/sdq 

SAS HBA卡常见的品牌厂商主要为LSI、Adaptec、Areca、ATTO