Nexus 9000 スイッチ設計
vPC
- Nexus 5k , 7k 時代のドキュメントなので、ちょっと古い
ベストプラクティスを使用した Nexus 9000 vPC の概要と設定
Cisco Nexus スイッチ (NX-OS) : 設定例
- vPC 経由でルーティング プロトコルを動作させるときに必要
vPC + HSRP は、ルータや Catalyst スイッチと比較して特殊な動作を行います。
- vPC で受信したトラフィックは、HSRP Standby でも別ポートへ転送する
冗長試験を行う際は、Priority を低下させて Resign メッセージを発生、Active -> Standby に変更する試験と、hsrp shutdown でトラフィックを片寄せする試験を行ったほうが良いと考えられます。
10G-T トランシーバの制限
Deployment Scheme for SFP-10G-T-X Transceivers
- 斜め (例 : 1,4 番ポート) にのみ挿せる
- 斜めで余ったポート (例 : 2,3 番ポート) は AOC / DAC など、0.1W までの低消費電力のもののみ挿せる
- Nexus 93180YC-FX の場合、挿せるポートは 1,4,5,8,9,12,13,16 , 37,40,41,44,45,48 番ポート
- 合計で 16 ポートまで
- NX-OS 9.3(x) では N9K-C93240YC-FX2、N9K-C93180YC-EX、N9K-C93180YC-FX、および N9K-C93360YC-FX2 がサポートしている [1]
- media-type 10g-tx をインターフェースに設定する
- 隣接ポートは空、もしくは DAC のみ [2]
- 機種により使用できるポートが異なる [3]
機種ごとの SFP-10G-T-X 使用可能ポート
| デバイス名 | ポート マップ |
|---|---|
| Cisco Nexus N9K-C93180YC-EX および N9K-C93180YC-FX | PI/PE:1、4-5、8-9、12-13、16、37、40-41、44-45、48 |
| Cisco Nexus N9K-C93240YC-FX2 | W/PI Fan/PS:2、6、8、12、14、18、20、24、26、30
32、36、38、42、44、48 W/PE Fan/PS:6、12、18、24、30、36、42、48 |
| Cisco Nexus N9K-C93360YC-FX2 | PI/PE 1、4-5、8、41、44-45、48-49、52-53、56-57、
60-61、64-65、68-69、72-73、76-77、80-81、84-85、 88-89、92-93、96 |
BGP 実装差分
動作が IOS-XE と結構異なる機能がある。
| IOS-XE | NX-OS | |
|---|---|---|
| address-family | なくても動く
デフォルトで ipv4 unicast |
必須 |
| deterministic-med | デフォルト無効 | デフォルト有効 |
MTU
Nexus 9000 シリーズ: MTU Configuration
コンフィグ
no コマンドで削除できないケースがあります。
| (注) | テンプレートを編集するときには、ピアまたはテンプレートのレベルで no 形式のコマンドを使用すると、テンプレートの設定を明示的に上書きできます。属性をデフォルトの状態にリセットするには、default 形式のコマンドを使用する必要があります。 |
BGP テンプレートで設定を共通化した場合、ピア個別に適用したルートマップは no で削除できません。
default で削除可能です。
EVPN
Anycast Gateway
HSRP などの FHRP で、同一 IP 1 つのみを使用して転送する方式。
Duplicate Address Detection に引っかからずに同一 IP アドレスを使用可能。
Anycast Gateway のメリット
VIP や Standby アドレスが必要ない
ステートレスで別のホストの動作に依存せずに動作する
GW のスイッチを N+1 で構成できるため、Pod またぎで移行設計を組めそう
Anycast Gateway のデメリット
Anycast Gateway を設定した SVI から ping を打っても失敗する場合があるため、疎通確認の送信元として使用できない
- ping のリプライが同一アドレスを持つ、別のホストに着信する場合がある
traceroute は HSRP のように異なる物理 IP アドレスを応答しないため、どの機器を経由したのか判別できない
L3VNI
Old と New の 2 種類が存在する。
| PBR | NAT | VNI スケール | NX-OS Ver | 備考 | |
|---|---|---|---|---|---|
| Old | ☓ | ☓ | L2+L3 : 4000
L3VNI : 900 [4] |
10.2(3)F 以前 | 古い Ver はこちらを使用する |
| New | ○ [5] | ○ | L2VNI : 4000 [6]
L3VNI : 2000 |
10.2(3)F 以降 [7]
10.6(2)F 以降 機種により変わるため要注意 |
スケール面とコンフィグのシンプルさから、こちらが今後は推奨と思われる
ただし NX-OS 9000V 10.5(x) でコンフィグ投入までは可能だが、疎通しないことを確認済み [8] |
Old L3VNI
Cisco Nexus シリーズ : VXLAN EVPN L3VNI 基本設定
L3VNI Old vs New コンフィグ差分
Cisco NX-OS New L3VNI Mode の構成
デザインガイド
Cisco Nexus 9000 VXLAN BGP EVPN Data Center Fabrics Fundamental Design and Implementation Guide
RFC 5549 IPv6 link-local underlay
Supported and unsupported features of VXLAN BGP EVPN with RFC 5549 underlay
- 2026 年現在では、RFC 5549 を使用した場合、メーカーがサポートする機能が限定される
vPC ファブリック ピアリング & Virtual Peer-Link
物理 Peer-Link を持たず、わたり接続を省略可能となる技術。
仮想 Peer-Link としてアップリンクの EVPN VXLAN 経由で vPC ピアと接続する。
vPC ファブリック ピアリング のメリット
vPC Peer-Link で使用する、わたり接続の DAC ケーブルを購入する必要がない
スイッチの設置場所を離すことが可能
- 別拠点に設置することすらできる
HSRP のように、別の物理 IP アドレスが必要ない (全ホストで同一 IP を使用する)
vPC ファブリック ピアリングのデメリット
vPC ファブリックピアリングの SVI は Anycast Gateway が推奨で、ルーティングはできない [9]
- ルーティング プロトコルを動作させる場合は、SVI /29 x1 + HSRP や /30 x2 ルーテッドポート + OSPF などで収容する
- HSRP は非推奨 [10]
アップリンクのファブリックで、Virtual Peer-Link のトラフィックを QoS で優先する必要がある
ISSU 非対応
NX-OS 9000v
vPC ファブリックピアリングは仮想 OS の NX-OX 9000v でもコンフィグできるが、どうも怪しい気がする。公式にはサポートしている [11] が・・・
FTTH
Cisco Nexus 9000 Series NX-OS Release Notes, Release 10.2(3)F
DHCPv6 Prefix Delegation with Static Route Insertion
- DHCPv6-PD に対応した
vPC とオプション機能
Nexus シリーズ : Link Aggregation Control Protocol (LACP) の設定例
Nexus シリーズ : LACP max-bundle と min-links
Nexus 9000 シリーズ:LACP vPC Convergence 機能について
- ハイスケールの環境では、MAC や ARP の学習情報 -> TCAM のプログラミングに時間を要する
- TCAM 学習後に、LACP PDU を送信して Port-Channel を Up にさせる
- 学習後に Port-Channel を Up させるため、トラフィックロスを少なくできる
Nexus 9000 シリーズ:LACP Suspend individual pxe について
- vPC に属さないポートは Orphan-Port (孤立ポート) になる
- サーバでチーミングによる冗長化を行った場合、通常ポート x2 で収容する場合があり、Orphan-Port が有効
Nexus 9000 シリーズ : lacp vpc-convergence が設定された vPC がアップするタイミングでトラフィックがループする
CoPP (Control Plane Policing)
DDoS 攻撃などから防御するため、CPU を保護する Control Plane Policing という機能が実装されている。
ここではどのようなデフォルト動作となっているか、NX-OS 9000V のコンフィグを確認する。
なお、実機と NX-OS 9000V では設定が異なる模様。
CoPP のデフォルト プロファイル
NX-OS 10.4(6) では Strict がデフォルトで、一番厳しいプロファイルが適用されている。
switch(config)# show running-config copp
!Command: show running-config copp
!Running configuration last done at: Thu Mar 19 05:23:59 2026
!Time: Thu Mar 19 05:26:56 2026
version 10.4(6) Bios:version
copp profile strict
プロファイルの違い
Stirct , moderate , lenient , dense が存在する。
switch(config)# copp profile ?
dense The Dense Profile
lenient The Lenient Profile
moderate The Moderate Profile
strict The Strict Profile
- Strict:このポリシーは 1 レート、2 カラーです。
- Moderate:このポリシーは 1 レート、2 カラーです。重要クラスのバースト サイズは strict ポリシーより大きく、lenient ポリシーより小さくなります。
- Lenient:このポリシーは 1 レート、2 カラーです。重要クラスのバースト サイズは moderate ポリシーより大きく、dense ポリシーより小さくなります。
- Dense:このポリシーは 1 レート、2 カラーです。ポリサーの CIR 値は、strict ポリシーよりも低くなります。
CoPP Strict プロファイル
Strict の場合、以下が設定されている。
show running-config では表示されないため、デフォルトコンフィグも表示可能な show running-config all で確認が可能。
別のプロファイルの場合、値が緩和される。
switch# show running-config all | section copp-system-p-policy-strict
policy-map type control-plane copp-system-p-policy-strict
class copp-system-p-class-l3uc-data
set cos 1
police cir 250 pps bc 32 packets conform transmit violate drop
class copp-system-p-class-critical
set cos 7
police cir 19000 pps bc 128 packets conform transmit violate drop
class copp-system-p-class-important
set cos 6
police cir 3000 pps bc 256 packets conform transmit violate drop
class copp-system-p-class-openflow
set cos 5
police cir 2000 pps bc 32 packets conform transmit violate drop
class copp-system-p-class-multicast-router
set cos 6
police cir 3000 pps bc 128 packets conform transmit violate drop
class copp-system-p-class-multicast-host
set cos 1
police cir 2000 pps bc 128 packets conform transmit violate drop
class copp-system-p-class-l3mc-data
set cos 1
police cir 3000 pps bc 32 packets conform transmit violate drop
class copp-system-p-class-normal
set cos 1
police cir 1500 pps bc 32 packets conform transmit violate drop
class copp-system-p-class-ndp
set cos 6
police cir 1500 pps bc 32 packets conform transmit violate drop
class copp-system-p-class-normal-dhcp
set cos 1
police cir 300 pps bc 32 packets conform transmit violate drop
class copp-system-p-class-normal-dhcp-relay-response
set cos 1
police cir 400 pps bc 64 packets conform transmit violate drop
class copp-system-p-class-normal-igmp
set cos 3
police cir 6000 pps bc 64 packets conform transmit violate drop
class copp-system-p-class-redirect
set cos 1
police cir 1500 pps bc 32 packets conform transmit violate drop
class copp-system-p-class-exception
set cos 1
police cir 50 pps bc 32 packets conform transmit violate drop
class copp-system-p-class-exception-diag
set cos 1
police cir 50 pps bc 32 packets conform transmit violate drop
class copp-system-p-class-management
set cos 2
police cir 3000 pps bc 512000 packets conform transmit violate drop
class copp-system-p-class-monitoring
set cos 1
police cir 300 pps bc 128 packets conform transmit violate drop
class copp-system-p-class-l2-unpoliced
set cos 7
police cir 20000 pps bc 8192 packets conform transmit violate drop
class copp-system-p-class-undesirable
set cos 0
police cir 15 pps bc 32 packets conform transmit violate drop
class copp-system-p-class-fcoe
set cos 6
police cir 1000 pps bc 32 packets conform transmit violate drop
class copp-system-p-class-nat-flow
set cos 7
police cir 100 pps bc 64 packets conform transmit violate drop
class copp-system-p-class-l3mcv6-data
set cos 1
police cir 3000 pps bc 32 packets conform transmit violate drop
class copp-system-p-class-undesirablev6
set cos 0
police cir 15 pps bc 32 packets conform transmit violate drop
class copp-system-p-class-l2-default
set cos 0
police cir 50 pps bc 32 packets conform transmit violate drop
class class-default
set cos 0
police cir 50 pps bc 32 packets conform transmit violate drop
show コマンド
show copp status
リファレンス
iCAM (Intelligent CAM) 分析
使用している Vlan 数などを Nexus 自身で監視する、iCAM 分析という機能がある。
vlan 1-3967 で最大限作成する + iCAM 有効にした場合は、デフォルトでは Critical Error が継続して出力されてしまうため、しきい値を上げてエラーにならないようにしたほうが良い。
icam monitor scale l2-switching vlan vlan-count limit <1-4294967295>
configure terminal
icam monitor scale l2-switching vlan vlan-count limit 5300
end
3967 / 0.75(%) = 5289 なので、5300 にすれば 75% として Info アラートも出なくなる。
しきい値
Info : 80%
Warning : 90%
Critical : 100%
デフォルト
NX-OS 9.3(5) 以降でデフォルト有効 + 無効化できない
参考 URL
Nexus 9000 シリーズ : iCAM スケールモニタリングについて
Cisco Nexus 9000 シリーズ NX-OS iCAM 構成ガイド、リリース 10.4(x)
変更履歴
2024/09/04 : 初版
2026/03/17 : EVPN の項目を追加
2026/04/16 : vPC のリンクを追加
2026/05/20 : L3VNI の項目を追加
2026/05/25 : iCAM 分析の項目を追加
リファレンス
Cisco Nexus スイッチ (NX-OS) : 設定例
- ここに大体の機能に関するリンクがある
ベストプラクティスを使用した Nexus 9000 vPC の概要と設定
NX-OS : ソフトウェアのリリースとバージョンサポートポリシーについて
Cisco Nexus 9000 シリーズ : VXLAN EVPN Anycast Gatewayと 既存 HSRP の共存
引用
- ↑ Cisco SFP-10G-T-X モジュールのサポート Cisco NX-OS リリース 9.3(5) 以降、10G BASE-T SFP+(RJ-45)は N9K-C93240YC-FX2、N9K-C93180YC-EX、N9K-C93180YC-FX、および N9K-C93360YC-FX2 デバイスでサポートされます。
- ↑ Cisco SFP-10G-T-X モジュールのサポート (注) SFP-10G-TX デバイスをポートに接続する場合、このデバイスのすべての隣接ポートが空であるか、パッシブ銅線リンクのみに接続されている必要があります。
- ↑ メディア タイプの確認 (注) SFP-10G-TX をサポートするポートは、デバイスによって異なります。この例では、Cisco Nexus N9K-C93240YC-FX2 スイッチの、SFP-10G-TX をサポートするポート番号を表示します。
- ↑ Configure the new L3VNI mode This could be either up to 4,000 Layer 2 VNIs with no Layer 3 VNIs, or a mix of Layer 2 and Layer 3 VNIs totaling up to 4,000, with Layer 3 VNIs limited to approximately 900.
- ↑ Cisco Nexus 9000 Series NX-OS VXLAN Configuration Guide, Release 10.5(x) Chapter: Configure VXLAN BGP EVPN Best practice for configuring new L3VNI mode - Configure interface vni only if PBR/NAT is required.
- ↑ Configure the new L3VNI mode Starting with Cisco NX-OS Release 10.2(3)F, an enhancement allows you to configure Layer 3 VNIs using the l3 keyword. This increases the supported number of Layer 3 VNIs from 900 to 2,000, while still supporting up to 4,000 Layer 2 VNIs.
- ↑ Best practice for configuring new L3VNI mode Beginning with Cisco NX-OS Release 10.2(3)F, the new L3VNI mode is supported on Cisco Nexus 9300-X Cloud Scale Switches. Beginning with Cisco NX-OS Release 10.6(2)F, the new L3VNI mode is supported on Cisco N9324C-SE1U and N9348Y2C6D-SE1U Smart switches.
- ↑ Cisco Nexus 9000v(9300v/9500v)ガイド、リリース 10.5(x) 機能 : L3VNI Nexus 9300v のサポート : 非対応
- ↑ vPC ファブリック ピアリングの注意事項と制約事項 vPC ファブリック ピアリングを使用する場合、このような vPC ペアに対して SVI を介したルーティングを作成することはできません。
- ↑ First Hop Gateway (FHG) の冗長化について VXLAN と FHRP の共存はサポートされておらず、代わりにこの用途では Anycast gateway と vPC を使うことを紹介
- ↑ Cisco Nexus 9000v(9300v/9500v)ガイド、リリース 10.5(x) ファブリック ピアリングが設定された vPC Nexus 9300v のサポート : はい