Nexus 9000 スイッチ設計

提供:hkatou_Lab
ナビゲーションに移動 検索に移動

vPC

Design and Configuration Guide: Best Practices for Virtual Port Channels (vPC) on Cisco Nexus Series Switches

  • Nexus 5k , 7k 時代のドキュメントなので、ちょっと古い

Nexus - vPC Recommendations

ベストプラクティスを使用した Nexus 9000 vPC の概要と設定

仮想ポートチャネル経由のルーティングのためのトポロジの作成

Cisco Nexus スイッチ (NX-OS) : 設定例

Nexus vPCの基本設定

Nexus vPC layer3 peer-router

  • vPC 経由でルーティング プロトコルを動作させるときに必要

vPC + HSRP は、ルータや Catalyst スイッチと比較して特殊な動作を行います。

  • vPC で受信したトラフィックは、HSRP Standby でも別ポートへ転送する

冗長試験を行う際は、Priority を低下させて Resign メッセージを発生、Active -> Standby に変更する試験と、hsrp shutdown でトラフィックを片寄せする試験を行ったほうが良いと考えられます。

10G-T トランシーバの制限

Deployment Scheme for SFP-10G-T-X Transceivers

  • 斜め (例 : 1,4 番ポート) にのみ挿せる
    • 斜めで余ったポート (例 : 2,3 番ポート) は AOC / DAC など、0.1W までの低消費電力のもののみ挿せる
  • Nexus 93180YC-FX の場合、挿せるポートは 1,4,5,8,9,12,13,16 , 37,40,41,44,45,48 番ポート
  • 合計で 16 ポートまで

Cisco SFP-10G-T-X モジュールのサポート

  • NX-OS 9.3(x) では N9K-C93240YC-FX2、N9K-C93180YC-EX、N9K-C93180YC-FX、および N9K-C93360YC-FX2 がサポートしている [1]
  • media-type 10g-tx をインターフェースに設定する
  • 隣接ポートは空、もしくは DAC のみ [2]
  • 機種により使用できるポートが異なる [3]

機種ごとの SFP-10G-T-X 使用可能ポート

表 2. デフォルトのポート マッピング
デバイス名 ポート マップ
Cisco Nexus N9K-C93180YC-EX および N9K-C93180YC-FX PI/PE:1、4-5、8-9、12-13、16、37、40-41、44-45、48
Cisco Nexus N9K-C93240YC-FX2 W/PI Fan/PS:2、6、8、12、14、18、20、24、26、30

32、36、38、42、44、48

W/PE Fan/PS:6、12、18、24、30、36、42、48

Cisco Nexus N9K-C93360YC-FX2 PI/PE 1、4-5、8、41、44-45、48-49、52-53、56-57、

60-61、64-65、68-69、72-73、76-77、80-81、84-85、

88-89、92-93、96

BGP 実装差分

動作が IOS-XE と結構異なる機能がある。

IOS-XE NX-OS
address-family なくても動く

デフォルトで ipv4 unicast

必須
deterministic-med デフォルト無効 デフォルト有効

MTU

Nexus 9000 シリーズ: MTU Configuration

コンフィグ

no コマンドで削除できないケースがあります。

BGP セッション テンプレートの設定

(注)   テンプレートを編集するときには、ピアまたはテンプレートのレベルで no 形式のコマンドを使用すると、テンプレートの設定を明示的に上書きできます。属性をデフォルトの状態にリセットするには、default 形式のコマンドを使用する必要があります。

BGP テンプレートで設定を共通化した場合、ピア個別に適用したルートマップは no で削除できません。

default で削除可能です。

EVPN

Anycast Gateway

HSRP などの FHRP で、同一 IP 1 つのみを使用して転送する方式。

Duplicate Address Detection に引っかからずに同一 IP アドレスを使用可能。

Anycast Gateway のメリット

VIP や Standby アドレスが必要ない

ステートレスで別のホストの動作に依存せずに動作する

GW のスイッチを N+1 で構成できるため、Pod またぎで移行設計を組めそう

Anycast Gateway のデメリット

Anycast Gateway を設定した SVI から ping を打っても失敗する場合があるため、疎通確認の送信元として使用できない

  • ping のリプライが同一アドレスを持つ、別のホストに着信する場合がある

traceroute は HSRP のように異なる物理 IP アドレスを応答しないため、どの機器を経由したのか判別できない

L3VNI

Old と New の 2 種類が存在する。

L3VNI : Old vs New
PBR NAT VNI スケール NX-OS Ver 備考
Old L2+L3 : 4000

L3VNI : 900 [4]

10.2(3)F 以前 古い Ver はこちらを使用する
New [5] L2VNI : 4000 [6]

L3VNI : 2000

10.2(3)F 以降 [7]

10.6(2)F 以降 機種により変わるため要注意

スケール面とコンフィグのシンプルさから、こちらが今後は推奨と思われる

ただし NX-OS 9000V 10.5(x) でコンフィグ投入までは可能だが、疎通しないことを確認済み [8]

Old L3VNI

Cisco Nexus シリーズ : VXLAN EVPN L3VNI 基本設定

L3VNI Old vs New コンフィグ差分

NDFC: New L3VNI Mode について

Cisco NX-OS New L3VNI Mode の構成

デザインガイド

Cisco Nexus 9000 VXLAN BGP EVPN Data Center Fabrics Fundamental Design and Implementation Guide

RFC 5549 IPv6 link-local underlay

Supported and unsupported features of VXLAN BGP EVPN with RFC 5549 underlay

  • 2026 年現在では、RFC 5549 を使用した場合、メーカーがサポートする機能が限定される

vPC ファブリック ピアリング & Virtual Peer-Link

物理 Peer-Link を持たず、わたり接続を省略可能となる技術。

仮想 Peer-Link としてアップリンクの EVPN VXLAN 経由で vPC ピアと接続する。

vPC ファブリック ピアリング のメリット

vPC Peer-Link で使用する、わたり接続の DAC ケーブルを購入する必要がない

スイッチの設置場所を離すことが可能

  • 別拠点に設置することすらできる

HSRP のように、別の物理 IP アドレスが必要ない (全ホストで同一 IP を使用する)

vPC ファブリック ピアリングのデメリット

vPC ファブリックピアリングの SVI は Anycast Gateway が推奨で、ルーティングはできない [9]

  • ルーティング プロトコルを動作させる場合は、SVI /29 x1 + HSRP や /30 x2 ルーテッドポート + OSPF などで収容する
  • HSRP は非推奨 [10]

アップリンクのファブリックで、Virtual Peer-Link のトラフィックを QoS で優先する必要がある

ISSU 非対応

NX-OS 9000v

vPC ファブリックピアリングは仮想 OS の NX-OX 9000v でもコンフィグできるが、どうも怪しい気がする。公式にはサポートしている [11] が・・・

FTTH

Cisco Nexus 9000 Series NX-OS Release Notes, Release 10.2(3)F

DHCPv6 Prefix Delegation with Static Route Insertion

  • DHCPv6-PD に対応した

vPC とオプション機能

Nexus シリーズ : Link Aggregation Control Protocol (LACP) の設定例

Nexus シリーズ : LACP max-bundle と min-links

Nexus シリーズ : LACP Data Unit

Nexus 9000 シリーズ:LACP vPC Convergence 機能について

  • ハイスケールの環境では、MAC や ARP の学習情報 -> TCAM のプログラミングに時間を要する
  • TCAM 学習後に、LACP PDU を送信して Port-Channel を Up にさせる
  • 学習後に Port-Channel を Up させるため、トラフィックロスを少なくできる

Nexus 9000 シリーズ:LACP Suspend individual pxe について

vPC orphan port について

  • vPC に属さないポートは Orphan-Port (孤立ポート) になる

Nexus 9000 シリーズ : lacp vpc-convergence が設定された vPC がアップするタイミングでトラフィックがループする

CoPP (Control Plane Policing)

DDoS 攻撃などから防御するため、CPU を保護する Control Plane Policing という機能が実装されている。

ここではどのようなデフォルト動作となっているか、NX-OS 9000V のコンフィグを確認する。

なお、実機と NX-OS 9000V では設定が異なる模様。

CoPP のデフォルト プロファイル

NX-OS 10.4(6) では Strict がデフォルトで、一番厳しいプロファイルが適用されている。

switch(config)# show running-config copp

!Command: show running-config copp
!Running configuration last done at: Thu Mar 19 05:23:59 2026
!Time: Thu Mar 19 05:26:56 2026

version 10.4(6) Bios:version
copp profile strict

プロファイルの違い

Stirct , moderate , lenient , dense が存在する。

switch(config)# copp profile ?
  dense     The Dense   Profile
  lenient   The Lenient Profile
  moderate  The Moderate Profile
  strict    The Strict Profile

デフォルトのポリシング ポリシー

  • Strict:このポリシーは 1 レート、2 カラーです。
  • Moderate:このポリシーは 1 レート、2 カラーです。重要クラスのバースト サイズは strict ポリシーより大きく、lenient ポリシーより小さくなります。
  • Lenient:このポリシーは 1 レート、2 カラーです。重要クラスのバースト サイズは moderate ポリシーより大きく、dense ポリシーより小さくなります。
  • Dense:このポリシーは 1 レート、2 カラーです。ポリサーの CIR 値は、strict ポリシーよりも低くなります。

CoPP Strict プロファイル

Strict の場合、以下が設定されている。

show running-config では表示されないため、デフォルトコンフィグも表示可能な show running-config all で確認が可能。

別のプロファイルの場合、値が緩和される。

switch# show running-config all | section copp-system-p-policy-strict
policy-map type control-plane copp-system-p-policy-strict
  class copp-system-p-class-l3uc-data
    set cos 1
    police cir 250 pps bc 32 packets conform transmit violate drop
  class copp-system-p-class-critical
    set cos 7
    police cir 19000 pps bc 128 packets conform transmit violate drop
  class copp-system-p-class-important
    set cos 6
    police cir 3000 pps bc 256 packets conform transmit violate drop
  class copp-system-p-class-openflow
    set cos 5
    police cir 2000 pps bc 32 packets conform transmit violate drop
  class copp-system-p-class-multicast-router
    set cos 6
    police cir 3000 pps bc 128 packets conform transmit violate drop
  class copp-system-p-class-multicast-host
    set cos 1
    police cir 2000 pps bc 128 packets conform transmit violate drop
  class copp-system-p-class-l3mc-data
    set cos 1
    police cir 3000 pps bc 32 packets conform transmit violate drop
  class copp-system-p-class-normal
    set cos 1
    police cir 1500 pps bc 32 packets conform transmit violate drop
  class copp-system-p-class-ndp
    set cos 6
    police cir 1500 pps bc 32 packets conform transmit violate drop
  class copp-system-p-class-normal-dhcp
    set cos 1
    police cir 300 pps bc 32 packets conform transmit violate drop
  class copp-system-p-class-normal-dhcp-relay-response
    set cos 1
    police cir 400 pps bc 64 packets conform transmit violate drop
  class copp-system-p-class-normal-igmp
    set cos 3
    police cir 6000 pps bc 64 packets conform transmit violate drop
  class copp-system-p-class-redirect
    set cos 1
    police cir 1500 pps bc 32 packets conform transmit violate drop
  class copp-system-p-class-exception
    set cos 1
    police cir 50 pps bc 32 packets conform transmit violate drop
  class copp-system-p-class-exception-diag
    set cos 1
    police cir 50 pps bc 32 packets conform transmit violate drop
  class copp-system-p-class-management
    set cos 2
    police cir 3000 pps bc 512000 packets conform transmit violate drop
  class copp-system-p-class-monitoring
    set cos 1
    police cir 300 pps bc 128 packets conform transmit violate drop
  class copp-system-p-class-l2-unpoliced
    set cos 7
    police cir 20000 pps bc 8192 packets conform transmit violate drop
  class copp-system-p-class-undesirable
    set cos 0
    police cir 15 pps bc 32 packets conform transmit violate drop
  class copp-system-p-class-fcoe
    set cos 6
    police cir 1000 pps bc 32 packets conform transmit violate drop
  class copp-system-p-class-nat-flow
    set cos 7
    police cir 100 pps bc 64 packets conform transmit violate drop
  class copp-system-p-class-l3mcv6-data
    set cos 1
    police cir 3000 pps bc 32 packets conform transmit violate drop
  class copp-system-p-class-undesirablev6
    set cos 0
    police cir 15 pps bc 32 packets conform transmit violate drop
  class copp-system-p-class-l2-default
    set cos 0
    police cir 50 pps bc 32 packets conform transmit violate drop
  class class-default
    set cos 0
    police cir 50 pps bc 32 packets conform transmit violate drop

show コマンド

show copp status

リファレンス

コントロール プレーン ポリシングの設定

変更履歴

2024/09/04 : 初版

2026/03/17 : EVPN の項目を追加

2026/04/16 : vPC のリンクを追加

2026/05/20 : L3VNI の項目を追加

リファレンス

Cisco Nexus スイッチ (NX-OS) : 設定例

  • ここに大体の機能に関するリンクがある

ベストプラクティスを使用した Nexus 9000 vPC の概要と設定

NX-OS : ソフトウェアのリリースとバージョンサポートポリシーについて

Cisco NX-OS Software リリースに関して

Cisco Nexus 9000 シリーズ : VXLAN EVPN Anycast Gatewayと 既存 HSRP の共存

引用

  1. Cisco SFP-10G-T-X モジュールのサポート Cisco NX-OS リリース 9.3(5) 以降、10G BASE-T SFP+(RJ-45)は N9K-C93240YC-FX2、N9K-C93180YC-EX、N9K-C93180YC-FX、および N9K-C93360YC-FX2 デバイスでサポートされます。
  2. Cisco SFP-10G-T-X モジュールのサポート (注)  SFP-10G-TX デバイスをポートに接続する場合、このデバイスのすべての隣接ポートが空であるか、パッシブ銅線リンクのみに接続されている必要があります。
  3. メディア タイプの確認 (注)  SFP-10G-TX をサポートするポートは、デバイスによって異なります。この例では、Cisco Nexus N9K-C93240YC-FX2 スイッチの、SFP-10G-TX をサポートするポート番号を表示します。
  4. Configure the new L3VNI mode This could be either up to 4,000 Layer 2 VNIs with no Layer 3 VNIs, or a mix of Layer 2 and Layer 3 VNIs totaling up to 4,000, with Layer 3 VNIs limited to approximately 900.
  5. Cisco Nexus 9000 Series NX-OS VXLAN Configuration Guide, Release 10.5(x) Chapter: Configure VXLAN BGP EVPN Best practice for configuring new L3VNI mode - Configure interface vni only if PBR/NAT is required.
  6. Configure the new L3VNI mode Starting with Cisco NX-OS Release 10.2(3)F, an enhancement allows you to configure Layer 3 VNIs using the l3 keyword. This increases the supported number of Layer 3 VNIs from 900 to 2,000, while still supporting up to 4,000 Layer 2 VNIs.
  7. Best practice for configuring new L3VNI mode Beginning with Cisco NX-OS Release 10.2(3)F, the new L3VNI mode is supported on Cisco Nexus 9300-X Cloud Scale Switches. Beginning with Cisco NX-OS Release 10.6(2)F, the new L3VNI mode is supported on Cisco N9324C-SE1U and N9348Y2C6D-SE1U Smart switches.
  8. Cisco Nexus 9000v(9300v/9500v)ガイド、リリース 10.5(x) 機能 : L3VNI Nexus 9300v のサポート : 非対応
  9. vPC ファブリック ピアリングの注意事項と制約事項 vPC ファブリック ピアリングを使用する場合、このような vPC ペアに対して SVI を介したルーティングを作成することはできません。
  10. First Hop Gateway (FHG) の冗長化について VXLAN と FHRP の共存はサポートされておらず、代わりにこの用途では Anycast gateway と vPC を使うことを紹介
  11. Cisco Nexus 9000v(9300v/9500v)ガイド、リリース 10.5(x) ファブリック ピアリングが設定された vPC Nexus 9300v のサポート : はい