Catalyst 9000 トラブルシューティング

Catalyst 9200 , 9300

ポート LED が消灯しているときは、リンクアップしていない、または管理シャットダウンしていることを示しています。

ポート LED がアンバー (オレンジ) に点灯したときは、フレーム・パケットが転送できないことを示しています。

Layer 2 プロトコルで転送が停止されている

Access ポートに設定した Vlan が作成されていない
STP で BLK
FlexLink で Backup

ポート LED がグリーンとアンバー (オレンジ) で点滅しているときは、エラーが発生していることを示しています。

入力時に FCS などのエラーを検出してドロップ

ポート LED がグリーンと消灯で点滅しているときは、フレーム・パケットを転送していることを示しています。

ポート LED リファレンス

Catalyst 9200 : Table 6. Meaning of Switch LED Colors in Different Modes

Catalyst 9300 : Table 12. Meaning of Switch LED Colors in Different Modes

Catalyst 9400 , 9500 , 9600

LED

ポート LED が消灯しているときは、有効化しているがリンクアップしていないことを示しています。

Catalyst 9200 , 9300 とは異なり、管理シャットダウン時は消灯しません

ポート LED がアンバー (オレンジ) に点灯したときは、フレーム・パケットが転送できないことを示しています。

管理シャットダウンしている
- 9400 , 9500 , 9600 はディストリビューション層・コア層で使用され、不要なポートはシャットダウンするのが一般的であるため、管理シャットダウンが明示的にわかるようになっています
Layer 2 プロトコルで転送が停止されている
- Access ポートに設定した Vlan が作成されていない
- STP で BLK
- FlexLink で Backup

ポート LED がグリーンとアンバー (オレンジ) で点滅しているときは、エラーが発生していることを示しています。

入力時に FCS などのエラーを検出してドロップ

ポート LED リファレンス

Catalyst 9400 : Table 3. Cisco Catalyst 9400 Series Line Card LEDs

Catalyst 9500 : Table 5. Meaning of Switch LED Colors in Different Modes

Catalyst 9500 High Performance : Table 5. Meaning of Switch LED Colors for Port Status LED

Catalyst 9600 : Table 4. Line Card LEDs

1G ポートが使用できません

C9500X / C9600X などの Silicon One ASIC 搭載機は、1 , 2.5 , 5 Gbps のポートをサポートしません。 ^[1] ^[2]

コマンドリスト

作業日、全作業の事前・事後ログに取りたいコマンドのリスト。

作業中はコンフィグを変更する機能に絞って、変更前と変更後に取得して、Winmerge で比較し差分が妥当であるか確認します。

Catalyst 9000 シリーズ事前・事後ログリスト
大区分	小区分	コマンド	備考
ターミナル設定		terminal exec prompt timestamp terminal length 0
サポート		show tech-support password
Common	System Management	show version show running-config show log show ntp associations	IOS-XE Version , ライセンス動作中のコンフィグメモリに保存された log NTP 同期
Layer1	Hardware	show switch show switch detail show logging onboard switch 1 uptime detail	スイッチ優先度など
Layer1	Interface	show interface show interfaces status show interfaces counters show interfaces counters error show interfaces transceiver show controllers utilization show sdm prefer	インターフェース状態カウンタエラーカウンタトランシーバの DOM 取得ポートの使用率 SDM テンプレート
Layer2	Common	show vlan show mac address-table show mac address-table aging-time show mac address-table count show interfaces trunk show udld show udld neighbors	Vlan MAC アドレステーブル ↑ エージングタイム ↑ カウント数トランクの状態 UDLD UDLD 対向側
	Security	show storm-control	ストームコントロール
	Redundancy Protocol	show etherchannel summary show etherchannel load-balance show spanning-tree show rep topology	イーサチャネル負荷分散メソッドスパニングツリー REP トポロジ
Layer3	Common	show ip arp show ip interface brief show ipv6 neighbors	ARP エントリ IP インターフェース一覧 IPv6 ネイバー
	Security	show ip access-lists show ipv6 access-list	IPv4 アクセスリスト IPv6 アクセスリスト
	Addressing Services - FHRP	show standby brief show vrrp brief	HSRP 一覧 VRRP 一覧
	Routing	show ip route show ip ospf neighbor show ip bgp summary show ip bgp neighbor x.x.x.x advertised-routes show ip bgp neighbor x.x.x.x received-routes show ipv6 route show ipv6 ospf neighbor show ipv6 interface brief show bgp all summary	IPv4 ルート OSPF ネイバー BGP IPv4 ピア一覧特定ピアの BGP 広報ルート特定ピアの BGP 受信ルート IPv4 ルート IPv6 OSPF ネイバー IPv6 インターフェース一覧すべての BGP アドレスファミリの一覧
Catalyst 9500	StackWise Virtual	show stackwise-virtual show stackwise-virtual link show stackwise-virtual dual-active-detection	StackWise Virtual (SWV) SVLink SWV DAD
Catalyst 9000	TCAM	show platform hardware fed [switch]<number\|active\|standby> fwd-asic resource tcam utilization show platform hardware fed switch active fwd-asic resource rewrite utilization show platform software fed switch active acl counters hardware	TCAM 容量確認 Version によって fed のあとに switch キーワードがあったりなかったりする
	QoS	show policy-map interface show platform hardware fed switch active qos dscp-cos counters interface <interface-id> show platform hardware fed [switch] [active] qos queue config interface <interface-id> show platform hardware fed [switch] [active] qos queue stats interface <interface-id>	ポリシーマップインタフェース QoS の DSCP-CoS マップのカウンタ QoS のポート設定 QoS のポート統計情報カウンタのクリアは 2024-03-13_Catalyst3850_9000_スイッチ_QoS_設定・検証を参照してください
	EVPN	show l2vpn evpn peers vxlan show nve peers show l2vpn evpn mac show bgp l2vpn evpn all show platform software fed switch active matm macTable vlan	EVPN L2VPN のピア NVE インタフェースのピア EVPN L2VPN の MAC アドレス BGP L2VPN アドレスファミリ TCAM の MAC アドレステーブル

QoS

Q1 : IP Precedense 5 (ToS=5) のパケットを受信しても、output policy に指定した Priority Queue に入りません

UADP ASIC の 3650 / 3850 / 9000 では、DSCP ベースの出力キュー割当になった ^[3] ため、Priority Queue は Expedited Forwarding (EF) の DSCP=46 に割り当てられています。これは ToS=5 の DSCP=40 と異なるため、Priority Queue には入りません。

VoIP パケットを生成する機器が IP Precense ベースで実装されている場合、ToS を trust しても Priority Queue に入りません。対応方法としては、

Input Marking の class で vlan や IP ACL で match させ、DSCP=46 に Remarking する
Output Class-map で ToS=5 を match させ、policy-map の Output Queueing でそのクラスを Priority Queue にする
- ToS=5 を Priority Queue とした場合、StackWise Virtual の SVL わたりで Priority Queueing されない可能性が高いと思われます。

といった方法があります。QoS の NW 全体設計で、IP Precense or DSCP のどちらかに統一する方針を決めるのが良いでしょう。

ACL をメンテナンスしなくて良くなるため、状況が許せば Vlan で marking するのが楽です。

Sasquatch ASIC 系で旧世代の 2960 / 3560(-X) / 3750(-X) では、IP Precedense ベースの出力キュー割当のため、ToS=5 = DSCP=40 が Critical のクラスと定義 ^[4] されています。このため DSCP=40-47 が Priority Queue の Queue1 に入ります。

リプレースの際は Catalyst 9000 と動作が異なることを理解した上で、コンフィグを変更する必要があります。

show mls qos maps dscp-output-q

   Dscp-outputq-threshold map:
     d1 :d2    0     1     2     3     4     5     6     7     8     9
     ------------------------------------------------------------
      0 :    02-01 02-01 02-01 02-01 02-01 02-01 02-01 02-01 02-01 02-01
      1 :    02-01 02-01 02-01 02-01 02-01 02-01 03-01 03-01 03-01 03-01
      2 :    03-01 03-01 03-01 03-01 03-01 03-01 03-01 03-01 03-01 03-01
      3 :    03-01 03-01 04-01 04-01 04-01 04-01 04-01 04-01 04-01 04-01
      4 :    01-01 01-01 01-01 01-01 01-01 01-01 01-01 01-01 04-01 04-01
      5 :    04-01 04-01 04-01 04-01 04-01 04-01 04-01 04-01 04-01 04-01
      6 :    04-01 04-01 04-01 04-01

d1 が 10 桁目、d2 が 1 桁目で、DSCP=40 なら d1 が 4 の行、d2 が 0 の列を確認し、

交点の 01-01 が、Queue 1 Threshold 1 を意味します。

パケットドロップ対策

パケットバッファの割当を増加

出力ドロップを解決するためのバッファの変更により、共有プールのバッファ割当を 100 -> 1200 に増加させます。

高速なポートについては、大きなバッファが割り当てられるようになっています。

マイクロバーストトラフィックに対して有効な対策ですが、すべてのポートに発生するバーストに対しては役立ちません。

softmax が小さい : すべてのポートにバースト発生する状況で有効、ポートごとのバッファ割当は小さい
softmax が大きい : 少数のポートに大きなバーストが発生する状況で有効、ポートごとのバッファ割当が大きい

Platform / Version により、1200 (UADP2.0) が最大値のものと 4800 (UADP3.0) が最大値のものがあります。

Catalyst 3850 の場合、CSCuz86625 の実装変更前後で挙動が異なります。

3.6.6 以前 : policy-map を適用したポートに softmax コマンドが有効になる
3.6.6 以降 : policy-map を適用していないポートにも softmax コマンドが有効になる

Catalyst 9000 は 3850 後継機のため、後者の挙動になると考えられます。

パケットドロップ対策のリファレンス

Cisco.com : Command Reference qos queue-softmax-multiplier

Cisco.com : Catalyst 3850: Troubleshooting Output drops

Catalyst 9000スイッチの高速インターフェイスでの出力廃棄について

マルチギガビットイーサネットポートに接続されたデバイスでのFCSエラー、入力エラー、またはパケット損失の理解

hkatou Lab : キューバッファ

StackWise-160 , 320 , 480 , 1T

新しいスイッチを導入してスタックケーブルを接続したら、既設で動作中のスイッチが再起動されました何故ですか ?

スタックのマージは、以下の条件に該当するスイッチが再起動されます。

スイッチ優先度の低いスイッチ
高い MAC アドレスのを持つスイッチ

この質問の例では以下の条件に当てはまったと考えられます。

既設のほうがスイッチ優先度が低い
スイッチ優先度は同じだが、新しいスイッチが高い MAC アドレスを持っていた

Active が複数台ある場合、電源 On の状態でスタックケーブルをつなぐのは、非推奨です。

電源 Off 状態でスタックケーブルを接続、電源 On するのが推奨です。

起動時にスタックケーブル経由で Active スイッチを探し (SDP : Stack Discovery Protocol) て、Standby や Member で起動します。

リファレンス

スタックの問題によるCatalyst 9200/9300のリロードのトラブルシューティング

スイッチスタックの設定のシナリオ

Cisco Catalyst 9300 StackWise システムアーキテクチャホワイトペーパー

スタックの運用がおすすめ

Catalyst 9200/9300 での StackWise の検証とトラブルシューティング

StackWise Virtual

単体記事に移動しました。

2023-08-30 Cisco StackWise Virtual まとめ

高 CPU 使用率

IOS-XE 16.xを実行するCatalystスイッチプラットフォームでCPU使用率が高い場合のトラブルシューティング

CoPP

DHCP リレーエージェントを設定したんだけど、なんか IP が取れたり取れなかったりするのは何故 ?

ICMP を CoPP で Drop しているからかも。

リンク : Catalyst 9000 DHCPリレーエージェントでのDHCPの低速または断続的な問題のトラブルシューティング

パケットキャプチャ

Catalyst 9000 では大きく分けて 3 種類のパケットキャプチャ方法が存在します。

SPAN / RSPAN

スイッチによくあるポートミラーリングです。ASIC でパケットをミラーリングする機能で、destination ポートに PC を接続し、PC の Wireshark でキャプチャします。

Catalyst 9000 では ACL SPAN が実装されており、ACL でフィルタリングしたパケットのみキャプチャすることが可能です。PC は通常 1G のため、10G 以上は 1G の PC でキャプチャしきれないため、ACL でフィルタしてキャプチャします。

フィルタリングで重要なパケットを取得対象から外してしまう可能性があります

深刻なトラブルの場合は、専用機ですべてキャプチャさせます。

基本的にはスイッチで使用できる機能のため、ルータではサポートされません。

Unknown Unicast を Flood やブロードキャストするのと一緒で、パケットを別ポートにコピーする機能が ASIC に存在する
ルータは通常 ASIC を搭載せず、あってもスイッチとは異なる実装を持つ

destination interface を指定したポートは、他のポートと通信できなくなるため、注意が必要。

configure terminal
monitor session 1 source interface Gi1/0/x both
monitor session 1 destination interface Gi1/0/y
end

EPC (Embeded Packet Capture)

バッファに保存されたパケットをファイルに保存することが可能です。IOS / IOS-XE に実装。

おそらく ASIC のパケットバッファは対応不可で、CPU 処理されるパケットが対象になると思います。

ちょっとコマンドがややこしいのがたまにキズ。

外部リンク : ソフトウェアでの組み込みパケットの設定とキャプチャ組み込みWiresharkを使用したCatalyst 3850シリーズスイッチの設定

FED (Forwarding Engine Driver) キャプチャ (=FED トレース)

CPU を in or out するパケットをキャプチャすることが可能です。

Catalyst 9000 スイッチでは共通して使用可能ですが、IOS-XR や Nexus NX-OS では使用できません。

外部リンク : Catalyst 9000スイッチでのFED CPUパケットキャプチャの設定

DHCP Snooping

リンク : Catalyst 9000スイッチでのDHCPスヌーピングの操作とトラブルシューティング

MTU / MSS

TCP MSS 調整の設定

16.8.1a から TCP MSS が調整可能になりました
例) MTU 1500 なら tcp adjust-mss を 1460 に設定する
- 計算式) MTU 1500 - IP ヘッダ 20 バイト - TCP ヘッダ 20 バイト = MSS 1460

バージョンアップ

バージョンアップした後、しばらくほっておいたら勝手に再起動したんだけど ?

ISSU との関係で、バージョンアップ後は新バージョンを commit で確定する必要があります。

commit しない場合、7200 秒後に自動で旧バージョンで再起動されます。 ^[5]

そもそも install コマンドの最後に commit をつけて確定バージョンアップする
バージョンアップ後に show install summary で Uncommitted になっていないか確認する

を実施しましょう。

オプティクス

SFP-10G-T-X

シャーシごとに 8 ポートまで使用可能 ^[6]
オートネゴシエーションのみサポート、固定速度はサポートされません ^[7]
C9300 はアップリンクモジュールを含め、2024/04 現在サポートされていません
- 最新情報は Cisco Optics-to-Device Compatibility Matrix を参照してください