Catalyst 9000 トラブルシューティング
Catalyst 9200 , 9300
ポート LED が消灯しているときは、リンクアップしていない、または管理シャットダウンしていることを示しています。
ポート LED がアンバー (オレンジ) に点灯したときは、フレーム・パケットが転送できないことを示しています。
Layer 2 プロトコルで転送が停止されている
- Access ポートに設定した Vlan が作成されていない
- STP で BLK
- FlexLink で Backup
ポート LED がグリーンとアンバー (オレンジ) で点滅しているときは、エラーが発生していることを示しています。
- 入力時に FCS などのエラーを検出してドロップ
ポート LED がグリーンと消灯で点滅しているときは、フレーム・パケットを転送していることを示しています。
ポート LED リファレンス
Catalyst 9200 : Table 6. Meaning of Switch LED Colors in Different Modes
Catalyst 9300 : Table 12. Meaning of Switch LED Colors in Different Modes
Catalyst 9400 , 9500 , 9600
LED
ポート LED が消灯しているときは、有効化しているがリンクアップしていないことを示しています。
- Catalyst 9200 , 9300 とは異なり、管理シャットダウン時は消灯しません
ポート LED がアンバー (オレンジ) に点灯したときは、フレーム・パケットが転送できないことを示しています。
- 管理シャットダウンしている
- 9400 , 9500 , 9600 はディストリビューション層・コア層で使用され、不要なポートはシャットダウンするのが一般的であるため、管理シャットダウンが明示的にわかるようになっています
- Layer 2 プロトコルで転送が停止されている
- Access ポートに設定した Vlan が作成されていない
- STP で BLK
- FlexLink で Backup
ポート LED がグリーンとアンバー (オレンジ) で点滅しているときは、エラーが発生していることを示しています。
- 入力時に FCS などのエラーを検出してドロップ
ポート LED リファレンス
Catalyst 9500 : Table 4. Meaning of Switch LED Colors in Different Modes
Catalyst 9500 High Performance : Table 5. Meaning of Switch LED Colors for Port Status LED
1G ポートが使用できません
C9500X / C9600X などの Silicon One ASIC 搭載機は、1 , 2.5 , 5 Gbps のポートをサポートしません。 [1] [2]
コマンドリスト
作業日、全作業の事前・事後ログに取りたいコマンドのリスト。
作業中はコンフィグを変更する機能に絞って、変更前と変更後に取得して、Winmerge で比較し差分が妥当であるか確認します。
大区分 | 小区分 | コマンド | 備考 |
---|---|---|---|
ターミナル設定 | terminal exec prompt timestamp
terminal length 0 |
||
サポート | show tech-support password | ||
Common | System Management | show version
show running-config show log show ntp associations |
IOS-XE Version , ライセンス
動作中のコンフィグ メモリに保存された log NTP 同期 |
Layer1 | Hardware | show switch
show switch detail |
スイッチ優先度など |
Interface | show interfaces status
show interfaces counters show interfaces counters error show interfaces transceiver show controllers utilization show sdm prefer |
インターフェースの状態
カウンタ エラーカウンタ トランシーバの DOM 取得 ポートの使用率 SDM テンプレート | |
Layer2 | Common | show vlan
show mac address-table show mac address-table aging-time show interfaces trunk show udld show udld neighbors |
Vlan
MAC アドレステーブル ↑ エージングタイム トランクの状態 UDLD UDLD 対向側 |
Security | show storm-control | ストームコントロール | |
Redundancy Protocol | show etherchannel summary
show etherchannel load-balance show spanning-tree show rep topology |
イーサチャネル
負荷分散メソッド スパニングツリー REP トポロジ | |
Layer3 | Common | show ip arp
show ip interface show ip interface brief show ipv6 neighbors |
ARP エントリ
IP インターフェース ↑ 一覧 IPv6 ネイバー |
Security | show ip access-lists
show ipv6 access-list |
IPv4 アクセスリスト
IPv6 アクセスリスト | |
Addressing Services - FHRP | show standby brief
show vrrp brief |
HSRP 一覧
VRRP 一覧 | |
Routing | show ip route
show ip ospf neighbor show ip bgp summary show ip bgp neighbor x.x.x.x advertised-routes show ip bgp neighbor x.x.x.x received-routes show ipv6 route show ipv6 ospf neighbor show ipv6 dhcp interface show ipv6 interface show ipv6 interface brief show bgp all summary |
IPv4 ルート
OSPF ネイバー BGP ピア一覧 特定ピアの BGP 広報ルート 特定ピアの BGP 受信ルート IPv4 ルート IPv6 OSPF ネイバー IPv6 DHCP インターフェース IPv6 インターフェース ↑ 一覧 すべての BGP アドレスファミリの一覧 | |
Catalyst 9500 | StackWise Virtual | show stackwise-virtual
show stackwise-virtual link show stackwise-virtual dual-active-detection |
StackWise Virtual (SWV)
SVLink SWV DAD |
Catalyst 9000 | QoS | show policy-map interface
show platform hardware fed active qos ipf interface <interface-id> dscp-map show platform hardware fed [switch] [active] qos queue config interface <interface-id> show platform hardware fed [switch] [active] qos queue stats interface <interface-id> |
ポリシーマップ インタフェース
QoS の DSCP マップ QoS のポート設定 QoS のポート統計情報 |
EVPN | show l2vpn evpn peers vxlan
show nve peers show l2vpn evpn mac show bgp l2vpn evpn all show platform software fed switch active matm macTable vlan |
EVPN L2VPN のピア
NVE インタフェースのピア EVPN L2VPN の MAC アドレス BGP L2VPN アドレスファミリ TCAM の MAC アドレステーブル |
QoS
Q1 : IP Precedense 5 (ToS=5) のパケットを受信しても、output policy に指定した Priority Queue に入りません
UADP ASIC の 3650 / 3850 / 9000 では、DSCP ベースの出力キュー割当になった [3] ため、Priority Queue は Expedited Forwarding (EF) の DSCP=46 に割り当てられています。これは ToS=5 の DSCP=40 と異なるため、Priority Queue には入りません。
VoIP パケットを生成する機器が IP Precense ベースで実装されている場合、ToS を trust しても Priority Queue に入りません。対応方法としては、
- Input Marking の class で vlan や IP ACL で match させ、DSCP=46 に Remarking する
- Output Class-map で ToS=5 を match させ、policy-map の Output Queueing でそのクラスを Priority Queue にする
- ToS=5 を Priority Queue とした場合、StackWise Virtual の SVL わたりで Priority Queueing されない可能性が高いと思われます。
といった方法があります。QoS の NW 全体設計で、IP Precense or DSCP のどちらかに統一する方針を決めるのが良いでしょう。
ACL をメンテナンスしなくて良くなるため、状況が許せば Vlan で marking するのが楽です。
Sasquatch ASIC 系で旧世代の 2960 / 3560(-X) / 3750(-X) では、IP Precedense ベースの出力キュー割当のため、ToS=5 = DSCP=40 が Critical のクラスと定義 [4] されています。このため DSCP=40-47 が Priority Queue の Queue1 に入ります。
リプレースの際は Catalyst 9000 と動作が異なることを理解した上で、コンフィグを変更する必要があります。
show mls qos maps dscp-output-q
Dscp-outputq-threshold map:
d1 :d2 0 1 2 3 4 5 6 7 8 9
------------------------------------------------------------
0 : 02-01 02-01 02-01 02-01 02-01 02-01 02-01 02-01 02-01 02-01
1 : 02-01 02-01 02-01 02-01 02-01 02-01 03-01 03-01 03-01 03-01
2 : 03-01 03-01 03-01 03-01 03-01 03-01 03-01 03-01 03-01 03-01
3 : 03-01 03-01 04-01 04-01 04-01 04-01 04-01 04-01 04-01 04-01
4 : 01-01 01-01 01-01 01-01 01-01 01-01 01-01 01-01 04-01 04-01
5 : 04-01 04-01 04-01 04-01 04-01 04-01 04-01 04-01 04-01 04-01
6 : 04-01 04-01 04-01 04-01
d1 が 10 桁目、d2 が 1 桁目で、DSCP=40 なら d1 が 4 の行、d2 が 0 の列を確認し、
交点の 01-01 が、Queue 1 Threshold 1 を意味します。
パケットドロップ対策
パケットバッファの割当を増加
出力ドロップを解決するためのバッファの変更 により、共有プールのバッファ割当を 100 -> 1200 に増加させます。
高速なポートについては、大きなバッファが割り当てられるようになっています。
マイクロ バースト トラフィックに対して有効な対策ですが、すべてのポートに発生するバーストに対しては役立ちません。
- softmax が小さい : すべてのポートにバースト発生する状況で有効、ポートごとのバッファ割当は小さい
- softmax が大きい : 少数のポートに大きなバーストが発生する状況で有効、ポートごとのバッファ割当が大きい
Platform / Version により、1200 (UADP2.0) が最大値のものと 4800 (UADP3.0) が最大値のものがあります。
Catalyst 3850 の場合、CSCuz86625 の実装変更前後で挙動が異なります。
- 3.6.6 以前 : policy-map を適用したポートに softmax コマンドが有効になる
- 3.6.6 以降 : policy-map を適用していないポートにも softmax コマンドが有効になる
パケットドロップ対策のリファレンス
Cisco.com : Command Reference qos queue-softmax-multiplier
Cisco.com : Catalyst 3850: Troubleshooting Output drops
hkatou Lab : キュー バッファ
StackWise Virtual
単体記事に移動しました。
2023-08-30 Cisco StackWise Virtual まとめ
高 CPU 使用率
IOS-XE 16.xを実行するCatalystスイッチプラットフォームでCPU使用率が高い場合のトラブルシューティング
CoPP
DHCP リレーエージェントを設定したんだけど、なんか IP が取れたり取れなかったりするのは何故 ?
ICMP を CoPP で Drop しているからかも。
リンク : Catalyst 9000 DHCPリレーエージェントでのDHCPの低速または断続的な問題のトラブルシューティング
パケットキャプチャ
Catalyst 9000 では大きく分けて 3 種類のパケット キャプチャ方法が存在します。
SPAN / RSPAN
よくあるポートミラーリングです。ASIC でパケットをミラーリングする機能で、destination に PC を接続し、PC の Wireshark でキャプチャします。
Catalyst 9000 では ACL SPAN が実装されており、ACL でフィルタリングしたパケットのみキャプチャすることが可能です。
基本的にはスイッチで使用できるため、ルータではサポートされません。
- Unknown Unicast を Flood やブロードキャストするのと一緒で、パケットコピーする機能が ASIC に存在する
destination interface を指定したポートは、他のポートと通信できなくなるため、注意が必要。
configure terminal
monitor session 1 source interface Gi1/0/x both
monitor session 1 destination interface Gi1/0/y
endx
EPC (Embeded Packet Capture)
バッファに保存されたパケットをファイルに保存することが可能です。
おそらく ASIC のパケット バッファは対応不可で、CPU 処理されるパケットが対象になると思います。
ちょっとコマンドがややこしいのがたまにキズ。
外部リンク : ソフトウェアでの組み込みパケットの設定とキャプチャ 組み込みWiresharkを使用したCatalyst 3850シリーズスイッチの設定
FED (Forwarding Engine Driver) キャプチャ (=FED トレース)
CPU を in or out するパケットをキャプチャすることが可能です。
Catalyst 9000 スイッチでは共通して使用可能ですが、Nexus では使用できません。
外部リンク : Catalyst 9000スイッチでのFED CPUパケットキャプチャの設定
DHCP Snooping
リンク : Catalyst 9000スイッチでのDHCPスヌーピングの操作とトラブルシューティング
バージョンアップ
バージョンアップした後、しばらくほっておいたら勝手に再起動したんだけど ?
ISSU との関係で、バージョンアップ後は新バージョンを commit で確定する必要があります。
commit しない場合、7200 秒後に自動で旧バージョンで再起動されます。 [5]
- そもそも install コマンドの最後に commit をつけてバージョンアップする
- バージョンアップ後に show install summary で Uncommitted になっていないか確認する
を実施しましょう。
オプティクス
SFP-10G-T-X
ブレークアウト
- C9500-32C はブレークアウト非対応ポートがあります [8]
GLC-T 関係
10G ポートに GLC-T を挿した場合、1 Gbps で動作するため、10/100 Mbps では基本的に動作しません。
対応するか、リリースノートで確認する必要があります。
- 参考 : イーサネット トランシーバ TIPS
また、Silicon One ASIC (9500X , 9600X) の場合、10G 以降のみ対応します。1G 以前はリンクアップしません。
FAQ
Q1 : Catalyst 3850 / 9000 で QoS の統計情報を取得すると、カウンターの増え方が大きいのはなぜですか ?
A1 : バイト数をカウントするため、値が大きいからです。他のプラットフォームではパケット数のため、比較すると大きい値がカウントされます。
MTU 1500 の場合 1 フレームは最大 1522 バイトとなるため、フレーム数カウントと比較して 64 - 1500 倍の比率で大きくなります。
他のプラットフォームと動作を合わせたい場合など、IOS-XE 16.6.3- 以降では CSCve59640 の変更により、qos queue-stats-frame-count コマンドでフレーム単位のカウンターに変更できます。 [9]
Q2 : ip default-gateway と ip route 0.0.0.0 はどちらを使うのが正しいですか ?
A2 : L2SW は ip default-gateway でデフォルトゲートウェイ、L3SW は ip route 0.0.0.0 でデフォルトルートを使用するのが正しいです。
ただし L2SW で Gi0/0 の管理ポートを使用する場合は vrf Mgmt-vrf を使用するため、
ip routing で L3SW に変更し、ip route 0.0.0.0 を使用する必要があります。
- vrf は ip routing を有効にして L3SW にしないと動作しないため
その他リファレンス
英語版 : Understand Hardware Resources on Catalyst 9000 Switches
日本語版 : Catalyst 9000スイッチのハードウェアリソースについて
- Catalyst9000 で FIB の限界を超えたときに、確認するべきコマンドやエラーメッセージが記載されたページ
英語版 : Understand IPv4 Hardware Resources on Catalyst 9000 Switches
日本語版 : Catalyst 9000スイッチのIPv4ハードウェアリソースについて
- IPv4 で消費量の増減を確認する方法
- 上記ハードウェア リソース確認の詳細版
英語版 : Validate Layer 2 Hardware on Catalyst 9000 Series Switches
日本語版 : Catalyst 9000シリーズスイッチでのレイヤ2ハードウェアの検証
- Layer2 TCAM エントリの確認方法
英語版 : Understand QoS Hardware Resources on Catalyst 9000 Switches
日本語版 : Catalyst 9000スイッチのQoSハードウェアリソースについて
英語版 : Implement SSDP Best Practices on Catalyst 9000 Series Switches
日本語版 : Catalyst 9000シリーズスイッチでのSSDPベストプラクティスの実装
- SSDP マルチキャストによる NW 機器への影響と対策について
英語版 : Troubleshoot Output Drops on Catalyst 9000 Switches
日本語版 : Catalyst 9000スイッチでの出力廃棄のトラブルシューティング
- QoS のキューごとに入ったバイト数 or フレーム数や、ドロップ数を確認する方法など
英語版 : Verify and Troubleshoot Stackwise on Catalyst 9200/9300
日本語版 : Catalyst 9200/9300でのStackwiseの確認とトラブルシューティング
英語版 : Replace a Supervisor Module or Stack Member of Catalyst 9000 in HA
日本語版 : HAでのCatalyst 9000のスーパーバイザモジュールまたはスタックメンバーの交換
日本語版 : Catalyst 3650 / Catalyst 3850 / Catalyst 9000 :「qos queue-stats-frame-count」コマンドについて
英語版 : Upgrade Guide for Catalyst 9000 Switches
日本語版 : Catalyst 9000スイッチアップグレードガイド
英語版 : Understand Extended Fast Software Upgrade on Catalyst 9300 Series Switches
日本語版 : Catalyst 9300シリーズスイッチでのExtended Fast Software Upgradeについて
英語版 : Troubleshoot MTU on Catalyst 9000 Series Switches
日本語版 : Catalyst 9000 シリーズ スイッチでの MTU のトラブルシューティング
英語版 : System Message Guide for Cisco IOS XE Dublin 17.11.x
日本語版 : Cisco IOS XE Dublin 17.11.x システムメッセージガイド
引用
- ↑ Cisco Optics-to-Device Compatibility Matrix
- ↑ Cisco Catalyst 9600 Series Line Card Installation Note With C9600-SUP-1, ・Provides 48 10G, 5G, 2.5G, 1G, 100 Mbps and 10 Mbps interfaces by default. These ports can be interchangeably used as 10G, 5G, 2.5G, 1G, 100 Mbps and 10 Mbps ports. ・All the 48 ports support 10G, 5G, 2.5G, 1G, 100 Mbps and 10 Mbps speeds. With C9600X-SUP-2, provides 48 ports of 10G speed.
- ↑ 2P6Q3T with WTD or WRED: Wired Port Egress Queuing Model P.65
- ↑ Table 39-11 Default DSCP Output Queue Threshold Map
- ↑
[https://www.cisco.com/c/en/us/td/docs/switches/lan/catalyst9300/software/release/17-6/configuration_guide/sys_mgmt/b_176_sys_mgmt_9300_cg/performing_device_setup_configuration.html *Oct 30 20:15:56.572: %IOSXE-5-PLATFORM: Switch 1 R0/0: Oct 30 20:15:56 rollback_timer.sh: %INSTALL-5-INSTALL_AUTO_ABORT_TIMER_PROGRESS: Install auto abort timer will expire in 7200 seconds Install will reload the system now!]
- ↑ Limitations and Restrictions Installation restriction for SFP-10G-T-X module on C9500-24Y4C and C9500-48Y4C— Only eight SFP-10G-T-X modules are supported at a time.
- ↑ Limitations and Restrictions SFP-10G-T-X supports 100Mbps/1G/10G speeds based on auto negotiation with the peer device. You cannot force speed settings from the transceiver.
- ↑ Port Mapping for Cisco Catalyst 9500 Series High Performance Switches Breakout is supported only on 24 ports of the C9500-32C switch model.
- ↑ Catalyst 3650 / Catalyst 3850 / Catalyst 9000 :「qos queue-stats-frame-count」コマンドについて https://community.cisco.com/t5/%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF%E3%82%A4%E3%83%B3%E3%83%95%E3%83%A9%E3%82%B9%E3%83%88%E3%83%A9%E3%82%AF%E3%83%81%E3%83%A3-%E3%83%89%E3%82%AD%E3%83%A5%E3%83%A1%E3%83%B3%E3%83%88/catalyst-3650-catalyst-3850-catalyst-9000-qos-queue-stats-frame/ta-p/4270480