ネットワーク エンジニア向け ブックマーク
Web アプリ系
サブネットマスク計算（IPv4)
- プレフィックス長とサブネットマスクの変換に。
IPv6 Supernet Calculator
- IPv6 サブネットを複数入力すると、集約ルートを表示してくれる。
website regex
Regular Expressions 101
- Web インターフェースで、正規表現が通るかどうか確認できます。
- 数字表記と IP アドレス表記のエリア番号を変換できます。
- Bandwidth から pps を計算できるサイト
SharePointでのガントチャート作成を画像付きでわかりやすく解説
Windows ローカルツール系
エディタ
- 筆者はなんとなく MKEditor を使い続けています
- 他の人を見ると、sakura editor が多い気が
cfgrep はインデントの親子構造(階層構造)を理解して、 grepを行います。
コンフィグ比較
検索 (grep) 系
- 複数置換が楽
- ログを保存したローカルフォルダの、テキストの内容を検索
Cisco-like な config のインデント構造に対応した grep コマンドの作成
ルート比較
ターミナル エミュレータ
- Tera Term のススメ : マクロの作成方法
- マルチウィンドウならこちらが便利かも
Windows 拡張機能
- FancyZones で画面を分割・スナップして大画面を効率的に使用できます
Wi-Fi アナライザ
サーバ系
FFFTP
- ローカル PC の VM として CentOS を立てて
- Syslog サーバ・SNMP マネージャに
- RANCID でコンフィグ管理 したり
トラフィック ジェネレータ
iperf
SNMP
- Windows のコマンドプロンプトでも、SNMP walk が可能
- 機能試験で SNMP を動作確認するときに便利
snmpwalk -v:2c -c:public -r:10.0.0.1 > YYMMDD_<hostname>_snmpwalk.txt
- ファイル名を一括して置換したいときに
ファイル転送
パケット キャプチャ
Wireshark
- 説明不要
英語キーボード
解説系
インフラ全体
Network OS
- 言わずとしれた、超有名サイト。
- hkatou Lab のメイン BGP / VPN ルータとして、採用するのに大変お世話になりました。
- 機能はなかなか豊富ですが、不具合が多い。Cisco / Juniper クラスだと思ってはいけない。
ML / バグレポート
- 伽藍とバザールの著者、Eric Raymond が書いたドキュメント。
- バグレポートの How To.
テクニカル ライティング
Google社のテクニカルライティングの基礎教育資料がとても良かったので紹介したい
Google - Technical Writing Courses
レビュー
構成図
Draw.io
- Visio クローンとしては、最高レベルに使いやすい。
- Web アプリとしてネットワーク構成図を作成可能で、Google Drive などに保存できる。
- インストール版アプリ・Chrome拡張機能版もあり。
- 保存するファイル フォーマットは専用の拡張子ですが、html で出力するとブラウザで閲覧可能。
- html は Visio Viewer と違ってベクター表示なので、拡大しても線や文字が荒くなりません。
- 保存は .svg が良さそう。
NetBrain
- 商用の自動構成図作成ソフト。US のメガキャリアなどで採用。
- MAC アドレス テーブルなどから、論理構成図を自動で作成。
- マルチベンダー対応で、path trace が可能。
- 構成図を作ったら、メールで URL を送って共有できる。
- 国内では NTT-AT さんで扱いがある。
PlantUML
- テキストのコードから、構成図を生成できるソフト。シンプルな概要図の作成に向く。
- 構成図は変更があったときに差分を見つけるのが非常にめんどいため、コード差分で確認できるのが便利
- Draw.io の SVG でもコードとして確認は可能
- フォントを簡易に統一できる
- 構成図は変更があったときに差分を見つけるのが非常にめんどいため、コード差分で確認できるのが便利
- AWS 界隈で割りと使われている模様。
Network Sketcher
PowerPoint で簡易に作った構成図から、L1/L2/L3 構成図と機器管理表を生成してくれるソフト。
参考 : Cisco「Network Sketcher」、エクセルとパワポでネットワーク構成情報を半自動で管理できるアプリを試してみた
ターミナルソフト
- 言わずとしれたターミナル エミュレータ
- タブで切り替えできるやつ
- tmux みたいに画面を分割してログインできる
- パスワードを記憶してくれる
- フリーだと 10 台まで
ネットワーク シミュレーション / エミュレーション
昔は GNS3 がよく使われてましたが、最近はどうなんでしょ。筆者は EVE-NG 推しです。
EVE-NG
- hkatou Lab 推奨のソフトウェア。
- 公式サイトに NOS の登録方法が載っていて、追加が楽です。
- HTML5 でブラウザからトポロジ作って検証できます。
- ノードをクリックすると、telnet ログインできます。
- Windows の場合は pack のインストールと、putty -> Teraterm の場合は要レジストリ書き換え。
- Integration Pack を PC にインストールすると、NOS をクリックして特定のポートを Wireshark でキャプチャできます。神か。
- ノート PC に VM として入れて簡易検証したり、サーバの ESXi に VM として入れて、重たい NOS を検証したり。
- 最近は EVE-NG ベアメタルにしてます。
- 実機接続も可能。
- 実機 FW が入荷するまで仮想版 FW + 隣接機器も仮想で模擬して検証、入荷したら仮想版 FW を実機に置き換えて検証とか。
- 有償版の Professional Version は、以下のようなメリットがあります。
- リンクステータスが伝搬するらしい。
- コンテナ対応。
Cisco Modeling Labs (CML)
- Cisco 純正ネットワーク シミュレータ / エミュレータ。
- 個人向けなら年に 2 万円くらい。
- NX-OS / IOS-XR9000V / Cat9000V なんかは重たいので、メモリがかなり必要。
- 他メーカーの NOS も動作させられるが、Juniper vMX 19.x のように複数 HDD を使用する VM はそのままだと登録できない。
- CML2.5 で Cat9000V が Beta で使用可能になった。
- メモリが18GB も必要。アホか。。。
Juniper Wistar
- ちょっと触ってみたけど、とりあえず起動はしました。。
ContainerLab
- コンテナで NW を組んで検証
- VM な Network OS をコンテナに変換するツールも存在する
- EVE-NG よりもリソース消費が軽いか、検証予定
- コンテナベースの NOS で検証するのが基本だが、VM ベースの NOS をコンテナに変換して扱うことも可能とのこと
- ただしリソースは VM 版と同様に食うため、台数が多い検証はハードウェア負荷がかかる
Containerlabを使用した商用環境と同等な検証環境の作成とユースケースについて
【Blog Week】containerlabを使ってみた
セキュリティ
- メールアドレスを登録すると、脆弱性情報を注意喚起してくれる
- セキュリティ アドバイザリをメールなどで通知してくれるサービス
- ルータや IoT 機器のセキュリティを向上させることを目的にした、NICT のプロジェクト
オープンソース Network OS (NOS)
VyOS
- Brocade に買収される前、オープンソース時代の Vyatta からフォークされたディストリビューション。
- 当ラボでも 4 物理ルータ + 4 VM を動かしてます。
- Debian ベースなので、Tailscale がインストールできるのが良いです。
- Rolling Release ならフリーで DL して使用可能ですが、細かい不具合がそれなりにあります。
DANOS
- AT&T で使用されている、Vyatta のサブセット。
- こちらの Vyatta は Brocade から AT&T が買収したもの。
- DPDK やホワイトボックス スイッチにも対応してるのがやばみ。
- DPDK : 10G FTTH 回線を CLI で管理できそう
- ホワイトボックス スイッチ : EoL になったあとに、中古で入手して安価なスイッチとして使えそう
- 一方で対応 NIC が無いと動作しないという欠点もあり。
- この場合は ESXi か Proxmox の VM として動作させるのが良い
- 2021 年くらいに、プロジェクトとしてはおなくなりになった模様。
SONiC
- Microsoft が開発し、Linux Foundation に移管されたプロジェクト
- ホワイトボックス用 NOS のデファクト スタンダートになりつつある模様
- EVE-NG / GNS3 で試すには、以下のイメージが使える
DriveNets DNOS
ARRCUS ArcOS
- ISP の MEC (Mobile Edge Compute) 用途でプレゼンスのある NOS
- 日本だとソフトバンクがSRv6 MUP の検証に採用 [1]
- Edgecore や Quanta , UniSpace などのハードウェアに対応 [2]
- 2023/08/23 に Arrcus Connected Edge (ACE) を伊藤忠テクノソリューションズが取り扱いを開始
参考リンク
断時間測定
Exping
- ド定番の ping 確認ツール。
- MPLS / EVPN など断時間が短いプロトコルでも一応いける。
pexpo
- MAC / Windows / Linux で実行できる、ping ツール。
- リアルタイムに疎通不可が確認できて良さげ。
- Windows 版は拡張子がついていないため、.exe をつけると使用できる。
IXIA (not ping)
- 1000pps でトラフィックを印加し、1000 パケットのロスで 1 秒断と計測可能。
参考
検証自動化
Infrataster
- cookpad の中の人が開発している。
pyATS
- Cisco のテスト部門で使っている、テストツール。
- Robot Framework によって HTML で結果が出力されるのがすばらしい。
- pyATS|Genieの隠れ必殺技Blitzを用いて高速自動化テスト作成
Needlework
- ファイアウォール検証自動化アプライアンス。
- 100 万のポリシーを数分で試験可能。
トラフィック ジェネレータ
Cisco Trex
- Cisco 純正のトラフィック ジェネレータ。
- Line の中の人も使ってたみたい。
- ステートレス モードで 10 / 40 / 100G ワイヤレートを印加できる。
- ESXi をインストールして、VT-d で PCI passthrough して、CentOS 7 で tar を展開すれば OK.
- Cisco Trex インストール ガイド (英語)
- ステートフル モードで、NAT トラフィックを印加したり、BIRD で 100 万ルートを印加したり。
- こっちはロースペック モードがある。
pktgen
- Linux カーネルに入っている。
- Intel DPDK に対応する。
- 今は Trex のほうが・・・
- CentOS にインストールする方法
iperf
- PC のコマンド プロンプトから、お手軽にトラフィックを生成できる。
- 1G までなら、十分実用的。ワイヤレートは期待できない。
- サーバとクライアントが必要。
- Java 版の jperf では GUI で使える。
Juniper WARP17
Ixia-c
- コンテナで動作する IXIA で、無償のコミュニティ版あり
- まだ触ってませんが、商用版だと DPDK でワイヤレートもイケる模様
Ixia-c & Elastic Network Generator
RFC2544 - Benchmarking Methodology for Network Interconnect Devices
- ネットワーク機器のパフォーマンス測定のために、考慮するべきことを記載した、いにしえの RFC.
- 未だに参考になる辺り、よく考えられています。
LAN Ethernet Maximum Rates, Generation, Capturing & Monitoring
- ワイヤレート計測時の、ヘッダ オーバーヘッドを計算するときに有用なサイト。
管理系 (OSS)
NetBox
RANCID
- かなり昔から存在する、ネットワーク機器のコンフィグをトラッキングするソフトウェア。
- 1 時間ごとにコンフィグを取得し、差分があれば CVS / SVN / GIT リポジトリに保存。
- gitweb で表示するのがおすすめ。
- 2022/09 構築手順を書きました。
Zabbix
- 最近よく使われている監視ツール
- 色々な機器のテンプレートを公式サイトから DL して、対応機種を増やせる。
Grafana
- Zabbix と連携して GUI のダッシュボードを楽に作成できる。 (工数がかからないとは言っていない)
Observium
Prometheus
JPNIC
イベント・講演会資料
- Internet Week の yahoo の IP Clos の資料が良かったです。
ネットワーク・インフラ系イベント
国内
NOG 系
JANOG : Janan Network Operators Group
ChuNOG : Chubu Network Operators Group
ENOG : Echigo Network Operators Group
NaniwaNOG : Naniwa Network Operators Group
QUNOG : Qushu Network Operators Group
wakamonog : wakamono Network Operators Group
セミナー・勉強会
展示会
技術書
海外
5G
- 3GPP全体アーキテクチャ図 コンポーネントが多すぎ !!!
Cisco.com プリセールス
- 2022 年時点における、パートナーアカウント権限付与の資料
パートナー様向け資料一覧
Catalyst 9000
Catalyst 9000 を設定するなら必ず読んでおけ、と言われるほどの資料
- Cisco Catalyst 9000 シリーズ スイッチ実践ガイド（基本機能編）2020/01 版
- Cisco Catalyst 9000 シリーズ スイッチ実践ガイド（基本機能編）2021/07 版
- IOS-XE 17.3 , 新製品について追加
Catalyst 8000
Cisco Catalyst 8300 and 8200 Series Edge Platforms Architecture White Paper
- Catalyst 8200 , 8300 は DPDK + QAT で動いてるのがわかる資料
Smart License
Cisco Catalyst 9000 シリーズ スイッチ 実践ガイド 別冊（SLUP 編）
実践！ Cisco Smart License（スマートライセンス）第5回
ネットワーク製品カタログ一覧
- ネットワーク製品カタログ
- Cisco Catalyst 8000エッジプラットフォーム カタログ
- Cisco IOS XR ルータ カタログ
- Cisco Catalyst スイッチ & ワイヤレス 標準カタログ単ページ
- Cisco Catalyst スイッチ & ワイヤレス 標準カタログ見開き
Partner Solution Update (PSU)
Japan Partner Community
サービスプロバイダー
エンタープライズ ネットワーク
- CTU/CTU Plus
Cisco Nexus スイッチ (NX-OS) : 設定例
- かなりまとまった資料 コンフィギュレーションガイドが詳しすぎて読むのがきついときに
プリセールス時の質問先
Japan Partner Online Support（JPOS）プリセールスヘルプの利用
- PHJ の問い合わせ可能範囲と、別問い合わせ先の情報がまとまっています
- 例) 事前検証での問い合わせ : TAC
- ルータやスイッチで使用できる機能や、サポート開始 Version を調査できる
Cisco Optics-to-Device Compatibility Matrix
- トランシーバの互換性を調べられるサイト
- GLC-T の情報は間違っているケースがある
- 1000Mbps しかリンクアップしないが、10/100/1000Mbps と記載されているケースあり
- 各ルータ・スイッチのリリースノートで、どの速度がサポートされるか確認しましょう
Cisco SD-WAN
Cisco SD-WAN IPoE MAP-E(NTT-COM/OCN)編
機器選定
- Catalyst 9200 と 9300 の機種を選ぶためのページ
- メーカー公式のページではない
Cisco Enterprise Router Selector
IOS バージョン選定・アップグレード
Catalyst 9200/9300/9400/9500/9600 プラットフォームの推奨リリース
アーキテクチャ
Catalyst 9000 スイッチ
Cisco Catalyst 9300 Series Switches Architecture White Paper
Catalyst 9300 Stackwise System Architecture White Paper
Cisco Catalyst 9400 Series Architecture White Paper
Cisco Catalyst 9500 Architecture White Paper
- 弊サイト翻訳版 : Cisco Catalyst 9500 アーキテクチャ ホワイトペーパー
Cisco Catalyst 9600 Series Architecture White Paper
Cisco Silicon One Q200 (Cisco Catalyst 9500X and 9600X) QoS White Paper
Cisco Catalyst 9000 Switching Platforms: QoS and Queuing White Paper
Cisco.com ポストセールス (サポート)
トラブルシューティング
- 2005 年から存在しているドキュメントだが、未だに有用 + 英語版はもっと前から存在。全 NW エンジニアが読んでほしい
- トップダウン アプローチ、ボトムアップ アプローチは、最低限知っておく必要があります
SR 申請用テンプレート (要 Cisco.com アカウント)
- TAC やトレノゲート社 (旧グローバルナレッジ社) が開催していた Webinar のアーカイブ
- Cisco Live が英語で厳しい人におすすめ
よくある質問と解決方法 (TAC SR Collection)
- Japan-TAC に問い合わせのあった中で、エグい不具合が日本語で登録される
スイッチポートおよびインターフェイスの問題のトラブルシューティング
- ちょっと古いけど 表 1 は今でも役に立つ
- IPsec Phase1,2 とか VTI , GRE の違いについて
Cisco Community
Cisco Community Live
How to
Cisco NDFC How To (旧 DCNM How To)
Japan Knowledge Base
ASR 9000 / Cisco 8000 / IOS-XR
IOS-XR : System Error Message の意味について
Cisco SP Router Portfolio Update - 最新世代のIOS-XRルータ
Port Assignments on Cisco 8100/8200, Cisco 8608, and Cisco 8800 Platforms
- NPU / Slice / Port マッピングの資料
Silicon One
未来のインターネットを支える シリコンと省電力イノベーション
Cisco Silicon One が 51.2 Tbpsの壁を突破
Cisco Silicon One を使用して AI/ML ネットワークを構築
- 同一 ASIC でファブリック モードとラインカード モードに変更可能
- Broadcom の場合はそれぞれ別の ASIC が存在する
- ファブリック : Ramon
- ラインカード : Jericho
Nexus
Nexus Dashboard and Services Compatibility Matrix
Nexusシリーズ vPC 構成時の HW 交換復旧時の vPC auto-recovery に関する注意事項
- vPC 環境で何も考えずに保守交換すると、ダウンリンクが全断するかもという問題
Cisco Nexus シリーズ : VXLAN EVPN Multi-Site Part.1/4
パケットバッファ
Understand Nexus 9000 TAHUSD Buffer Syslog & Congestion Nexus 9000のTAHUSDバッファSyslog&の輻輳について
Intelligent Buffer Management on Cisco Nexus 9000 Series Switches White Paper
IOS
White Paper： Cisco IOS リファレンス ガイド
IOS-XE
- 16.x 以降の Version は、複数の機器で共通のコードが使用される
IOS-XE 16.x Standard Maintenance のメンテナンスポリシーについて
実装変更
IOS-XE: バージョンアップ後 Named ACL の Sequence 番号が表示される
- CSCvn47985 IOS-XE 16.12.1 以降
不具合関連
- Bug Search で見つかった不具合内容の読み方の解説
- 不具合登録された事象を探せるツール
- 顧客 -> パートナー -> Cisco TAC -> Cisco BU/DE の順にエスカレーションされ、最新の OS で Cisco が再現性のあると確認したものが BugID に登録されるのが一般的
- 登録 イコール ソフトウェア不具合を意味せず、調査用に ID が振られているにすぎない
- 追跡したい BugID で Save Bug すると、更新時にメールで通知される
最新ナレッジを受動的に取る方法
TAC SR Collection をサブスクライブ (=購読) する
ログインしていると以下の URL などでサブスクライブできる
ルータ系 : [SRC] ルーティング
スイッチ系 : [SRC] LAN スイッチング
Cisco Notification Service で受け取りたい機器のサブスクリプションを作成する
Cisco Notification Service - Product Alerts
- EoL やステータス変化のあった BugID などの情報が Email や RSS で配信される
Juniper Networks
- Juniper Networks 代理店、日商エレクトロニクスのサイト
- 事例や資料が良いです
- Cisco の Feature Navigator の Juniper 版
How many Packets per Second per port are needed to achieve Wire-Speed?
- トラフィックレートごとの最大 pps の一覧表がある
- ACX7509 の Deepdive が実用的かつ面白い
- ポート構成の組み方を Web でシミュレーションできる
- 例) MX204 は 100G x4 を使用すると 10G x8 を使用できない
MX ルータ - Trio
| 帯域幅 / ASIC
(単方向あたり) |
主な搭載機種 | 最大 FIB 容量 | |
|---|---|---|---|
| Trio | 80Gbps | MX80 | IPv4 : 1M [3]
IPv6 : 512K |
| Trio 4 | 400Gbps | MX204 | IPv4 : 8M+ [4]
IPv6 : 512K (MX204-R) |
| Trio 5 | 500Gbps | MX240
MX480 MX960 |
|
| Trio 6 | 1.6Tbps | MX304
MX10004 MX10008 |
Trio 4
MX204 や MPC7E , LC480 などが搭載している。
Trio 5
Trio 6
MX304 / MX10004 / MX10008 が搭載している。
ACX ルータ - Broadcom
- Jericho2c
- Qumran2u
- Jericho2
Junos ハンズオントレーニング
SRX ファイアウォール
EX / QFX スイッチ
Junos ハンズオントレーニング “EX / QFX” コース
Mist
Mist ハンズオン・トレーニング Wired Assurance
- Mist / Meraki / aruba / Cisco WLC の比較
- Mist のメリット : 自動パケットキャプチャ・バージョン選定地獄回避・クラウド料金込・AI・自動障害トラシュー
Day One
BGP
Arista Networks
The March to Merchant Silicon in 10Gbe Cloud Networking
- Arista の Andreas Bechtolsheim の 2011 年のブログ
- RIB と FIB の解説が良い
- HFT 用低遅延スイッチの要件について
バッファ
Arista Cognitive Campus Switch 7050X3/720XPのバッファキテクチャとバッファの調整方法
IPストレージ時代に必要とされるネットワークスイッチの要件（概要）
- VoQ , ディープ パケット バッファの解説がある
Why Big Data Needs Big Buffer Switches
Buffer tuning for output discard mitigation
アーキテクチャ
Arista 7050X3 Series Switch Architecture
- 弊サイト翻訳版 : Arista 7050X3 シリーズ スイッチ アーキテクチャ
- Arista 本家 : Arista 7050X3 シリーズ・スイッチのアーキテクチャ
Arista 7050X Switch Architecture (‘A day in the life of a packet’)
Arista 7250X & 7300 Switch Architecture (‘A day in the life of a packet’)
Arista 7280R3 Switch Architecture (‘A day in the life of a packet’)
Arista 7500R3 Platform Architecture
Arista 7800R3 Platform Architecture
Switching Architectures for Cloud Network Designs
制限
TOI
VxLAN VTEP and VNI Counters / VxLAN VTEP counters
- VXLAN のカウンターはコマンドを入れないとデフォルト設定では取得できない
CVP
TerminAttr
TerminAttr most commonly used flags and sample configurations
Configuring Traffic Flows using sFlow in CVP (Cloudvision Portal)
AQL
ポストセールス
Taking packet captures on Arista devices
TIPS / TOI
- 2 ステージコミットと、diff を取る機能が EOS に備わっています
F5 BIG-IP LTM
Version Up
K84205182: Guide contents | BIG-IP update and upgrade guide
- K15134306: Update or upgrade BIG-IP HA systems using the Configuration utility | BIG-IP update and upgrade guide
- K60339442: Update or upgrade BIG-IP HA systems using the TMOS Shell | BIG-IP update and upgrade guide
K167: Downloading software and firmware from F5
ライセンス
F5 のライセンス認証方式は、主に 2 種類存在する。
- インターネット経由でライセンス認証をする
- Dossier File を F5 機器で生成し、F5 Web サイトにインポートしてライセンスファイルを生成、F5 機器に適用
K7752: Licensing the BIG-IP system
High Availability
Manual Chapter : Managing Configuration Synchronization
コンフィグ バックアップ・リストア
UCS ファイルをエクスポート・インポートする
CLI
CLI TMSH リファレンス
terminal length 0
TMSH では使用できなくなっているため、以下のように代替する。
- Linux CLI : # yes | tmsh show running-config
Juniper みたいにコンフィグを流し込みたい
show running-config one-line を取得し、load sys config from-terminal merge を使用して流し込む
- TMSH ではトランシーバのシリアルや設定時間などが running-config に保存されるため、流し込みできないコマンドが存在する
CLI からコンフィグしたい
行頭に create で作成、modify で変更、delete で削除
コンフィグを保存したい
save sys config
Cisco IOS の show running-config interface のように、一部のコンフィグだけ表示させたい
tmsh list で抜き出すことが可能
- 例) tmsh list net interface
コンフィグ取得
show running-config と one-line 両方を取っておくと良さそう。
TMOS は running-config を投入コンフィグにしづらいため、one-line でも取得しておきます。
yes | tmsh show running-config
yes | tmsh show running-config one-line
上記は bash から取得した例です。
Extreme (旧 Avaya) VSP
2023-08-01 Extreme VOSS まとめ に移動しました。
A10
A10 Thunder CGN は、CPU のソフトウェア+ ハードウェアで転送する。
以下のように、CPU のパフォーマンスに合わせてスループットが増加している。
Thunder 5840 CGN [5]
- 115 Gbps
- Intel Xeon 18-core
Thunder 7440-11 CGN
- 220 Gbps
- Intel Xeon 18-core x 2
NAT : CPU 処理
ルーティングとスイッチングの一部 : FTA による H/W 処理
便利コマンド
A10 - ACOS System Configuration & Administration Cheat Sheet by myasincavdar
Paloalto Networks
- IDS / Wildfire / SSL 復号化の検証方法とか
クラウド
AWS
OCP (Open Compute Project)
Network
DDC (Distributed Disaggregated Chassis)
Distributed Disaggregated Chassis Routing System
Hardware Specifications and Use Case Description for J2-DDC Routing System
DDC-Distributed Disaggregated Chassis Evolution (V2): Implementation and Update
- AT&T は NOS に DriveNets , Cisco を採用してるらしい
What is a Distributed Disaggregated Chassis (DDC)?
- 分散型シャーシ ルーティング システム
- キャリア向けのクソデカルータを、マーチャントシリコン ホワイトボックス (WB) の IP CLos 構成でリプレースするよプロジェクト
- キャリアのコア・エッジを同一アーキテクチャで統一してコストダウン
- クラスタ構成を変化させてスケールアウト
Other
Facebook – Wedge-100 32x100GE Top of Rack Switch
Wedge 400C Design Specification V1.1
- 400G Chassis
- Cisco Silicon One Q200L ASIC Version
Wedge 400 Design Specification V0.3
- 400G Chassis
- Broadcom ASIC Version
Server
Yosemite V3: Facebook Multi-Node Server Platform Design Specification
IOWN
Innovative Optical and Wireless Network
光電融合デバイスを手掛ける「NTTイノベーティブデバイス」が始動、第3世代デバイスの試作機も公開
IOWN構想特集 ─オールフォトニクス ･ ネットワーク 実現に向けた光電融合技術─
Internet of Data Centers with IOWN APN - IOWN APNによるデータセンタインターネット
NIC
スマート NIC
スマート NIC は FPGA などを用いて、CPU 処理を NIC へオフロードして、高速化を図る技術です。
- AMD が買収した、Pensando Systems のスマート NIC について解説
- Nitro はスマート NIC というよりもハイパーバイザですが、ハードウェア オフロードという観点でここに置きました
Open Programmable Infrastructure Project (OPI)
Open Optical Packet Transport
ホワイトボックス Network OS
Linux Foundation SONiC
IPInfusion OcNOS
Pica8 PicOS
NVIDIA Cumulus Linux
Arcus ArcOS
TIP (Telecom Infra Project)
これまでの大型シャーシ ルータを、複数の BOX スイッチへ分散させる、Disaggregate を行うコンセプトのスイッチ
- DDBR : Spine を Fabric ASIC として見なしアップリンクを収容、Leaf をユーザポート収容ラインカードに、サーバから一括してコントロールする
OOPT-CANDI Whitepaper Remote Migration Proof of Concept 2021
- UBiqube MSActivator をパケット コントローラに、DELTA AG7648 , AG9032V1 , AG9032V2A を使って検証
- NOS として SONiC , Commertial OS で検証
キャリアバックボーンネットワークへの ホワイトボックスルータ商用化に向けた取組み
- KDDI が商用導入した DDBR (Distributed Disaggregated Backbone Routers) の資料
- シャーシ型ルータを、複数のホワイトボックス ルータに置き換える
- シャーシのファブリックを、Leaf / Spine の Spine で置き換えるのがミソ
ASIC
Network switch comparison Table, including ASIC and packet buffer.
- ASIC のコードネームとパケットバッファサイズを一覧にしたサイト
- ASIC + バッファサイズサイト その 2
A DEEP DIVE INTO CISCO’S USE OF MERCHANT SWITCH CHIPS
- Broadcom の内部アーキテクチャについて
BCM56070 Switch Programming Guide
- Head-of-Line Blocking など、Trident ASIC 内部動作の仕組みが載っている
スイッチ ASIC のメーカー
ここでは外販や複数の OS で動作するものを記載
- Broadcom
- Mervell
- Cavium : Mervell に買収された
Broadcom
StrataXGS Trident3-X7 BCM56870
- Broadcom Trident 3 Platform Performance Analysis
- Broadcom Smart-Buffer Technology in Data Center Switches for Cost-Effective Performance Scaling of Cloud Applications
StrataXGS Tomahawk 5 BCM78900
StrataDNX Qumran2a BCM88480
プログラマブル ASIC 用言語 P4 対応
- Cisco Silicon One
- Intel (Barefoot) Tofino : 2023 年 1 月 開発中止が発表された [8]
Hot Chips
- たまに Network 製品ベンダーの Chip が発表されてます
MPLS
- サービス プロバイダー技術の最新動向
イーサネット
400G
IX相互接続実証実験を通じて見えてきた 400G導入で「変わること」「変わらないこと」
Juniper MX10008 + Juniper 純正Optics の組み合わせでは現象は再現しなかったが、MX10008 + 3rd Party
Optics の場合でのみリンクアップ遅延が発生 (リンクアップまでに約100秒かかる)
800G
ムーアの法則衰え知らず -商用シリコンでの800Gbps/1.6Tbps対応状況
1.6T
ムーアの法則による高速インターフェース展開予測2025/2026
- CPO , SerDes からスイッチ業界の将来を見る
Enabling QSFP-DD1600 Ecosystem With Performance-Driven Thermal Innovations
- 主に冷却についての検証とお話
CPO
C3 光メディア基礎 高速化するイーサネット技術を支える光デバイスの最新動向
- ラックマウント フレームの奥側オフセットと、ショートブーツ ファイバーが参考になりました
LPO
100G-SFP
光ファイバ
AI / ML
2023 年に yuyarin さんが MPLS Japan で書いたドキュメントが詳しい。
NVIDIA
Tesla
GPU 間通信
GPU Direct v2
- PCIe 経由で GPU 間の直接通信を行う
NVLink
- GPU 間を直接接続する
NVSwitch
- 2 つより多い GPU を接続するときに使用する
GPU Direct v3 - RDMA (Remote Direct Memory Access)
- Infiniband 経由で GPU 間通信を行う
- 別ホストのメモリに直接データ送信
DGX
- GPUサーバアプライアンス
- CPU、OS (DGX OS)、8-GPU HGX、ConnectXがバンドル [9]
DGX SuperPOD
- DGX をクラスタにしたもの
Inifiniband 系
HBAとMPIとの組み合わせで、低レイテンシーを安価に実現した「RDMA」
- RDMA の基本情報
Rail-optimized Topology / Full Bisection Bandwidth
NVIDIA Spectrum イーサネット ネットワーク プラットフォーム
- CyberAgent で 400G の事例 あり
Ethernet 系
Ethernet はベスト エフォートが基本だが、Inifiiniband のようなロスレスやアダプティブ ルーティングを実装する必要がある。
AI / ML 基盤を複数テナントに提供する仕組みを作りたい場合、EVPN-VXLAN の L2VPN でテナントを分離するのが良さそう。
Cisco Nexus 9000
- Preferred Networks で事例 あり
RDMA
RoCEv2 (RDMA over Converged Ethernet)
- ETS (Enhanced Transmission Selection) / PFC (Priority Flow Control) / ECN (Explicit Congestion Notification)
Ultra Ethernet
- Cisco / Arista / Intel / Broadcom などが参画する、コンソーシアムが 2023 年に設立された
- RoCE を Ultra Ethernet Transport に置き換えることを目指す
Scheduled Fabric
- Arista が提唱
- TIP の DDBR と同じように、Leaf (Jericho) をラインカード、Spine (Ramon) をファブリックに見立てて、セルベースでスイッチングを行う
- Cisco も Silicon One でやりそう
Dragonfly+トポロジー
IANA (Internet Assigned Numbers Authority)
Service Name and Transport Protocol Port Number Registry
- 割り当てられたポート番号を調べられるサイト
ダークファイバー
海底ケーブル
バックボーン設計
BGP
BGP コミュニティ
- NTT Global IP Network (GIN) のルーティング ポリシー
- JP のキャリアにしては珍しく、BGP コミュニティの使用用途を公開していて参考になります
RPKI
RPKI の ROA を使ったインターネットにおける不正経路への対策ガイドライン案
BGP の本
IOS の BGP
IOS における BGP の Read-Only mode について
IOS-XR:BGP の Read-Only mode について
Tool
Hurricane Electric BGP Toolkit
BGP IPv4/IPv6 Looking Glass Servers
IRR
RADb: The Internet Routing Registry
JANOG 51.5 Interim Meeting
APNIC BGP2022に対しての商用シリコン ルーティングシステム
IIJ
IIJの新バックボーンネットワーク「VX」（IIR vol.57 2章）
Looking Glass
Hurricane Electric BGP Toolkit - Looking glass
IX
広域イーサネット網を利用した 広域イーサネット網を利用した 分散IXに関する概況
海外のPeeringイベントは効果的
・海外で参加するイベントだとポリシーと相違があっても、話をしていくうちに意外とうまくまとまる事もあり（実体験）
・例えばトランジットが\500/Mbpsだとして100M出ていたとしたら月\50,000の削減に繋がるので年間で考えると旅費交通費ふくめても十分に収穫がある
JPNAP
IXで見えるユーザ動向と マルチラテラルピアリング の可能性について
- IX ルートサーバの動作 - マルチラテラル ピアリングについて
JPIX
- IX って何 ? って人向け
BGP セキュリティ
BOGON
CDN
IPv4
アドレス移転
IPv6
プロフェッショナルIPv6 第2版 / プロフェッショナルIPv6（無料版）
例示用アドレス
2001:db::/32
3ffe::/16 (RFC 3701)
5f00::/8 (RFC 3701)
IPv6 普及・高度化推進協議会
IPv6 対応ケーブルインターネット アクセス技術仕様ガイドライン
JANOG 51.5 Interim Meeting
DNS
WindowsのChromeやEdgeでネットにつながりにくくなる現象、一部の家庭用ルーターが原因かも？
- 2023 年の Windows と Chrome の DNS UDP ポート使用の相性問題について
- BIND のログで TCP client quota reached: quota reached が出力
- tcp-clients デフォルト値 100 で障害に -> 増加して対処
CGN
IPv6 普及・高度化推進協議会
NTT
障害報告
総務省
- 総務省に報告が必要な重大事故の基準とか
NTT
電気通信事故検証 報告書 （令和４年８月２５日発生した 西日本電信電話株式会社による重大事故）
- 合計 5 時間 47 分の停止
- OSPF 台数が多く処理負荷が高くて障害になった事例
- シングルエリア OSPF の障害って、全体が止まるよね・・・
- エリア内の台数がメーカー推奨よりも多すぎた模様
- OSPF 障害を契機として、DB 同期失敗 -> DB 初期化のソフトウェア不具合を誘発、ユーザの通信を切断
- 1時間43分 - 2時間58分の停止
- マルチキャストを受信した、ルーティング処理機能を備える加入者収容装置の不具合
- パケット処理部が再起動を繰り返すとのことから、ラインカードの不具合と思われます
KDDI
電気通信事故検証 報告書 （令和４年７月２日発生した KDDI 株式会社及び沖縄セルラー電話株式会社 による重大事故）
- ルータの切り替え失敗で VoLTE が輻輳して、復旧に合計 61 時間 25 分かかった事例
- VoLTE の輻輳で、DB サーバが同期できずに、データ不整合が発生したのが痛かった
- データ不整合が発生したことで再送が過剰に発生したのも、まさにネガティブ スパイラル
- 一方で障害報告の記者会見は、経営層であっても技術を把握できている点が非常に好印象でした
Lab as a Service (LaaS)
- EVE-NG や Nexus ACI ラボなどを貸し出している
Network as a Service (NaaS)
ネットワークをサブスクリプションで利用するサービス。
alkira
- Viptela 創業者が作ったベンチャー
- DC・クラウド・オフィスを簡易な UI で管理 (ほんとか ?)
nile
- 有線/無線 LAN の AI 自動トラシュー + ゼロトラスト
- Cisco 元 CEO の John Chenbers と元 CDO の Pankaj Patel が立ち上げた
Valtix
- マルチクラウドのセキュリティ管理
- 2023 年に Cisco により買収された
Open Networking User Group (ONUG)
NW エンジニアのキャリアデザイン
引用
- ↑ MECやネットワークスライシングを低コストかつ容易 に実現する「SRv6 MUP」の開発に成功 SRv6 MUPの検証システムには、Arrcus ArcOS、Intel Tofino Intelligent Fabric ProcessorおよびIntel Xeon Scalable Processorベースのハードウエアプラットフォーム、VMware Telco Cloud Platformが提供されています。
- ↑ Hardware Compatibility List Supported Platforms
- ↑ [j-nsp] MX80 Route table Size https://juniper-nsp.puck.nether.narkive.com/pzPtqrXZ/j-nsp-mx80-route-table-size MX80 FIB Capacity IPv4: 1Mil MX80 FIB Capacity IPv6: 512k MX80 RIB Capacity IPv4: 4Mil MX80 RIB Capacity IPv6: 3Mil
- ↑ What's the difference between MX204, MX204-IR and MX204-R 8M+ FIB
- ↑ Thunder CGN ハードウェアアプライアンス
- 2 専用ハードウェアはありませんがFTA-4 FPGAが一部のスイッチング/ルーティング機能を処理します
- ↑ At UfiSpace, we have two types of line card white boxes or NCPs, both of which are powered by the Broadcom Jericho2.
- ↑ The UfiSpace fabric card white box has 48x400GE fabric ports and is powered by the Broadcom Ramon.
- ↑ Tofino開発中止のまとめ（Intel Q4 2022Earnings Call を聞いて） 北米時間 2023年1月26日 の Intel Q4 2022 Earnings Call にて "we will end future investment on our network switching product line" [2] と言及され、実質の Tofino Switch ASIC 製品ラインの開発中止 が発表されました。
- ↑ NVIDIA DGX ● NVIDIAが提供するGPUサーバアプライアンス ● CPU、OS (DGX OS)、8-GPU HGX、ConnectXがバンドルされている ● A100 80GBが8枚のDGX A100と、H100が8枚のDGX H100がある
