「2023-07-05-7 JANOG52 参加レポート」の版間の差分

提供:hkatou_Lab
編集の要約なし
377行目: 377行目:


* 振り方が良くなかった ?
* 振り方が良くなかった ?
== Day3 ==
=== [https://www.janog.gr.jp/meeting/janog52/aiml400/ AI/ML基盤の400G DCネットワークを構築した話] ===
==== RoCEv2 ====
Inifiniband の知識が必須で、QoS チューニングが大変
RoCEv2 Lossless Ethernet
Lossless NW / Lossy NW を分離
==== BGP ====
BGP Unnumbered P2P
BGP Graceful shutdown コミュニティで、メンテナンス時はトラフィックを迂回させる
==== トランシーバ ====
EoR のため Spine-Leaf の物理距離が近い
400G トランシーバは純正を選定
3rd Party だと shutdown -> no shutdown で Linkup しなかった、そもそも Linkup が遅い
OSFP-RHS (Riding Heat Sink) ヒートシンクが NIC 側についているため、トランシーバにヒートシンクがない
GPU サーバ <-> SW 間は OSFP-RHS --- 400G-DR3 ---- OSFP-DD
MPO-12 / SMF
[[カテゴリ:イベント]]
[[カテゴリ:イベント]]