「2023-07-05-7 JANOG52 参加レポート」の版間の差分
提供:hkatou_Lab
編集の要約なし |
|||
377行目: | 377行目: | ||
* 振り方が良くなかった ? | * 振り方が良くなかった ? | ||
== Day3 == | |||
=== [https://www.janog.gr.jp/meeting/janog52/aiml400/ AI/ML基盤の400G DCネットワークを構築した話] === | |||
==== RoCEv2 ==== | |||
Inifiniband の知識が必須で、QoS チューニングが大変 | |||
RoCEv2 Lossless Ethernet | |||
Lossless NW / Lossy NW を分離 | |||
==== BGP ==== | |||
BGP Unnumbered P2P | |||
BGP Graceful shutdown コミュニティで、メンテナンス時はトラフィックを迂回させる | |||
==== トランシーバ ==== | |||
EoR のため Spine-Leaf の物理距離が近い | |||
400G トランシーバは純正を選定 | |||
3rd Party だと shutdown -> no shutdown で Linkup しなかった、そもそも Linkup が遅い | |||
OSFP-RHS (Riding Heat Sink) ヒートシンクが NIC 側についているため、トランシーバにヒートシンクがない | |||
GPU サーバ <-> SW 間は OSFP-RHS --- 400G-DR3 ---- OSFP-DD | |||
MPO-12 / SMF | |||
[[カテゴリ:イベント]] | [[カテゴリ:イベント]] |