1,948
回編集
差分
ナビゲーションに移動
検索に移動
1行目:
1行目: − == Day1 ==+ − + − + − + + + − ===== 品質とスピード =====+ 14行目:
16行目: + − ===== 税関で製品が止められる件 =====+ 26行目:
29行目: − ==== NTT-Data 冨樫さん : [https://www.janog.gr.jp/meeting/janog53/wp-content/uploads/2023/11/janog53-GLOBAL-%E5%86%A8%E6%A8%AB-%E6%B4%B8.pre_.pdf 資料] ====+ + − ===== 相互接続交渉が難航した話 =====+ − ===== プライジング =====+ − + − ===== インドネシアの要求品質 =====+ 48行目:
52行目: − === [https://www.janog.gr.jp/meeting/janog53/as63802/ 特殊局が手掛けるIN地域研究室の紹介「インターネット業界の未来を創る技術者育成」] ===+ + + − ==== NTT 特殊局 ====+ + + − ==== パワーワード集 ====+ − + 75行目:
83行目: − + 81行目:
89行目: − つぶらなひとみで「光ファイバ利用申請書類」を提出すると・・・+ + + − ==== ブートストラップ問題 ====+ − ==== 質疑応答 : NTT は金持ちだから成長しなかった ? ====+ − + − + − == Day2 ==+ − === [https://www.janog.gr.jp/meeting/janog53/400g/ 400G時代の相互接続 〜100G-LR1って検討されてますか？〜] ===+ 129行目:
139行目: + − === [https://www.janog.gr.jp/meeting/janog53/dcqos/ データセンターネットワークでの輻輳対策どうしてる？] ===+ − ==== In-cast congestion ====+ 139行目:
150行目: − ==== Fabric congestion ====+ − ==== Out-cast congetion ====+ − ==== Lossy ====+ − ==== Lossless ====+ − ==== 対処策 ====+ 162行目:
173行目: − ==== 輻輳制御の手法 ====+ 169行目:
180行目: − ==== Deep Buffer ====+ 180行目:
191行目: − ==== ECN (Explicit Congestion Notification) ====+ − ==== PFC (Priority-based Flow Control) ====+ − ==== Hadoop ====+ − ===== TeraSort =====+ − ==== 予想に反した検証結果 ====+ 202行目:
213行目: − ==== 予想通りだった検証結果 ====+ − ==== 今後のアクション ====+ − == Day3 ==+ − === [https://www.janog.gr.jp/meeting/janog53/div1nfv/ 自作k6 Extension利用した NFVへの負荷計測手法の紹介] ===+ 220行目:
231行目: − === [https://www.janog.gr.jp/meeting/janog53/div3ansible/ 知っておくと小回りがきく Ansibleの使い方] ===+ 229行目:
240行目: − === [https://www.janog.gr.jp/meeting/janog53/div4fhr/ OpenStack on L3 Clos-NW First-Hop Redundancy by Open vSwitch & BGP in Yahoo! JAPAN network.] ===+ − === [https://www.janog.gr.jp/meeting/janog53/nfv/ 次世代OpenStack NFV基盤の検証] ===+ 239行目:
250行目: − === [https://www.janog.gr.jp/meeting/janog53/as2518/ BIGLOBE AS2518をまるごと仮想環境へ”コピー”してみた] ===+ 248行目:
259行目: − ==== BIGLOBE ====+ 257行目:
268行目: − ===== 仮想環境の作成 =====+ 263行目:
274行目: − ===== 仮想環境で確認できたこと =====+ − ===== 仮想環境できなかったこと =====+
編集の要約なし
今回は個人的に見たいセッションが多かったです。キーワードをこのレポートにメモったので、今後見直して反芻していきたい。
=== 15:30 [https://www.janog.gr.jp/meeting/janog53/global/ 海外で日本のやり方が通用しないの、なぁぜなぁぜ？ 東南アジアでのインターネットインフラを構築の実例から、グローバルでのオペレータ交流を考える] ===
= Day1 =
==== BBIX 立松さん : [https://www.janog.gr.jp/meeting/janog53/wp-content/uploads/2023/11/janog53-GLOBAL-%E7%AB%8B%E6%9D%BE-%E8%A3%95%E5%B0%87.pre_.pdf 資料] ====
== 15:30 [https://www.janog.gr.jp/meeting/janog53/global/ 海外で日本のやり方が通用しないの、なぁぜなぁぜ？ 東南アジアでのインターネットインフラを構築の実例から、グローバルでのオペレータ交流を考える]==
===== ケーブリングやばいよ =====
=== BBIX 立松さん : [https://www.janog.gr.jp/meeting/janog53/wp-content/uploads/2023/11/janog53-GLOBAL-%E7%AB%8B%E6%9D%BE-%E8%A3%95%E5%B0%87.pre_.pdf 資料]===
==== ケーブリングやばいよ ====
* 海外はケーブリングがとてもやばいぞ !
* 海外はケーブリングがとてもやばいぞ !
==== 品質とスピード ====
* 日本の品質は海外案件に適用できない
* 日本の品質は海外案件に適用できない
** 海外はスピード優先で、企画・設計・構築をやる必要がある
** 海外はスピード優先で、企画・設計・構築をやる必要がある
** 「今日は走れるクルマが少ないんだよー」「!?」
** 「今日は走れるクルマが少ないんだよー」「!?」
** 車両ナンバーの末尾で、走行できる日が規制されている
** 車両ナンバーの末尾で、走行できる日が規制されている
** 主に渋滞・混雑対策
* DC に持ち込みは Quarantine (検疫) で 1 日必要
* DC に持ち込みは Quarantine (検疫) で 1 日必要
** immunity test のために必要 : 電源に影響を及ぼさないかのチェックのため
** immunity test のために必要 : 電源に影響を及ぼさないかのチェックのため
** 今回については、何もやってない (DC で 1 日放置)
** 今回については、何もやってない (DC で 1 日放置)
==== 税関で製品が止められる件 ====
輸出の該非判定が必要、通関のために書類がいろいろ求められる。
輸出の該非判定が必要、通関のために書類がいろいろ求められる。
** 香港も厳しいらしい
** 香港も厳しいらしい
=== NTT-Data 冨樫さん : [https://www.janog.gr.jp/meeting/janog53/wp-content/uploads/2023/11/janog53-GLOBAL-%E5%86%A8%E6%A8%AB-%E6%B4%B8.pre_.pdf 資料]===
ジャカルタで JKT-IX を立ち上げた話。
ジャカルタで JKT-IX を立ち上げた話。
* IX 単体で儲けるのではなく、コンテンツプロバイダなどのターゲット顧客を DC に誘致して、DC を拡販する
* IX 単体で儲けるのではなく、コンテンツプロバイダなどのターゲット顧客を DC に誘致して、DC を拡販する
* NTT の名前は出さず、ジャカルタ ローカルへ貢献するように
==== 相互接続交渉が難航した話 ====
日本人が交渉して 2-3 ヶ月接続できなかったのが、交渉先のボードメンバーと友達を交渉担当者にアサインすると 1 週間で妥結された。。
日本人が交渉して 2-3 ヶ月接続できなかったのが、交渉先のボードメンバーと友達を交渉担当者にアサインすると 1 週間で妥結された。。
==== プライジング ====
2017 当時の IX マーケットだと、IX は $0
2017 当時の IX マーケットだと、IX は $0
* 費用を取ろうとすると、めっちゃ怒られた
* 費用を取ろうとすると、めっちゃ怒られた
シェア No.1 を取って、無料と高速プランに分けて課金できるようになった。
シェア No.1 を取ってからは、無料 (1G) と高速プラン (10G-) に分けて課金できるようになった。
==== インドネシアの要求品質 ====
同時複数ダウン時以外はトラブルシュートしない、通知しない。
同時複数ダウン時以外はトラブルシュートしない、通知しない。
他のメンバーからの問い合わせや、全体に影響する問題は妥協せず対応する。
他のメンバーからの問い合わせや、全体に影響する問題は妥協せず対応する。
==[https://www.janog.gr.jp/meeting/janog53/as63802/ 特殊局が手掛けるIN地域研究室の紹介「インターネット業界の未来を創る技術者育成」]==
* IN 地域 = インチキ
=== NTT 特殊局 ===
光ファイバー・クロージャー・果物 (!?)
光ファイバー・クロージャー・果物 (!?)
* ファイバと一緒にバナナが干してある
技術研究に適したコンピュータ・ネットワークを提供する。
技術研究に適したコンピュータ・ネットワークを提供する。
=== パワーワード集 ===
苦行センター
苦行センター
うちのメールサーバーにはアメリカ人が住んでいた
うちのメールサーバーにはアメリカ人が住んでいた
* 最近は中国かロシアからのホームステイが多い
* 最近は中国かロシアからのホームステイ (!?) が多い
IN 地域 NW (インチキ NW)
IN 地域 NW (インチキ NW)
* ISP・検証用の機材を木造の 2 階自室に置いていたら、家が傾いていた
* ISP・検証用の機材を木造の 2 階自室に置いていたら、家が傾いていた
* 実家 -> 東京に引っ越した
* 実家 -> 東京に引っ越したら解決
「NTT 東日本に就職すれば、ダークファイバーを使い放題だよね」
「NTT 東日本に就職すれば、ダークファイバーを使い放題だよね」
* そう思っていた時代も僕にもありました
* そう思っていた時代も僕にもありました
つぶらなひとみで「光ファイバ利用申請書類」を社内へ提出すると・・・
* NTT 法の関係で自由に使えるわけじゃないと思われる
=== ブートストラップ問題 ===
(登さん) ネットワークの初学者が学ぶための、書籍が古くなっていて入りづらくなってきていて、口伝になってしまっている
(登さん) ネットワークの初学者が学ぶための、書籍が古くなっていて入りづらくなってきていて、口伝になってしまっている
=== 質疑応答 : NTT は金持ちだから成長しなかった ? ===
お金が自由に使えることで、不利になることがある。お金に制限があることで、知恵と工夫をする余地が生まれる。
お金が自由に使えることで、不利になることがある。お金に制限があることで、知恵と工夫をする余地が生まれる。
* Google : インチキサーバで企業
* Google : インチキサーバで起業
* Amazon : Sun のサーバが高すぎたので、クラウドを作った
* Amazon : Sun の SPARC サーバが高すぎたので、x86 サーバでクラウドを作った
もの好き同士の連携が少なくなっているのでは。
もの好き同士の連携が少なくなっているのでは。
= Day2 =
==[https://www.janog.gr.jp/meeting/janog53/400g/ 400G時代の相互接続 〜100G-LR1って検討されてますか？〜]==
[https://www.janog.gr.jp/meeting/janog53/wp-content/uploads/2023/11/JANOG53_400G%E6%99%82%E4%BB%A3%E3%81%AE%E7%9B%B8%E4%BA%92%E6%8E%A5%E7%B6%9A-%E3%80%9C100G-LR1%E3%81%A3%E3%81%A6%E6%A4%9C%E8%A8%8E%E3%81%95%E3%82%8C%E3%81%A6%E3%81%BE%E3%81%99%E3%81%8B%EF%BC%9F%E3%80%9C.pdf 資料]
[https://www.janog.gr.jp/meeting/janog53/wp-content/uploads/2023/11/JANOG53_400G%E6%99%82%E4%BB%A3%E3%81%AE%E7%9B%B8%E4%BA%92%E6%8E%A5%E7%B6%9A-%E3%80%9C100G-LR1%E3%81%A3%E3%81%A6%E6%A4%9C%E8%A8%8E%E3%81%95%E3%82%8C%E3%81%A6%E3%81%BE%E3%81%99%E3%81%8B%EF%BC%9F%E3%80%9C.pdf 資料]
|リンクアップが遅い
|リンクアップが遅い
|}
|}
安いのと採用例が増えているため、みんなで利用を推進したい。
==[https://www.janog.gr.jp/meeting/janog53/dcqos/ データセンターネットワークでの輻輳対策どうしてる？]==
=== In-cast congestion ===
* any src to 1 dest
* any src to 1 dest
* 今回の発表のメイン対象
* 今回の発表のメイン対象
=== Fabric congestion ===
* 不均衡なトラフィック分散
* 不均衡なトラフィック分散
=== Out-cast congetion ===
=== Lossy ===
* TCP 再送でカバー
* TCP 再送でカバー
=== Lossless ===
* RDMA などでロスレスにする
* RDMA などでロスレスにする
=== 対処策 ===
* 専用 NW
* 専用 NW
** これは実施していない
** これは実施していない
=== 輻輳制御の手法 ===
* Deep Buffer
* Deep Buffer
* H-TCP , CUBIC , BBR
* H-TCP , CUBIC , BBR
=== Deep Buffer ===
GB 単位の HBM 大容量メモリでバースト トラフィックを吸収する
GB 単位の HBM 大容量メモリでバースト トラフィックを吸収する
* AQM で先行してドロップさせる
* AQM で先行してドロップさせる
=== ECN (Explicit Congestion Notification) ===
* 受信側がフィードバックのために、送信側に Notification して、送信を抑制する
* 受信側がフィードバックのために、送信側に Notification して、送信を抑制する
=== PFC (Priority-based Flow Control) ===
* Traffic Class のキューから PAUSE フレームを送信する
* Traffic Class のキューから PAUSE フレームを送信する
=== Hadoop ===
In-cast Congestion が起きやすい Hadoop を検証ターゲットとした。
In-cast Congestion が起きやすい Hadoop を検証ターゲットとした。
=== TeraSort ===
* Hadoop に標準搭載されたベンチマーク
* Hadoop に標準搭載されたベンチマーク
=== 予想に反した検証結果 ===
* '''Deep Buffer''' のジョブ完了時間が、Shallow (短い) Buffer よりも'''長い''' (なんでや !)
* '''Deep Buffer''' のジョブ完了時間が、Shallow (短い) Buffer よりも'''長い''' (なんでや !)
* PFC のみ有効だと、InDiscards が増加し、OutDiscards は発生しない
* PFC のみ有効だと、InDiscards が増加し、OutDiscards は発生しない
=== 予想通りだった検証結果 ===
* ECN を設定すると Drop がほぼ抑えられた
* ECN を設定すると Drop がほぼ抑えられた
* Deep Buffer よりも速く完了した
* Deep Buffer よりも速く完了した
=== 今後のアクション ===
* Deep Buffer は必要ないかも
* Deep Buffer は必要ないかも
= Day3 =
==[https://www.janog.gr.jp/meeting/janog53/div1nfv/ 自作k6 Extension利用した NFVへの負荷計測手法の紹介]==
MVNO は HSS , PGW-C , PGW-U を BB Sakura で自作している。
MVNO は HSS , PGW-C , PGW-U を BB Sakura で自作している。
[https://github.com/bbsakura/xk6-gtp github] に公開中。
[https://github.com/bbsakura/xk6-gtp github] に公開中。
==[https://www.janog.gr.jp/meeting/janog53/div3ansible/ 知っておくと小回りがきく Ansibleの使い方]==
ansible-playbook 実行時に、-e (--extra-vars) +"@" を使う
ansible-playbook 実行時に、-e (--extra-vars) +"@" を使う
* Juniper の display set コンフィグみたいになるので見やすい
* Juniper の display set コンフィグみたいになるので見やすい
==[https://www.janog.gr.jp/meeting/janog53/div4fhr/ OpenStack on L3 Clos-NW First-Hop Redundancy by Open vSwitch & BGP in Yahoo! JAPAN network.]==
[https://www.janog.gr.jp/meeting/janog53/wp-content/uploads/2024/01/%E3%80%90%E7%99%BA%E8%A1%A8%E8%B3%87%E6%96%99%E3%80%91OpenStack-on-L3-Clos-NW-First-Hop-Redundancy-by-Open-vSwitch-BGP-in-Yahoo-JAPAN-network.pdf 資料]
[https://www.janog.gr.jp/meeting/janog53/wp-content/uploads/2024/01/%E3%80%90%E7%99%BA%E8%A1%A8%E8%B3%87%E6%96%99%E3%80%91OpenStack-on-L3-Clos-NW-First-Hop-Redundancy-by-Open-vSwitch-BGP-in-Yahoo-JAPAN-network.pdf 資料]
==[https://www.janog.gr.jp/meeting/janog53/nfv/ 次世代OpenStack NFV基盤の検証]==
[https://www.janog.gr.jp/meeting/janog53/wp-content/uploads/2023/11/janog53-NFV-%E8%BE%BB-%E5%BA%83%E5%BF%97-pre.pdf 資料]
[https://www.janog.gr.jp/meeting/janog53/wp-content/uploads/2023/11/janog53-NFV-%E8%BE%BB-%E5%BA%83%E5%BF%97-pre.pdf 資料]
IPv6 ND RA と DHCPv6 ってややこしいよね・・・
IPv6 ND RA と DHCPv6 ってややこしいよね・・・
==[https://www.janog.gr.jp/meeting/janog53/as2518/ BIGLOBE AS2518をまるごと仮想環境へ”コピー”してみた]==
[https://www.janog.gr.jp/meeting/janog53/wp-content/uploads/2024/01/janog53-as2518-takiguchi-pre.pdf 資料1]
[https://www.janog.gr.jp/meeting/janog53/wp-content/uploads/2024/01/janog53-as2518-takiguchi-pre.pdf 資料1]
All 実機では難しい商用 NW を仮想環境で再現して、「NW 全体の動作を」「実際にやって確認」したい。
All 実機では難しい商用 NW を仮想環境で再現して、「NW 全体の動作を」「実際にやって確認」したい。
=== BIGLOBE ===
DC 10 拠点、L2SW / Router で 50 台以上、3.2Tbps 以上、ピア数 220 以上。
DC 10 拠点、L2SW / Router で 50 台以上、3.2Tbps 以上、ピア数 220 以上。
構成図を最新に保つことが難しい。
構成図を最新に保つことが難しい。
=== 仮想環境の作成 ===
商用環境のコンフィグを吸い出して、コンテナ NOS を生成する仕組みを構築し、テストベッドを使えるようにする。
商用環境のコンフィグを吸い出して、コンテナ NOS を生成する仕組みを構築し、テストベッドを使えるようにする。
* iperf は商用のフローデータから、プレフィックスごとの流量を再現させた
* iperf は商用のフローデータから、プレフィックスごとの流量を再現させた
=== 仮想環境で確認できたこと ===
show コマンドやトラフィック断の有無などは、仮想環境で確認でき、レビュー者の負担が減らせた
show コマンドやトラフィック断の有無などは、仮想環境で確認でき、レビュー者の負担が減らせた
=== 仮想環境できなかったこと ===
Juniper の cPRD に統一したが、Cisco ルータの挙動は確認できていない。
Juniper の cPRD に統一したが、Cisco ルータの挙動は確認できていない。