「2022-09-30 Edge Router-X を VyOS ベアメタルにリプレース」の版間の差分

提供: hkatou_Lab
ナビゲーションに移動 検索に移動
(ページの作成:「== Edge Router-X リプレースの根拠 == === ハードウェア === * 新品が適価で手に入らないため、壊れたら保守できない (=高価ならし…」)
 
 
(同じ利用者による、間の10版が非表示)
1行目: 1行目:
−
== Edge Router-X リプレースの根拠 ==
+
西日本と東日本のインターネット用ルータ兼、VPN ルータの Edge Router-X を VyOS にリプレースしました。
 +
 
 +
== Edge Router-X リプレースの背景 ==
  
 
=== ハードウェア ===
 
=== ハードウェア ===
7行目: 9行目:
 
** 半導体不足の影響だとしても、長期すぎる
 
** 半導体不足の影響だとしても、長期すぎる
 
* 2022/09 現在、Amazon.co.jp で \17,000 , Amazon.com で $110 程度
 
* 2022/09 現在、Amazon.co.jp で \17,000 , Amazon.com で $110 程度
−
** 2019/07 に買ったときは、3 台買って 1 台辺り $58
+
** 2019/07 に euro dk で買ったときは、3 台買って 1 台辺り $58
 +
** 円高の影響も大きくなっている
 
* メモリ・ストレージが小さい
 
* メモリ・ストレージが小さい
  
15行目: 18行目:
 
* 1 ヶ月に 1 回ほどアクセスできなくなってしまう
 
* 1 ヶ月に 1 回ほどアクセスできなくなってしまう
 
* せめて crash して自動復旧してほしい
 
* せめて crash して自動復旧してほしい
 +
* メモリ容量が足りなくて、プロセスが OOM Killer されてる ?
  
 
'''OSPF の動作が不安定'''
 
'''OSPF の動作が不安定'''
27行目: 31行目:
 
* ipsec offload すると不安定なのでしたくない
 
* ipsec offload すると不安定なのでしたくない
  
−
'''ファームウェアのリリースがおかしい'''
+
'''ファームウェアのリリース タイミングがおかしい'''
  
 
* 開発体制が疑問  以前開発者がやめて長期間新 Ver がリリースされないことがあった
 
* 開発体制が疑問  以前開発者がやめて長期間新 Ver がリリースされないことがあった
36行目: 40行目:
  
 
== Edge Router-X の良かった点 ==
 
== Edge Router-X の良かった点 ==
−
コンパクトで 1U に 2 台を無理なく置ける
 
  
−
BGP はまずまず動く
+
* コンパクトで 1U に 2 台を無理なく置ける
 +
* OSPF / BGP はまずまず動く
 +
* CLI が Juniper + Cisco ライクで使いやすい
 +
* IPsec VPN が固定グローバル IP <->  NAT された固定グローバルで組める
 +
* 軽量・コンパクトで OSPF / BGP がまずまず動くので、今後は検証環境を組むときに使い勝手が良さそう
 +
 
 +
== ハードウェアの選定 ==
 +
ハードウェアは以下の基準で選定し、シンクライアント用 PC の '''Fujitsu Futro S920''' '''/ S900''' にしました。
 +
 
 +
* 適価であること
 +
** 2 拠点で合計 4 台導入するため、1 台 1 万円程度が望ましい
 +
** 1 台 2 万以上かかるなら、中古のメーカー製が視野に入ってしまう
 +
* 電源を off / on しても問題ないこと
 +
** ルータがハングアップしたとき、遠距離の家族でも復旧できるのが重要
 +
** 他の VM が稼働中のハイパーバイザを、電源 off / on するのは避けたい
 +
** 申し訳ないが HDD 搭載は NG
 +
* メーカー製ルータに近い接続が行えること
 +
** シリアルコンソールで管理したり、多ポートで冗長性が確保できる
 +
** KVM だとコストが高いので・・・
 +
* [[VyOS と Tailscale で高速・冗長化された VPN を作る方法|Tailscale]] がインストールできること
 +
** IPsec VPN では全く歯が立たない利便性とパフォーマンス
 +
** メーカー製ルータだとインストールする or 代替機能がなく、難しい
 +
 
 +
 
 +
S920 の特徴は以下でした。
 +
 
 +
* ルータとしてはなかなか良スペック
 +
** CPU が AMD 4 コア
 +
** 4GB メモリ
 +
** SSD が小容量とはいえ付属してきた
 +
*'''PCIe 4x があり、NIC を増設'''できる
 +
* '''RS-232C シリアルポートが 2 つ'''ついており、VyOS の起動ログを確認できる
 +
* スペックが良い感じに'''低い'''ので、ハイパーバイザを入れる気にならない
 +
* Opensense FW で[https://forums.servethehome.com/index.php?threads/fujitsu-futro-s920-thin-client-as-opnsense-firewall.31087/ 先駆者]がいた
 +
 
 +
国内では手に入らなかったため、eBay でドイツから入手したのは送料の面で残念でした。
 +
 
 +
 
 +
他に上げた候補は、以下があります。
 +
 
 +
=== Fujitsu Futro S900 ===
 +
1 台買ってみましたが、PCIe 特殊配線 + PCI で、PCIe はライザーカードが手に入りませんでした。
 +
 
 +
PCI の 2x1G NIC を積んで妥協してます。PCI の NIC は古すぎて入手性がかなり悪いです。
 +
 
 +
=== Lenovo ThinkCentre Tiny ===
 +
適価で手に入れば[[6 万円で 1L サイズ 6 コア 10G x2 サーバを組む方法#VyOS .E3.82.B9.E3.83.AB.E3.83.BC.E3.83.97.E3.83.83.E3.83.88.E3.83.86.E3.82.B9.E3.83.88|別のエントリでも書いた通り]]、こちらのほうが良いでしょう。
 +
 
 +
ただ 1 万円を下回る金額では PC として使い物にならない = 中古市場にも
 +
 
 +
ほぼ出回らないため、入手が難しいと思います。
 +
 
 +
 
 +
こちらを買うならリソースがもったいないため、ハイパーバイザ上の VM で良い気がします。
 +
 
 +
=== 単ポートのシンクライアント端末 ===
 +
Wyse とか安く出回っているので、NIC の冗長性を捨てれば良いかも。
 +
 
 +
== VyOS ベアメタルのハードウェア構成 ==
 +
{| class="wikitable"
 +
|+Fujitsu Futro S920 シンクライアント
 +
!種類
 +
!詳細
 +
|-
 +
|シャーシ
 +
|シンクライアント Mini-ITX
 +
|-
 +
|CPU
 +
|AMD G-Series GX-415GA (1.50 GHz, Quad Core, 2 MB)
 +
|-
 +
|メモリ
 +
|DDR3 4GB
 +
|-
 +
|ストレージ
 +
|mSATA 4GB
 +
|-
 +
|シリアルポート
 +
|RS-232C 9pin x2
 +
|-
 +
|オンボード NIC
 +
|RTL8168g/8111g 1000 Base-T
 +
|-
 +
|PCIe 3.0 4x LP
 +
|Intel PT Quad Port NIC 82571EB/82571GB
 +
|-
 +
|OS
 +
|VyOS 1.4-rolling-202203110317
 +
|}
 +
 
 +
== VyOS ベアメタル 2 台分の費用 ==
 +
{| class="wikitable"
 +
|+BOM
 +
!
 +
!購入先
 +
!価格
 +
!個数
 +
!合計
 +
|-
 +
|Fujitsu Futro S920
 +
|eBay
 +
|10,969
 +
|2
 +
|21,939
 +
|-
 +
|PCIe ライザーカード
 +
SinLoon PCIE 8X Riser Card
 +
|Amazon.co.jp
 +
|1,299
 +
|2
 +
|2,598
 +
|-
 +
|Intel PT Quad Port NIC
 +
|秋葉原処分場
 +
|1,000
 +
|2
 +
|2,000
 +
|-
 +
|合計
 +
|
 +
|
 +
|
 +
|26,537
 +
|}
 +
IPv4 で 80 Mbps の VPN が組めるので、価格性能比はまずまずかなと思います。
  
−
CLI が Juniper ライクで使いやすい
+
NTT NGN で網内折り返しの IPv6 VPN が組める環境なら、そちらのほうが速いでしょう。
  
−
IPsec VPN が固定 IP + NAT された固定グローバルで組める
+
== VyOS ベアメタルの写真 ==
 +
[[ファイル:01-S920 front.jpg|なし|フレーム|S920 前面]]
 +
[[ファイル:02-S920 Rear 10G.jpg|なし|フレーム|S920 背面 10G NIC 搭載]]
 +
[[ファイル:03-S920 inside 10G.jpg|なし|フレーム|S920 内部 10G NIC 搭載]]
 +
[[ファイル:04-S920 10G plus riser.jpg|なし|フレーム|S920 用 10G NIC と PCIe ライザー]]
 +
[[ファイル:05-S920 4x1G Rear.jpg|なし|フレーム|S920 背面 4x1G NIC 搭載]]
  
−
軽量・コンパクトで OSPF / BGP がまずまず動くので、今後は検証環境を組むときに使い勝手が良さそう
 
  
 
== 比較表 ==
 
== 比較表 ==
 
{| class="wikitable"
 
{| class="wikitable"
 
|+
 
|+
 +
新旧比較表
 
!
 
!
 
! colspan="3" |ハードウェア
 
! colspan="3" |ハードウェア
−
!
 
 
! colspan="3" |ソフトウェア
 
! colspan="3" |ソフトウェア
−
!
 
 
|-
 
|-
 
!
 
!
59行目: 188行目:
 
!拡張性
 
!拡張性
 
!速度
 
!速度
−
!
 
 
!安定性
 
!安定性
 
!開発体制
 
!開発体制
 
!拡張性
 
!拡張性
−
!
 
 
|-
 
|-
 
|Edge Router-X
 
|Edge Router-X
69行目: 196行目:
 
|✕
 
|✕
 
|△
 
|△
−
|
 
 
|△
 
|△
 
|✕
 
|✕
 
|△
 
|△
−
|
 
 
|-
 
|-
 
|VyOS VM
 
|VyOS VM
79行目: 204行目:
 
|○
 
|○
 
|◎
 
|◎
−
|
 
 
| rowspan="2" |○
 
| rowspan="2" |○
 
| rowspan="2" |○
 
| rowspan="2" |○
 
|○
 
|○
−
|
 
 
|-
 
|-
 
|VyOS ベアメタル
 
|VyOS ベアメタル
89行目: 212行目:
 
|○
 
|○
 
|◎
 
|◎
−
|
 
 
|○
 
|○
−
|
 
 
|}
 
|}
  
 
== リプレース後のメリット ==
 
== リプレース後のメリット ==
 +
=== ハードウェア ===
  
−
=== ハードウェア ===
+
* シリアル コンソール接続が可能になる
 +
* NIC 変更でパフォーマンスアップ可能
 +
** i350-T4 で XDP 有効化
 +
*** まだ Experimental で安定性はなさそう
 +
** 10G NIC で NTT フレッツ光クロスに対応
 +
* Mini PCIe 無線 LAN / WWAN カードで AP / LTE 追加可能
 +
** 手持ちの LTE カードは動かなかった
 +
* ストレージ容量を増加可能
  
 
=== ソフトウェア ===
 
=== ソフトウェア ===
 +
 +
* VyOS の Version 変更が可能になる
 +
* ストレージ容量を気にせず Tailscale を追加可能
 +
* 仮想版の VyOS とコンフィグ互換性が高いため、遠隔地のハードウェアが壊れても仮想版で仮復旧できる
 +
** スタンバイ機は仮想版でも良い気がします
 +
* 最近シリアルコンソール サーバ機能が VyOS に実装されたため、多ポート USB シリアル変換器があると活用できる
  
 
== リプレース後のデメリット ==
 
== リプレース後のデメリット ==
  
 
=== ハードウェア ===
 
=== ハードウェア ===
 +
 +
* 高さがぎりぎり 1U で収まらない
  
 
=== ソフトウェア ===
 
=== ソフトウェア ===
 +
 +
* VyOS 1.4 2022/12 のイメージだと、BGP のコンフィグが再起動で消失してしまう
 +
** どうも行数が多いと Python でコケてしまう模様
 +
** 2022/03 のイメージでは発生しなかった
 +
[[カテゴリ:VyOS]]

2023年2月9日 (木) 10:49時点における最新版

西日本と東日本のインターネット用ルータ兼、VPN ルータの Edge Router-X を VyOS にリプレースしました。

Edge Router-X リプレースの背景

ハードウェア

  • 新品が適価で手に入らないため、壊れたら保守できない (=高価ならしたくない)
  • getic (旧 euro dk) で 1 年以上 Out of Stock (在庫なし)
    • 半導体不足の影響だとしても、長期すぎる
  • 2022/09 現在、Amazon.co.jp で \17,000 , Amazon.com で $110 程度
    • 2019/07 に euro dk で買ったときは、3 台買って 1 台辺り $58
    • 円高の影響も大きくなっている
  • メモリ・ストレージが小さい

ソフトウェア

PPPoE Client の動作が不安定

  • 1 ヶ月に 1 回ほどアクセスできなくなってしまう
  • せめて crash して自動復旧してほしい
  • メモリ容量が足りなくて、プロセスが OOM Killer されてる ?

OSPF の動作が不安定

  • ルーティングテーブルに載った宛先に、転送してくれない場合がある
  • 再起動で復旧するため、コンフィグのミスではなさそう
  • 時間経過で発生するため、トリガがわからない

L3VPN / L2VPN が遅い

  • L3VPN は最大で -30Mbps 程度
  • ipsec offload すると不安定なのでしたくない

ファームウェアのリリース タイミングがおかしい

  • 開発体制が疑問 以前開発者がやめて長期間新 Ver がリリースされないことがあった
  • 以前 v2.1 で NetFlow を正式に実装というアナウンスが出ていたが、全くリリースされない
  • 1 年に 1 回 Hotfix は出ているが・・・
    • もう少し頻繁に更新したい


Edge Router-X の良かった点

  • コンパクトで 1U に 2 台を無理なく置ける
  • OSPF / BGP はまずまず動く
  • CLI が Juniper + Cisco ライクで使いやすい
  • IPsec VPN が固定グローバル IP <-> NAT された固定グローバルで組める
  • 軽量・コンパクトで OSPF / BGP がまずまず動くので、今後は検証環境を組むときに使い勝手が良さそう

ハードウェアの選定

ハードウェアは以下の基準で選定し、シンクライアント用 PC の Fujitsu Futro S920 / S900 にしました。

  • 適価であること
    • 2 拠点で合計 4 台導入するため、1 台 1 万円程度が望ましい
    • 1 台 2 万以上かかるなら、中古のメーカー製が視野に入ってしまう
  • 電源を off / on しても問題ないこと
    • ルータがハングアップしたとき、遠距離の家族でも復旧できるのが重要
    • 他の VM が稼働中のハイパーバイザを、電源 off / on するのは避けたい
    • 申し訳ないが HDD 搭載は NG
  • メーカー製ルータに近い接続が行えること
    • シリアルコンソールで管理したり、多ポートで冗長性が確保できる
    • KVM だとコストが高いので・・・
  • Tailscale がインストールできること
    • IPsec VPN では全く歯が立たない利便性とパフォーマンス
    • メーカー製ルータだとインストールする or 代替機能がなく、難しい


S920 の特徴は以下でした。

  • ルータとしてはなかなか良スペック
    • CPU が AMD 4 コア
    • 4GB メモリ
    • SSD が小容量とはいえ付属してきた
  • PCIe 4x があり、NIC を増設できる
  • RS-232C シリアルポートが 2 つついており、VyOS の起動ログを確認できる
  • スペックが良い感じに低いので、ハイパーバイザを入れる気にならない
  • Opensense FW で先駆者がいた

国内では手に入らなかったため、eBay でドイツから入手したのは送料の面で残念でした。


他に上げた候補は、以下があります。

Fujitsu Futro S900

1 台買ってみましたが、PCIe 特殊配線 + PCI で、PCIe はライザーカードが手に入りませんでした。

PCI の 2x1G NIC を積んで妥協してます。PCI の NIC は古すぎて入手性がかなり悪いです。

Lenovo ThinkCentre Tiny

適価で手に入れば別のエントリでも書いた通り、こちらのほうが良いでしょう。

ただ 1 万円を下回る金額では PC として使い物にならない = 中古市場にも

ほぼ出回らないため、入手が難しいと思います。


こちらを買うならリソースがもったいないため、ハイパーバイザ上の VM で良い気がします。

単ポートのシンクライアント端末

Wyse とか安く出回っているので、NIC の冗長性を捨てれば良いかも。

VyOS ベアメタルのハードウェア構成

Fujitsu Futro S920 シンクライアント
種類 詳細
シャーシ シンクライアント Mini-ITX
CPU AMD G-Series GX-415GA (1.50 GHz, Quad Core, 2 MB)
メモリ DDR3 4GB
ストレージ mSATA 4GB
シリアルポート RS-232C 9pin x2
オンボード NIC RTL8168g/8111g 1000 Base-T
PCIe 3.0 4x LP Intel PT Quad Port NIC 82571EB/82571GB
OS VyOS 1.4-rolling-202203110317

VyOS ベアメタル 2 台分の費用

BOM
購入先 価格 個数 合計
Fujitsu Futro S920 eBay 10,969 2 21,939
PCIe ライザーカード

SinLoon PCIE 8X Riser Card

Amazon.co.jp 1,299 2 2,598
Intel PT Quad Port NIC 秋葉原処分場 1,000 2 2,000
合計 26,537

IPv4 で 80 Mbps の VPN が組めるので、価格性能比はまずまずかなと思います。

NTT NGN で網内折り返しの IPv6 VPN が組める環境なら、そちらのほうが速いでしょう。

VyOS ベアメタルの写真

S920 前面
S920 背面 10G NIC 搭載
S920 内部 10G NIC 搭載
S920 用 10G NIC と PCIe ライザー
S920 背面 4x1G NIC 搭載


比較表

新旧比較表
ハードウェア ソフトウェア
コンパクト 拡張性 速度 安定性 開発体制 拡張性
Edge Router-X ○ ✕ △ △ ✕ △
VyOS VM ○ ○ ◎ ○ ○ ○
VyOS ベアメタル △ ○ ◎ ○

リプレース後のメリット

ハードウェア

  • シリアル コンソール接続が可能になる
  • NIC 変更でパフォーマンスアップ可能
    • i350-T4 で XDP 有効化
      • まだ Experimental で安定性はなさそう
    • 10G NIC で NTT フレッツ光クロスに対応
  • Mini PCIe 無線 LAN / WWAN カードで AP / LTE 追加可能
    • 手持ちの LTE カードは動かなかった
  • ストレージ容量を増加可能

ソフトウェア

  • VyOS の Version 変更が可能になる
  • ストレージ容量を気にせず Tailscale を追加可能
  • 仮想版の VyOS とコンフィグ互換性が高いため、遠隔地のハードウェアが壊れても仮想版で仮復旧できる
    • スタンバイ機は仮想版でも良い気がします
  • 最近シリアルコンソール サーバ機能が VyOS に実装されたため、多ポート USB シリアル変換器があると活用できる

リプレース後のデメリット

ハードウェア

  • 高さがぎりぎり 1U で収まらない

ソフトウェア

  • VyOS 1.4 2022/12 のイメージだと、BGP のコンフィグが再起動で消失してしまう
    • どうも行数が多いと Python でコケてしまう模様
    • 2022/03 のイメージでは発生しなかった
「http://hkatou.net/index.php?title=2022-09-30_Edge_Router-X_を_VyOS_ベアメタルにリプレース&oldid=883」から取得