2022-09-30 Edge Router-X を VyOS ベアメタルにリプレース
西日本と東日本のインターネット用ルータ兼、VPN ルータの Edge Router-X を VyOS にリプレースしました。
Edge Router-X リプレースの背景
ハードウェア
- 新品が適価で手に入らないため、壊れたら保守できない (=高価ならしたくない)
- getic (旧 euro dk) で 1 年以上 Out of Stock (在庫なし)
- 半導体不足の影響だとしても、長期すぎる
- 2022/09 現在、Amazon.co.jp で \17,000 , Amazon.com で $110 程度
- 2019/07 に euro dk で買ったときは、3 台買って 1 台辺り $58
- 円高の影響も大きくなっている
- メモリ・ストレージが小さい
ソフトウェア
PPPoE Client の動作が不安定
- 1 ヶ月に 1 回ほどアクセスできなくなってしまう
- せめて crash して自動復旧してほしい
- メモリ容量が足りなくて、プロセスが OOM Killer されてる ?
OSPF の動作が不安定
- ルーティングテーブルに載った宛先に、転送してくれない場合がある
- 再起動で復旧するため、コンフィグのミスではなさそう
- 時間経過で発生するため、トリガがわからない
L3VPN / L2VPN が遅い
- L3VPN は最大で -30Mbps 程度
- ipsec offload すると不安定なのでしたくない
ファームウェアのリリース タイミングがおかしい
- 開発体制が疑問 以前開発者がやめて長期間新 Ver がリリースされないことがあった
- 以前 v2.1 で NetFlow を正式に実装というアナウンスが出ていたが、全くリリースされない
- 1 年に 1 回 Hotfix は出ているが・・・
- もう少し頻繁に更新したい
Edge Router-X の良かった点
- コンパクトで 1U に 2 台を無理なく置ける
- OSPF / BGP はまずまず動く
- CLI が Juniper + Cisco ライクで使いやすい
- IPsec VPN が固定グローバル IP <-> NAT された固定グローバルで組める
- 軽量・コンパクトで OSPF / BGP がまずまず動くので、今後は検証環境を組むときに使い勝手が良さそう
ハードウェアの選定
ハードウェアは以下の基準で選定し、シンクライアント用 PC の Fujitsu Futro S920 / S900 にしました。
- 適価であること
- 2 拠点で合計 4 台導入するため、1 台 1 万円程度が望ましい
- 1 台 2 万以上かかるなら、中古のメーカー製が視野に入ってしまう
- 電源を off / on しても問題ないこと
- ルータがハングアップしたとき、遠距離の家族でも復旧できるのが重要
- 他の VM が稼働中のハイパーバイザを、電源 off / on するのは避けたい
- 申し訳ないが HDD 搭載は NG
- メーカー製ルータに近い接続が行えること
- シリアルコンソールで管理したり、多ポートで冗長性が確保できる
- KVM だとコストが高いので・・・
- Tailscale がインストールできること
- IPsec VPN では全く歯が立たない利便性とパフォーマンス
- メーカー製ルータだとインストールする or 代替機能がなく、難しい
S920 の特徴は以下でした。
- ルータとしてはなかなか良スペック
- CPU が AMD 4 コア
- 4GB メモリ
- SSD が小容量とはいえ付属してきた
- PCIe 4x があり、NIC を増設できる
- RS-232C シリアルポートが 2 つついており、VyOS の起動ログを確認できる
- スペックが良い感じに低いので、ハイパーバイザを入れる気にならない
- Opensense FW で先駆者がいた
国内では手に入らなかったため、eBay でドイツから入手したのは送料の面で残念でした。
他に上げた候補は、以下があります。
Fujitsu Futro S900
1 台買ってみましたが、PCIe 特殊配線 + PCI で、PCIe はライザーカードが手に入りませんでした。
PCI の 2x1G NIC を積んで妥協してます。PCI の NIC は古すぎて入手性がかなり悪いです。
Lenovo ThinkCentre Tiny
適価で手に入れば別のエントリでも書いた通り、こちらのほうが良いでしょう。
ただ 1 万円を下回る金額では PC として使い物にならない = 中古市場にも
ほぼ出回らないため、入手が難しいと思います。
こちらを買うならリソースがもったいないため、ハイパーバイザ上の VM で良い気がします。
単ポートのシンクライアント端末
Wyse とか安く出回っているので、NIC の冗長性を捨てれば良いかも。
VyOS ベアメタルのハードウェア構成
| 種類 | 詳細 |
|---|---|
| シャーシ | シンクライアント Mini-ITX |
| CPU | AMD G-Series GX-415GA (1.50 GHz, Quad Core, 2 MB) |
| メモリ | DDR3 4GB |
| ストレージ | mSATA 4GB |
| シリアルポート | RS-232C 9pin x2 |
| オンボード NIC | RTL8168g/8111g 1000 Base-T |
| PCIe 3.0 4x LP | Intel PT Quad Port NIC 82571EB/82571GB |
| OS | VyOS 1.4-rolling-202203110317 |
VyOS ベアメタル 2 台分の費用
| 購入先 | 価格 | 個数 | 合計 | |
|---|---|---|---|---|
| Fujitsu Futro S920 | eBay | 10,969 | 2 | 21,939 |
| PCIe ライザーカード
SinLoon PCIE 8X Riser Card |
Amazon.co.jp | 1,299 | 2 | 2,598 |
| Intel PT Quad Port NIC | 秋葉原処分場 | 1,000 | 2 | 2,000 |
| 合計 | 26,537 |
IPv4 で 80 Mbps の VPN が組めるので、価格性能比はまずまずかなと思います。
NTT NGN で網内折り返しの IPv6 VPN が組める環境なら、そちらのほうが速いでしょう。
VyOS ベアメタルの写真
比較表
| ハードウェア | ソフトウェア | |||||
|---|---|---|---|---|---|---|
| コンパクト | 拡張性 | 速度 | 安定性 | 開発体制 | 拡張性 | |
| Edge Router-X | ○ | ✕ | △ | △ | ✕ | △ |
| VyOS VM | ○ | ○ | ◎ | ○ | ○ | ○ |
| VyOS ベアメタル | △ | ○ | ◎ | ○ | ||
リプレース後のメリット
ハードウェア
- シリアル コンソール接続が可能になる
- NIC 変更でパフォーマンスアップ可能
- i350-T4 で XDP 有効化
- まだ Experimental で安定性はなさそう
- 10G NIC で NTT フレッツ光クロスに対応
- i350-T4 で XDP 有効化
- Mini PCIe 無線 LAN / WWAN カードで AP / LTE 追加可能
- 手持ちの LTE カードは動かなかった
- ストレージ容量を増加可能
ソフトウェア
- VyOS の Version 変更が可能になる
- ストレージ容量を気にせず Tailscale を追加可能
- 仮想版の VyOS とコンフィグ互換性が高いため、遠隔地のハードウェアが壊れても仮想版で仮復旧できる
- スタンバイ機は仮想版でも良い気がします
- 最近シリアルコンソール サーバ機能が VyOS に実装されたため、多ポート USB シリアル変換器があると活用できる
リプレース後のデメリット
ハードウェア
- 高さがぎりぎり 1U で収まらない
ソフトウェア
- VyOS 1.4 2022/12 のイメージだと、BGP のコンフィグが再起動で消失してしまう
- どうも行数が多いと Python でコケてしまう模様
- 2022/03 のイメージでは発生しなかった