「2022-09-30 Edge Router-X を VyOS ベアメタルにリプレース」の版間の差分
ナビゲーションに移動
検索に移動
| (同じ利用者による、間の2版が非表示) | |||
| 1行目: | 1行目: | ||
| + | 西日本と東日本のインターネット用ルータ兼、VPN ルータの Edge Router-X を VyOS にリプレースしました。 | ||
| + | |||
== Edge Router-X リプレースの背景 == | == Edge Router-X リプレースの背景 == | ||
| 7行目: | 9行目: | ||
** 半導体不足の影響だとしても、長期すぎる | ** 半導体不足の影響だとしても、長期すぎる | ||
* 2022/09 現在、Amazon.co.jp で \17,000 , Amazon.com で $110 程度 | * 2022/09 現在、Amazon.co.jp で \17,000 , Amazon.com で $110 程度 | ||
| − | ** 2019/07 | + | ** 2019/07 に euro dk で買ったときは、3 台買って 1 台辺り $58 |
| + | ** 円高の影響も大きくなっている | ||
* メモリ・ストレージが小さい | * メモリ・ストレージが小さい | ||
| 15行目: | 18行目: | ||
* 1 ヶ月に 1 回ほどアクセスできなくなってしまう | * 1 ヶ月に 1 回ほどアクセスできなくなってしまう | ||
* せめて crash して自動復旧してほしい | * せめて crash して自動復旧してほしい | ||
| + | * メモリ容量が足りなくて、プロセスが OOM Killer されてる ? | ||
'''OSPF の動作が不安定''' | '''OSPF の動作が不安定''' | ||
| 44行目: | 48行目: | ||
== ハードウェアの選定 == | == ハードウェアの選定 == | ||
| − | ハードウェアは以下の基準で選定し、シンクライアント用 PC の '''Fujitsu Futro S920''' にしました。 | + | ハードウェアは以下の基準で選定し、シンクライアント用 PC の '''Fujitsu Futro S920''' '''/ S900''' にしました。 |
* 適価であること | * 適価であること | ||
| − | ** 2 | + | ** 2 拠点で合計 4 台導入するため、1 台 1 万円程度が望ましい |
** 1 台 2 万以上かかるなら、中古のメーカー製が視野に入ってしまう | ** 1 台 2 万以上かかるなら、中古のメーカー製が視野に入ってしまう | ||
* 電源を off / on しても問題ないこと | * 電源を off / on しても問題ないこと | ||
| 54行目: | 58行目: | ||
** 申し訳ないが HDD 搭載は NG | ** 申し訳ないが HDD 搭載は NG | ||
* メーカー製ルータに近い接続が行えること | * メーカー製ルータに近い接続が行えること | ||
| − | ** | + | ** シリアルコンソールで管理したり、多ポートで冗長性が確保できる |
** KVM だとコストが高いので・・・ | ** KVM だとコストが高いので・・・ | ||
| − | * Tailscale がインストールできること | + | * [[VyOS と Tailscale で高速・冗長化された VPN を作る方法|Tailscale]] がインストールできること |
** IPsec VPN では全く歯が立たない利便性とパフォーマンス | ** IPsec VPN では全く歯が立たない利便性とパフォーマンス | ||
| − | ** | + | ** メーカー製ルータだとインストールする or 代替機能がなく、難しい |
| 67行目: | 71行目: | ||
** 4GB メモリ | ** 4GB メモリ | ||
** SSD が小容量とはいえ付属してきた | ** SSD が小容量とはいえ付属してきた | ||
| − | *'''PCIe | + | *'''PCIe 4x があり、NIC を増設'''できる |
* '''RS-232C シリアルポートが 2 つ'''ついており、VyOS の起動ログを確認できる | * '''RS-232C シリアルポートが 2 つ'''ついており、VyOS の起動ログを確認できる | ||
| − | * | + | * スペックが良い感じに'''低い'''ので、ハイパーバイザを入れる気にならない |
* Opensense FW で[https://forums.servethehome.com/index.php?threads/fujitsu-futro-s920-thin-client-as-opnsense-firewall.31087/ 先駆者]がいた | * Opensense FW で[https://forums.servethehome.com/index.php?threads/fujitsu-futro-s920-thin-client-as-opnsense-firewall.31087/ 先駆者]がいた | ||
| 80行目: | 84行目: | ||
1 台買ってみましたが、PCIe 特殊配線 + PCI で、PCIe はライザーカードが手に入りませんでした。 | 1 台買ってみましたが、PCIe 特殊配線 + PCI で、PCIe はライザーカードが手に入りませんでした。 | ||
| − | PCI の 2x1G NIC | + | PCI の 2x1G NIC を積んで妥協してます。PCI の NIC は古すぎて入手性がかなり悪いです。 |
=== Lenovo ThinkCentre Tiny === | === Lenovo ThinkCentre Tiny === | ||
| 91行目: | 95行目: | ||
こちらを買うならリソースがもったいないため、ハイパーバイザ上の VM で良い気がします。 | こちらを買うならリソースがもったいないため、ハイパーバイザ上の VM で良い気がします。 | ||
| + | |||
| + | === 単ポートのシンクライアント端末 === | ||
| + | Wyse とか安く出回っているので、NIC の冗長性を捨てれば良いかも。 | ||
== VyOS ベアメタルのハードウェア構成 == | == VyOS ベアメタルのハードウェア構成 == | ||
| 123行目: | 130行目: | ||
|} | |} | ||
| − | == VyOS | + | == VyOS ベアメタル 2 台分の費用 == |
{| class="wikitable" | {| class="wikitable" | ||
|+BOM | |+BOM | ||
| 157行目: | 164行目: | ||
|26,537 | |26,537 | ||
|} | |} | ||
| + | IPv4 で 80 Mbps の VPN が組めるので、価格性能比はまずまずかなと思います。 | ||
| + | |||
| + | NTT NGN で網内折り返しの IPv6 VPN が組める環境なら、そちらのほうが速いでしょう。 | ||
== VyOS ベアメタルの写真 == | == VyOS ベアメタルの写真 == | ||
| 169行目: | 179行目: | ||
{| class="wikitable" | {| class="wikitable" | ||
|+ | |+ | ||
| + | 新旧比較表 | ||
! | ! | ||
! colspan="3" |ハードウェア | ! colspan="3" |ハードウェア | ||
| 210行目: | 221行目: | ||
* NIC 変更でパフォーマンスアップ可能 | * NIC 変更でパフォーマンスアップ可能 | ||
** i350-T4 で XDP 有効化 | ** i350-T4 で XDP 有効化 | ||
| + | *** まだ Experimental で安定性はなさそう | ||
** 10G NIC で NTT フレッツ光クロスに対応 | ** 10G NIC で NTT フレッツ光クロスに対応 | ||
| − | * PCIe 無線 LAN / WWAN カードで AP / LTE 追加可能 | + | * Mini PCIe 無線 LAN / WWAN カードで AP / LTE 追加可能 |
| + | ** 手持ちの LTE カードは動かなかった | ||
* ストレージ容量を増加可能 | * ストレージ容量を増加可能 | ||
| 218行目: | 231行目: | ||
* VyOS の Version 変更が可能になる | * VyOS の Version 変更が可能になる | ||
* ストレージ容量を気にせず Tailscale を追加可能 | * ストレージ容量を気にせず Tailscale を追加可能 | ||
| + | * 仮想版の VyOS とコンフィグ互換性が高いため、遠隔地のハードウェアが壊れても仮想版で仮復旧できる | ||
| + | ** スタンバイ機は仮想版でも良い気がします | ||
| + | * 最近シリアルコンソール サーバ機能が VyOS に実装されたため、多ポート USB シリアル変換器があると活用できる | ||
== リプレース後のデメリット == | == リプレース後のデメリット == | ||
| 223行目: | 239行目: | ||
=== ハードウェア === | === ハードウェア === | ||
| − | * | + | * 高さがぎりぎり 1U で収まらない |
=== ソフトウェア === | === ソフトウェア === | ||
| − | * | + | * VyOS 1.4 2022/12 のイメージだと、BGP のコンフィグが再起動で消失してしまう |
| + | ** どうも行数が多いと Python でコケてしまう模様 | ||
| + | ** 2022/03 のイメージでは発生しなかった | ||
| + | [[カテゴリ:VyOS]] | ||
2023年2月9日 (木) 10:49時点における最新版
西日本と東日本のインターネット用ルータ兼、VPN ルータの Edge Router-X を VyOS にリプレースしました。
Edge Router-X リプレースの背景
ハードウェア
- 新品が適価で手に入らないため、壊れたら保守できない (=高価ならしたくない)
- getic (旧 euro dk) で 1 年以上 Out of Stock (在庫なし)
- 半導体不足の影響だとしても、長期すぎる
- 2022/09 現在、Amazon.co.jp で \17,000 , Amazon.com で $110 程度
- 2019/07 に euro dk で買ったときは、3 台買って 1 台辺り $58
- 円高の影響も大きくなっている
- メモリ・ストレージが小さい
ソフトウェア
PPPoE Client の動作が不安定
- 1 ヶ月に 1 回ほどアクセスできなくなってしまう
- せめて crash して自動復旧してほしい
- メモリ容量が足りなくて、プロセスが OOM Killer されてる ?
OSPF の動作が不安定
- ルーティングテーブルに載った宛先に、転送してくれない場合がある
- 再起動で復旧するため、コンフィグのミスではなさそう
- 時間経過で発生するため、トリガがわからない
L3VPN / L2VPN が遅い
- L3VPN は最大で -30Mbps 程度
- ipsec offload すると不安定なのでしたくない
ファームウェアのリリース タイミングがおかしい
- 開発体制が疑問 以前開発者がやめて長期間新 Ver がリリースされないことがあった
- 以前 v2.1 で NetFlow を正式に実装というアナウンスが出ていたが、全くリリースされない
- 1 年に 1 回 Hotfix は出ているが・・・
- もう少し頻繁に更新したい
Edge Router-X の良かった点
- コンパクトで 1U に 2 台を無理なく置ける
- OSPF / BGP はまずまず動く
- CLI が Juniper + Cisco ライクで使いやすい
- IPsec VPN が固定グローバル IP <-> NAT された固定グローバルで組める
- 軽量・コンパクトで OSPF / BGP がまずまず動くので、今後は検証環境を組むときに使い勝手が良さそう
ハードウェアの選定
ハードウェアは以下の基準で選定し、シンクライアント用 PC の Fujitsu Futro S920 / S900 にしました。
- 適価であること
- 2 拠点で合計 4 台導入するため、1 台 1 万円程度が望ましい
- 1 台 2 万以上かかるなら、中古のメーカー製が視野に入ってしまう
- 電源を off / on しても問題ないこと
- ルータがハングアップしたとき、遠距離の家族でも復旧できるのが重要
- 他の VM が稼働中のハイパーバイザを、電源 off / on するのは避けたい
- 申し訳ないが HDD 搭載は NG
- メーカー製ルータに近い接続が行えること
- シリアルコンソールで管理したり、多ポートで冗長性が確保できる
- KVM だとコストが高いので・・・
- Tailscale がインストールできること
- IPsec VPN では全く歯が立たない利便性とパフォーマンス
- メーカー製ルータだとインストールする or 代替機能がなく、難しい
S920 の特徴は以下でした。
- ルータとしてはなかなか良スペック
- CPU が AMD 4 コア
- 4GB メモリ
- SSD が小容量とはいえ付属してきた
- PCIe 4x があり、NIC を増設できる
- RS-232C シリアルポートが 2 つついており、VyOS の起動ログを確認できる
- スペックが良い感じに低いので、ハイパーバイザを入れる気にならない
- Opensense FW で先駆者がいた
国内では手に入らなかったため、eBay でドイツから入手したのは送料の面で残念でした。
他に上げた候補は、以下があります。
Fujitsu Futro S900
1 台買ってみましたが、PCIe 特殊配線 + PCI で、PCIe はライザーカードが手に入りませんでした。
PCI の 2x1G NIC を積んで妥協してます。PCI の NIC は古すぎて入手性がかなり悪いです。
Lenovo ThinkCentre Tiny
適価で手に入れば別のエントリでも書いた通り、こちらのほうが良いでしょう。
ただ 1 万円を下回る金額では PC として使い物にならない = 中古市場にも
ほぼ出回らないため、入手が難しいと思います。
こちらを買うならリソースがもったいないため、ハイパーバイザ上の VM で良い気がします。
単ポートのシンクライアント端末
Wyse とか安く出回っているので、NIC の冗長性を捨てれば良いかも。
VyOS ベアメタルのハードウェア構成
| 種類 | 詳細 |
|---|---|
| シャーシ | シンクライアント Mini-ITX |
| CPU | AMD G-Series GX-415GA (1.50 GHz, Quad Core, 2 MB) |
| メモリ | DDR3 4GB |
| ストレージ | mSATA 4GB |
| シリアルポート | RS-232C 9pin x2 |
| オンボード NIC | RTL8168g/8111g 1000 Base-T |
| PCIe 3.0 4x LP | Intel PT Quad Port NIC 82571EB/82571GB |
| OS | VyOS 1.4-rolling-202203110317 |
VyOS ベアメタル 2 台分の費用
| 購入先 | 価格 | 個数 | 合計 | |
|---|---|---|---|---|
| Fujitsu Futro S920 | eBay | 10,969 | 2 | 21,939 |
| PCIe ライザーカード
SinLoon PCIE 8X Riser Card |
Amazon.co.jp | 1,299 | 2 | 2,598 |
| Intel PT Quad Port NIC | 秋葉原処分場 | 1,000 | 2 | 2,000 |
| 合計 | 26,537 |
IPv4 で 80 Mbps の VPN が組めるので、価格性能比はまずまずかなと思います。
NTT NGN で網内折り返しの IPv6 VPN が組める環境なら、そちらのほうが速いでしょう。
VyOS ベアメタルの写真
S920 前面
S920 背面 10G NIC 搭載
S920 内部 10G NIC 搭載
S920 用 10G NIC と PCIe ライザー
S920 背面 4x1G NIC 搭載
比較表
| ハードウェア | ソフトウェア | |||||
|---|---|---|---|---|---|---|
| コンパクト | 拡張性 | 速度 | 安定性 | 開発体制 | 拡張性 | |
| Edge Router-X | ○ | ✕ | △ | △ | ✕ | △ |
| VyOS VM | ○ | ○ | ◎ | ○ | ○ | ○ |
| VyOS ベアメタル | △ | ○ | ◎ | ○ | ||
リプレース後のメリット
ハードウェア
- シリアル コンソール接続が可能になる
- NIC 変更でパフォーマンスアップ可能
- i350-T4 で XDP 有効化
- まだ Experimental で安定性はなさそう
- 10G NIC で NTT フレッツ光クロスに対応
- i350-T4 で XDP 有効化
- Mini PCIe 無線 LAN / WWAN カードで AP / LTE 追加可能
- 手持ちの LTE カードは動かなかった
- ストレージ容量を増加可能
ソフトウェア
- VyOS の Version 変更が可能になる
- ストレージ容量を気にせず Tailscale を追加可能
- 仮想版の VyOS とコンフィグ互換性が高いため、遠隔地のハードウェアが壊れても仮想版で仮復旧できる
- スタンバイ機は仮想版でも良い気がします
- 最近シリアルコンソール サーバ機能が VyOS に実装されたため、多ポート USB シリアル変換器があると活用できる
リプレース後のデメリット
ハードウェア
- 高さがぎりぎり 1U で収まらない
ソフトウェア
- VyOS 1.4 2022/12 のイメージだと、BGP のコンフィグが再起動で消失してしまう
- どうも行数が多いと Python でコケてしまう模様
- 2022/03 のイメージでは発生しなかった