InfiniBand vs. イーサネット: 両者は何か？

相互接続技術として、InfiniBandとイーサネットはそれぞれの特徴と違いがあり、どちらが優れていると一概に言うことはできません。両者は異なる応用分野で発展・進化を続けており、ネットワークの世界では欠かすことのできない2つの相互接続技術となっています。

InfiniBand vs. イーサネットネットワーク: 両者は何か？

InfiniBandネットワーク

InfiniBandとイーサネットの違いは、設計の観点からは大きく異なります。ネットワークを相互接続する技術として、InfiniBandはその高い信頼性、低レイテンシ、広帯域幅により、スーパーコンピューターのクラスターで広く使われています。さらに、人工知能の進歩に伴い、GPUサーバーに適したネットワーク相互接続技術でもあります。

4Xケーブルで10Gbits/secの生データ・レートを実現するために、InfiniBand標準では、1レーンあたり2.5Gビット/秒のベース・レートでSDR（Single Data Rate）信号の伝送が認められています。シングル・チャネルはそれぞれ5Gビット/秒と10Gビット/秒に拡張可能で、潜在的な最大データ・レートは4Xケーブルで40Gビット/秒、12Xケーブルで120Gビット/秒となり、InfiniBandネットワークはダブル・データ・レート（DDR）とクアドルプル・データ・レート（QDR）の信号を持つことができます。

InfiniBand Network

イーサネットネットワーク

1980年9月30日に導入されて以来、イーサネット規格はLANで最も広く使われている通信プロトコルとなりました。InfiniBandとは異なり、イーサネットは以下の主な目標を念頭に設計された：複数のシステム間で情報をいかに簡単に流すできるか。分散性と互換性を考慮して設計された典型的なネットワークです。従来のイーサネットは主にTCP/IPを使ってネットワークを構築し、徐々にRoCEへと発展してきました。

一般的に、イーサネットネットワークは、主に複数のコンピュータやプリンタ、スキャナなどの他のデバイスをローカルエリアネットワークに接続するために使用されます。光ファイバケーブルを通じて有線ネットワークにイーサネットネットワークを接続するだけでなく、ワイヤレスネットワーキング技術を通じてワイヤレスネットワークにイーサネットネットワークを実現することもできます。ファスト・イーサネット、ギガビット・イーサネット、10ギガビット・イーサネット、スイッチド・イーサネットがイーサネットの主な種類です。

Ethernet Network

''こちらもチェック- RoCE対Infiniband RDMA対TCP/IPの違い

InfiniBand vs. イーサネット: 両者の違いは何か？

高性能コンピューティングシナリオにおけるクラスタデータ伝送のボトルネックは、InfiniBandの本来の設計目標であり、時代の要求に沿った相互接続規格となっています。そのため、InfiniBandとイーサネットには、主に帯域幅、レイテンシ、ネットワークの信頼性、ネットワーク技術、アプリケーションシナリオの点で多くの違いがあります。

帯域幅

InfiniBandの誕生以来、InfiniBandネットワークの発展は長い間Ethernetのそれよりも速くなっていました。その主な理由は、InfiniBandが高性能コンピューティングにおけるサーバー間の相互接続に適用され、CPUの負荷を軽減するためです。しかし、イーサネットは端末機器の相互接続に向いており、帯域幅に対する要求はそれほど高くありません。

10Gを超える高速ネットワークトラフィックの場合、すべてのパケットをアンパックすると、多くのリソースを消費することになるります。第一世代のSDR InfiniBandは10Gbpsのレートで動作するため、データ伝送帯域幅の増加やCPU負荷の軽減に加え、CPUの負荷を軽減してネットワーク利用率を高める高速ネットワーク伝送が可能です。

ネットワークレイテンシー

ネットワークのレイテンシーに関しても、InfiniBandとイーサネットは大きく挙動が異なります。イーサネット・スイッチは通常、ネットワーク・トランスポート・モデルのレイヤー2技術として、ストア・アンド・フォワードとMACテーブル・ルックアップ・アドレッシングを採用しています。イーサネット・スイッチの処理フローは、IP、MPLS、QinQなどの複雑なサービスを考慮しなければならないため、InfiniBandスイッチの処理フローよりも長くなります。

一方、InfiniBandスイッチの場合、レイヤ2処理は非常に簡単です。16ビットのLIDで転送パス情報を検索するために使用できる唯一のものです。並行して、Cut-Through技術を活用することで、転送遅延を100ns以下にまで大幅に短縮し、イーサネット・スイッチよりも大幅に高速化します。

ネットワーク信頼性

パケットロスや再送はハイパフォーマンスコンピューティング全体のパフォーマンスに大きな影響を与えるため、メカニズムレベルでネットワークのロスレス特性を確保し、高信頼性機能を実現するためには、信頼性の高いネットワークプロトコルが必要です。独自に定義されたレイヤー1からレイヤー4までのフォーマットを持つInfiniBandは、完全なネットワークプロトコルです。エンドツーエンドのフロー制御は、InfiniBandネットワークのパケット送受信の基本であり、ロスレス・ネットワークを実現することができます。

InfiniBandと比較して、イーサネット・ネットワークにはスケジューリング・ベースのフロー制御メカニズムがありません。そのため、パケット送信時に相手側が輻輳するかどうかを保証することができません。ネットワークにおける瞬間的なトラフィックの急激な増加を吸収するためには、これらのメッセージを一時的に格納するために、スイッチ内に数十MBのキャッシュ領域を確保する必要があり、これがチップリソースを占有します。このため、同じ仕様のイーサネット・スイッチのチップ面積は、InfiniBandのそれよりも大幅に大きくなり、コストだけでなく消費電力も大きくなります。

ネットワーク構築方法

ネットワーキングモードの観点から見ると、InfiniBandネットワークはEthernetネットワークよりも管理が簡単です。SDN（ソフトウェア定義ネットワーキング）のアイデアはInfiniBandに設計上組み込まれています。各InfiniBandレイヤー2ネットワークには、サブネットマネージャーが存在し、ネットワークのノードのID（LocalID）を設定し、制御プレーンを介して一貫して転送経路情報を計算し、それをInfiniBandエクスチェンジに発行します。このようなレイヤー2ネットワークの構成を完了するために、特別な設定なしで構成する必要があります。

イーサネットネットワーキングモードでは、MACエントリを自動的に生成するために、IPはARP プロトコルと連携する必要があります。さらに、ネットワーク内の各サーバーは定期的にパケットを送信してエントリがリアルタイムに更新されることを保証する必要があります。仮想ネットワークを分割し、その規模を制限するために、VLANメカニズムを実装する必要があります。ただし、イーサネットネットワーク自体にはエントリ学習メカニズムがないため、ループネットワークが発生します。ネットワーク転送パスでのループを防ぐために、STPなどのプロトコルを実装する必要がありますが、これはネットワーク構成の複雑さを増加させます。

InfiniBand Networking

応用シナリオ

InfiniBandは、高帯域幅、低レイテンシ、並列コンピューティングの最適化されたサポートにより、HPC環境で広く使用されています。大規模なデータ処理と頻繁なノード間通信が重要なHPCクラスタの厳しい通信要件に対応するように設計されています。一方、イーサネットは、企業ネットワーキング、インターネットアクセス、ホームネットワーキングで一般的に使用されており、その主な利点は、低コスト、標準化、幅広いサポートです。

最近の動向では、大規模な計算能力への需要が急増しており、マシン内での高速通信やスーパーラージスケールクラスター内での低レイテンシ、高帯域幅の通信が求められています。トップ500のスーパーコンピューティングセンターのユーザー統計によると、IB（InfiniBand）ネットワークはトップ10とトップ100のセンターで重要な役割を果たしています。例えば、OpenAIはMicrosoft Azureに構築されたIBネットワークを使用してCHATGPTのトレーニングを行っており、大規模なスーパーコンピューティングセンターへの需要が大幅に増加しています。

InfiniBand製品の検索

上記のInfiniBandとEthernetの比較から判断すると、InfiniBandネットワークの利点は非常に顕著です。SDR 10Gbps、DDR 20Gbps、QDR 40Gps、FDR56Gbps、EDR 100Gbpsから今日の800Gbps InfiniBandまで、InfiniBandネットワークの急速な反復は、すべてRDMA技術の恩恵を受けています。

FSは、InfiniBandトランシーバー & DAC/AOCケーブル、InfiniBandアダプタ、およびInfiniBandスイッチなど、さまざまなInfiniBand製品を発売しました。それぞれを一つずつ見てみましょう。

InfiniBandトランシーバー＆DAC/AOCケーブル

FSは、40G~200G InfiniBandトランシーバとケーブルの豊富なセットを提供し、コンピューティングとストレージ・インフラの高効率な相互接続を支援します。

製品タイプ	製品	応用	コネクタ
InfiniBandトランシーバー	40Gトランシーバー	InfiniBand FDR10	MTP/MPO-12
	100Gトランシーバー	InfiniBand EDR	LCデュプレックス
	200Gトランシーバー	InfiniBand HDR	MTP/MPO-12
	400Gトランシーバー	InfiniBand NDR	MTP/MPO-12 APC
	800Gトランシーバー	InfiniBand NDR	デュアルMTP/MPO-12 APC
InfiniBand DACケーブル	40G DACケーブル	InfiniBand FDR10	QSFP+/QSFP+
	56G DACケーブル	InfiniBand FDR	QSFP+/QSFP+
	100G DACケーブル	InfiniBand EDR	QSFP28/QSFP28
	200G DACケーブル	InfiniBand HDR	QSFP56/QSFP56; QSFP56/2x QSFP56
	400G DACケーブル	InfiniBand HDR	OSFP/2x QSFP56
	800G DACケーブル	InfiniBand NDR	OSFP/OSFP; OSFP/2× OSFP; OSFP/4× OSFP
InfiniBand AOCケーブル	40G AOCケーブル	InfiniBand FDR10	QSFP+/QSFP+
	56G AOCケーブル	InfiniBand FDR	QSFP+/QSFP+
	100G AOCケーブル	InfiniBand EDR	QSFP28/QSFP28
	200G AOCケーブル	InfiniBand HDR	QSFP56/QSFP56; QSFP56/2x QSFP56; 2x QSFP56/2x QSFP56
	400G AOCケーブル	InfiniBand HDR	OSFP/2× QSFP56

InfiniBandアダプタ

FS InfiniBandアダプタは、データセンター・アプリケーションの継続的に増大する需要に対応することを目的とした、最高性能で最も柔軟なソリューションを可能にします。ConnectX-6およびConnectX-7カードは、従来の革新的な機能に加えて、パフォーマンスとスケーラビリティをさらに向上させる数々の機能強化を実現しています。

製品	速度	ホストインターフェース	ポート
MCX653105A-ECAT-SP	HDRと100Gb/s	PCIe 4.0x16	シングルポート
MCX653106A-HDAT-SP	HDRと200Gb/s	PCIe 4.0x16	デュアルポート
MCX653106A-ECAT-SP	HDRと100Gb/s	PCIe 4.0x16	デュアルポート
MCX653105A-HDAT-SP	HDRと200Gb/s	PCIe 4.0x16	シングルポート
MCX75510AAS-NEAT	NDRと400Gb/s	PCIe 5.0x16	シングルポート

InfiniBandスイッチ

InfiniBandスイッチであるNVIDIA Quantum/Quantum-2は、最大200Gb/s、400Gb/sの高速インターコネクトを実現し、AI開発者や科学研究者の研究、イノベーション、製品開発を加速する極めて低レイテンシーでスケーラブルなソリューションを提供します。

製品	MQM8700-HS2F	MQM8790-HS2F	MQM9700-NS2F	MQM9790-NS2F
ポートタイプ	40 x HDR QSFP56	40 x HDR QSFP56	64 x NDR 400G	64 x NDR 400G
機能	マネージドスイッチ	アンマネージド・スイッチ	マネージドスイッチ	アンマネージド・スイッチ
ソフトウェア	MLNX-OS	MLNX-OS	MLNX-OS	MLNX-OS
AC電源	1+1ホットスワップ対応	1+1ホットスワップ対応	1+1ホットスワップ対応	1+1ホットスワップ対応
ファン数	N+1ホットスワップ対応	N+1ホットスワップ対応	6+1ホットスワップ対応	6+1ホットスワップ対応
エアフロー	後ろから前へ	後ろから前へ	後ろから前へ(P2C)	後ろから前へ(P2C)

結論

InfiniBandとイーサネットの間には適切なアプリケーションシナリオが存在します。InfiniBandネットワークによるレートの大幅な向上により、CPUはネットワーク処理のためにより多くのリソースを犠牲にすることなく、ネットワークの利用率を向上させることができます。これは、InfiniBandネットワークがハイパフォーマンスコンピューティング業界の主要なネットワークソリューションとなる主な理由の一つです。将来的には1600GbpsのGDR（Global Data Rate）や3200GbpsのLDR（Local Data Rate）のInfiniBand製品も登場するでしょう。データセンターノード間の通信遅延に高い要求がなく、柔軟なアクセスと拡張がより重要な場合は、長期間にわたってEthernetネットワークを選択することもできます。

InfiniBand Roadmap