分散処理
読み
ぶんさんしょり
意味
- 大量の計算やデータ処理を複数のコンピュータに分担させて同時に実行する仕組み
- 単一マシンでは処理しきれない負荷をクラスタ全体で分散し、性能と可用性を高めるアーキテクチャ
- ノード間でデータ整合性や障害対応を調整しながら、結果を統合する運用方法
比喩
大きな荷物をトラック1台で運ぶのではなく、複数台で仕分けて同時に配送する物流センターのようなもの。
語源
distributed processing = 分散処理
例文
- Sparkクラスタで大量のログを分散処理し分析時間を短縮する。
- MapReduceのジョブで大量データを並列処理してレポートを生成する。
- 動画エンコードを分散処理に切り替え、複数サーバーで同時に変換して納期を短縮する。
よくある勘違い
- 分散処理なら常に速くなると思うこと → 通信コストや分割の粒度が適切でないと逆に遅くなる