出力側にはすべてディスプレイを接続する必要がありますか？

出力側のHDMI端子すべてにディスプレイを接続する必要はありません。
例えば4台用分配器に 2～3台だけディスプレイを接続しても動作可能です。
※ディスプレイ1台のみ接続する場合、ダウンスケール機能はご使用頂けません。
ダウンスケール機能は少なくとも4Kディスプレイ、フルHDディスプレイを1台づつ接続する必要があります。