ダンジョンで冒険者が全滅してもゲームは続行しますが、町で敗北するとゲームオーバーになります。
城壁を作り防御塔を建てて、街の防衛力をアップするのもいいですが、一番の防衛方法は冒険者を町に待機させることです。

冒険者配備画面でどのダンジョンにも配置されていない冒険者は町に待機していることになります。

他にもリクの魔法リターンでダンジョンにいる冒険者を町に戻すことも出来ます。
ピンチの時は使用してみましょう。