Tegning af muren til Palæets have af Jørgen Brendekilde. Haven er offentlig, men er også udeområde for biskoppen, som siden 1923 har boet i Palæet.