Ruiny pałacu w Dębowym Gaju - Historia znikania