1800-tal Glädjehus & Fäktklubb
1800-talet var Palatsets värsta århundrade, renoveringsbehoven var överhängande och inga pengar fanns. Palatset användes till många olika verksamheter, bl.a. har det inhyst den Åbomska flickskolan, varit gymnastik- och fäktningslokaler, en tobak- och cigarrfabrik där tobaksprodukter torkades och förädlades så att flera av de ursprungliga stuckatur-taken av bröderna Giovanni, vilka också arbetade på Drottningholms Slott, förstördes.
Det påstods att delar av Palatset var uppdelat som enkla bostäder, det fanns en ölstuga och under en period även glädjehus. Källaren inhyste en kol- och kocksbod. Mot slutet av 1800-talet var nästan hela tomten avstyckad och bebyggd med hyresfastigheter. En byggmästare köpte Palatset med avsikten att riva det och istället bygga flera nya fastigheter.