Het Speelhuis op de Belcrum was een achtkantig gebouw met de kamers en galerijen rond een middenruimte gegroepeerd. Dat centrale gedeelte of grote hal bestond uit acht vrijstaande pijlers, waarop een koepeldak steunde. In het midden daarvan stond een kleine toren, of lantaarn, zoals men dat vroeger noemde. Het gebouw telde drie bouwlagen, waarvan de bovenste ook nog was verbonden met het afzonderlijke torengebouw naast het eigenlijke Speelhuis. Er is eigenlijk maar weinig bekend over dit bijzondere bouwwerk, dat iets weg had van een kerk of tempel en helemaal niet zo romantisch aandoet als je van een jacht- of lusthuis zou mogen verwachten.
Het enige wat we evan overgehouden hebben is de Speelhuislaan die praktisch op dezelfde plaats ligt als vroeger de laan vanuit Breda naar 't Speelhuis. Om precies te zijn het Speelhuis heeft gestaan schuin achter de huidige watertoren, bijna op 't eind van de huidige Speelhuislaan.
