De buitenplaatsen
In de middeleeuwen stond een aantal kastelen in de omgeving van Baarn, zoals Huis te Eem bij Eembrugge, ridderhofstad Drakenburg in het noordwesten en bij Lage Vuursche kasteel Drakensteyn. Deze kastelen hadden een verdedigingsfunctie. Maar dit veranderde in de zeventiende eeuw.
Trekpleister voor Amsterdammers
Vanaf de Gouden eeuw is er een duidelijke relatie tussen de ontwikkeling van Baarn en die van Amsterdam. Amsterdamse Kooplieden die een fortuin hebben verdiend in de Nederlandse koloniën in Azië of het Caribisch gebied, vestigen zich na gedane zaken graag in Baarn. Baarn is in die tijd nog een agrarisch dorp, maar een aantrekkelijke plek voor rijke Amsterdamse kooplui-regenten. Zij laten er landhuizen en buitenplaatsen bouwen om ‘s zomers aan de stinkende stad te ontsnappen, van het buitenleven te genieten en hun rijkdom te etaleren.
De Eult, Soestdijk en de Oranjes
De Amsterdamse burgemeester Johan Bicker (1591-1653) koopt omstreeks 1640 heidegrond in Baarn en laat er de hofstede De Eult als zomerverblijf bouwen. Bicker was overigens de schoonvader van Johan de Wit. Soestdijk wordt als jachtslot of lustslot tussen 1674 en 1678 gebouwd door de Amsterdamse burgemeester Cornelis de Graeff. Zowel de eigenaren van de Eult, als die van Soestdijk behoorden in de strijd tussen prinsgezinden en staatsgezinden tot de laatste partij. Deze strijd leidde uiteindelijk tot de moord op de gebroeders De Wit In het rampjaar 1672. Willem III werd vervolgens stadhouder. De familie De Graeff probeerde vrede te stichten met de Oranjes door het huis Soestdijk voor een zeer schappelijke prijs aan Willem III te koop aan te bieden. Daardoor kwam Soestdijk in het bezit van de familie van Oranje. Ook de Eult werd, wegens financiële problemen van de eigenaar, verkocht aan de Oranjes. Het huis kwam daarna steeds meer in de schaduw van Soestdijk te staan en wordt in 1879 uiteindelijk gesloopt.
Huis Groeneveld
Het huis Groeneveld (nu Kasteel Groeneveld) is van iets latere datum dan de twee andere grote buitens in Baarn. Marcus de Mamuchet, een nazaat van Hugenoten, liet het huis bouwen in 1710. In 1735 kwam Groeneveld in handen van Arent van der Waeyen. Als bewindhebber van de West-Indische Compagnie was Van der Waeyen betrokken in de slavenhandel tussen de Nederlandse kolonie Elmina op de West-Afrikaanse Goudkust (het huidige Ghana) en Suriname, de Nederlandse plantage-kolonie in Zuid-Amerika.
Van der Waeyen heeft veel gedaan aan het verfraaien van Groeneveld. Hij liet hij onder andere aan de buitenzijde van het gebouw twee beelden aanbrengen. Over wat de beelden voorstellen lopen de meningen uiteen. Sommigen houden het op beelden van ‘moren’ ofwel tot slaaf gemaakte Afrikanen. Anderen menen dat hier twee werelddelen worden verbeeld: links Azië (wierookvat en palm) en rechts Amerika (knots, boog en verentooi; de laatste twee elementen zijn ook terug te vinden in het wapen van Suriname). In ieder geval is hier een duidelijke verwijzing naar de koloniën.
Een agrarisch, landelijke gemeente met stedelijke invloeden
Nieuwkomers en oorspronkelijke bevolking leggen samen de basis voor een gevarieerde gemeenschap met landbouw, nijverheid en een hoog voorzieningenniveau; een agrarisch, landelijke gemeente met stedelijke invloeden. Deze basis is nu nog voor veel mensen de reden om in Baarn te willen wonen, werken en/of recreëren.