Entre 1631 et 1634, Louis XIII fait reconstruire son pavillon de chasse par Philibert Le Roy pour le transformer en un petit château de brique et de pierre, couvert d’ardoises. Louis XIV conservera ce bâtiment qui entoure encore aujourd’hui la cour de marbre.
Les parements de brique visibles aujourd’hui sur le château et la plupart des dépendances sont modernes et correspondent à des remplacements systématiques réalisés depuis un siècle.