Mentionné dès 917 dans une charte relative à l'abbaye de Déols, le fief de Bouges dépend au 13e siècle de la châtellenie de Levroux, puis passe aux Chauvigny et par alliance aux La Tour d'Auvergne, la famille maternelle de Catherine de Médicis.
Cette dernière le donne en 1547 à son maître d'hôtel, Jean-Baptiste Segliso.
En 1757, Charles Leblanc de Marnaval acquiert Bouges.
Il reprend l'exploitation paternelle des forges de Clavières, dans l'Indre, et prend en plus la direction de la manufacture royale de draps de Châteauroux.
Sa fortune est faite ! Marnaval acquiert le domaine de Bouges pour la somme de 275 000 livres.
Il fait raser le vieux château pour construire l'actuel de 1763 à 1770, dans le style néoclassique.
On a attribué la construction à l'architecte Gabriel : il s'occupait alors du Petit Trianon, d'où le surnom de Bouges de « petit Trianon du Berry. »
Mais les trop grandes dépenses de Marnaval le mènent à la ruine.
Ses créanciers mettent en vente sa terre de Bouges, en 1781.
Celle-ci passe donc au marquis de la Rochedragon, puis à ses héritiers qui le vendent en 1818 à Talleyrand.
Celui-ci s'en défait 10 ans plus tard, sans l'avoir vraiment jamais occupé.
En 1917, Henri Viguier, propriétaire du Bazar de l'Hôtel de Ville, acquiert Bouges.
Acheté sans aucuns meubles, le château reçoit alors une riche collection de mobilier du 18e siècle.
Viguier restaure les jardins avec l'aide du paysagiste Duchêne, des communs néoclassiques sont construits par Henri Dauvergne.
Sans enfants, le couple Viguier lègue le château à l’État, qui l'ouvre à la visite.