C'est au 17e siècle que le palais passe au petit-fils d'un des frères du cardinal de Granvelle : Jacques-Nicolas de La Baume, comte de Saint-Amour.
De rudes guerriers, ceux-là, tout sauf de fins amateurs d'art !
Endetté jusqu'au cou, Jacques se met à vendre les objets précieux du palais. Pire, à les donner !
Et pour couronner le tout, les comtes de Saint-Amour passent leur temps à organiser des fêtes grandioses.
Ils invitent par exemple au palais le marquis de Castel-Rodrigo, envoyé par le roi d'Espagne pour négocier des affaires (à cette époque, Besançon est espagnole).
Il y séjourne un mois, en 1664 : il a amené sa fille, la demoiselle de Moura, qui ne trouve rien de mieux à faire que de jeter des pièces d'or, aux gens dans la rue, depuis les fenêtres du palais...
Source
- Auguste Castan. Monographie du palais Granvelle à Besançon. 1867.