C’est Fouquet, surintendant de Louis XIV, qui lance les travaux de la citadelle de Belle-Ile pour la défendre des pirates, des Espagnols et des Anglais. Vauban se rend à plusieurs reprises dans l’île pour en améliorer les défenses, mais son projet ne sera que très partiellement réalisé.
Au début du XXe siècle, la citadelle abrite une prison pour enfants. En 1934, une révolte des jeunes détenus inspirera à Jacques Prévert son poème, La Chasse à l’enfant.