Le Musée Ernest Cognacq se situe dans l’Hôtel de Clerjotte, daté du XV^e siècle et classé Monument Historique. Il est le plus bel exemple d’architecture civile de l’Ile avec ses décors gothiques et Renaissance.

On attribue la construction de l’Hôtel de Clerjotte, datée vers 1470-1480, à Louis Clergeat (Clerjeat), receveur de l’Ile de Ré pour Charles de France, duc de Guyenne et seigneur laïc de l’île. Louis Clerjeat aurait donné son nom au logis : « la maison de Clergeatte ».
Au XVI^e siècle, la propriété appartient aux Marois, noble famille issue de l’échevinage de la Rochelle et comptant plusieurs officiers de la seigneurie de Ré, notamment Jean Marois qui fut Prévôt de l’île.
En 1684, Jean Gabaret, lieutenant général des armées navales du roi, devient propriétaire de l’ensemble de la maison de Clerjotte.

Avec l’essor de Rochefort, l’importance militaire de l’île de Ré devient primordiale. Sous la houlette de Vauban sont construites la citadelle et l'enceinte fortifiée de la ville.

Ces importants travaux obligent la réquisition de nombreux terrains et bâtiments. En 1690, Clerjotte est réquisitionné par l’intendant Bégon pour servir d’arsenal à la nouvelle place forte qu’est devenue Saint-Martin-de-Ré.

Arsenal militaire jusqu’au XX^e siècle, classé Monument Historique en 1929, dévolu un temps à la Marine, l’Hôtel de Clerjotte est cédé en 1955 à la ville qui l’aménage en musée municipal à la suite d'importants travaux de restauration de 1960 à 1966.