En 1905, à la mort de Théodore Phélippot, ancien maire du Bois-Plage, auteur de publications sur l’histoire locale et grand collectionneur, l’association «Les Rétais de Paris», représentée par le docteur Emile Atgier, trouve en la personne d’Ernest Cognacq, fondateur de la Samaritaine, un mécène. Il achète l’ensemble de la collection Phélippot pour la donner à la commune de Saint-Martin-de-Ré et lui fait également don de l’hôtel des Cadets Gentilhommes pour que la collection puisse être présentée au public. Le musée est inauguré le 31 août 1907.
Le musée demeure dans ses locaux d’origine jusqu’en 1969. Une grande partie de ses collections est alors mise en caisses et y reste plus de cinq ans en attendant le transfert dans l’Hôtel de Clerjotte alors en pleine restauration. C’est sous l’égide du maire de l’époque, M. Bouthillier qu’est inauguré le Musée Ernest Cognacq dans son nouvel et définitif écrin.