Au XIXème siècle, l’île d’Or n’était encore qu’un îlot rocheux semblable à tant d’autres sur le littoral varois. Ce n’est qu’en 1897 qu’enfin se révèle le fabuleux destin de cette petite île.
C’est en effet cette année-là qu’un architecte du Dramont, baptisé Sergent, en devient le propriétaire pour seulement 280 francs (une voiture Peugeot à pétrole valait 20 fois cette somme !). Elle change de “main” quelques années plus tard, au début du XXᵉ siècle, et devient la propriété d’un certain docteur Auguste Lutaud, qui l’aurait acquise lors d’une partie de carte !
Il s’autoproclame alors “Auguste 1er”, souverain de l’Île, et fait ériger à grand frais une tour carrée en pierre rouge de l’Estérel selon une architecture sarrasine, peu commune dans la région (où on lui préfère les tours “génoises” à base ronde).
L’Ile d’Or a été le théâtre de réceptions fastueuses.
Aujourd’hui, elle est encore une propriété privée.