For omkring 4000 år siden hadde et fiskerfolk tilhold på Sirmione-halvøya, i pålehus langs stranden. Området Lugana Vecchia er et av UNESCOs verdensarvsteder. Fornminner vidner om menneskelig aktivitet i området enda lenger tilbake, til kanskje 6000 år f.Kr. Ved begynnelsen av vår tidsregning var Sirmione et yndet feriested for Veronas overklasse.
Allerede mot slutten av romertiden, på 400-tallet, var Sirmione befestet. Området var strategisk viktig og befant seg ”midt i trafikken” mens bølge etter bølge av erobrere skyllet innover Nord-Italia. Mot slutten av langobardenes herredømme var Sirmione direkte underlagt kongen. Rundt år 1000 hadde byen med omegn sannsynligvis selvstyre.
På 1200-tallet kom Sirmione under Veronas mektige fyrstefamilie della Scala (også kjent som Scaligeriene), som anla borgen som fortsatt dominerer bybildet, Castello Scaligero. Den spilte en rolle i striden mellom de pavetro guelferne som hadde makten i Milano, og de keisertro ghibellinerne som hersket i Genova og Venezia. Lokalt gikk maktkampen i stor grad ut på å utrydde Sirmiones innbyggere. Patariner (kjettere, katarer) som hadde hatt et tilfluktssted i fristaden, ble nå offer for den nådeløse inkvisisjonen.
I 1405 ble byen annektert av Venezia. Det befestede havneanlegget fikk trolig sin nåværende utforming i denne perioden. Sirmione tilhørte republikken Venezia frem til 1797, da den ble innlemmet i Østerrike. I 1888 ble Sirmione del av det forente Italia.
Scaligero-borgens militære betydning avtok utover 1500-tallet, men beholdt en vaktstyrke til omkring 1800. Siden begynnelsen av 1900-tallet har anlegget tilhørt staten.