I følge arkeologene har området vært befolket siden steinalderen. Opprinnelig lå bebyggelsen helt nede ved vannet. I romertiden var havnen et viktig handelssenter hvor rikfolk fra Milano holdt til i flotte villaer. Det var turbulente tider allerede da, og verre ble det. Fra omkring 400-tallet kom bølge etter bølge av erobrere fra Øst-Europa. Den opprinnelige bebyggelsen måtte forlates rundt 800. Befolkningen ble tvunget til å trekke høyere opp i terrenget og forskanse seg bak solide borgmurer. I 1154 nevnes Padenghe i et dokument der Fredrik Barbarossa gir biskopen av Verona rett til deler av Brescia.
Senere gjorde Brescia igjen krav på området, men i 1330 kom Padenghe under della Scala-familiens herredømme – og slik fortsatte historien med stadig nye kamper og herskere. I 1509, under fransk styre, skulle borgen rives, men dette ble forhindret av kirken. Fire år senere kom tyske tropper på brutalt plyndringstokt, og på slutten av 1500-tallet var det nådeløse banditter som Giacomazzo de Padenghe som regjerte. Men borgen sto – og det gjør den stort sett fremdeles.