Margaret var ikke fullt så heldig. Hennes ekteskap med Angus var ikke godt mottatt av de andre Skotske adelsmenn, og noen av dem var sjalu på hva de oppfattet å være hans vei til makten, og fraksjonen av adelen som støttes Scotland ‘ s lange historie med gode forbindelser med Frankrike ønsket Margaret erstattet med John Stewart, Hertugen av Albany., Albany var James IV ‘s fetter, hans egen far Alexander Stewart etter å ha vært sønn av Jakob II og bror til Jakob III, og burde James IV’ s sønner dør han var den rettmessige arving til den Skotske tronen.

Albany hadde tilbrakt hele sitt liv i Frankrike og den Skotske adelsmenn hadde ønsket ham til å komme tilbake til Skottland og lede landets militære selv før Margaret ‘ s andre ekteskap., Albany kom i 1515 og Margaret ble tvunget til å overlate henne regency og hennes to sønner; hun må ha vært redde for deres sikkerhet når hennes egen onkler, Prinsene i Tower, forsvant under Richard III omsorg. Albany, men behandlet Margaret med stor respekt og ikke så ut til å ha noen interesse i tilranet seg tronen.

Selv så, oppmuntret av sin bror, Margaret gjort beslutning om å flykte fra Skottland i løpet av sommeren 1515. Hun og Angus søkte tilflukt hos Herren Dacre, engelsk Warden av Marsjer der, i oktober, hun fødte sin datter, Margrete Douglas., Det var først da hun hadde kommet tilbake fra den ildprøven fødselen hadde vært at hun gikk turen sørover til London og hennes bror ‘ s court mens Angus tilbake til Skottland.

Margaret bodde i England for litt over et år til Albany tilbake til Frankrike for å se hans familie, og avtaler ble gjort for henne å komme tilbake. Som Henry ‘ s søster, hun var den perfekte kandidaten til å jobbe i Englands favør fra en posisjon med stor makt i Skottland., Dessverre, hennes yngste sønn, Alexander, hadde dødd under hennes fravær, men den Skotske lords enige om at hun skulle bli gitt så mye tilgang til James som hun ønsket så vel som hennes dower rettigheter.

selv Om hun må ha vært glad for å være gjenforent med sin sønn, hennes ekteskapelig lykke var ikke til å vare da hun returnerte til Skottland for å oppdage Angus var å leve med en annen kvinne, og ved hjelp av Margaret ‘ s penger til å beholde henne. Hun nektet å leve med sin mann igjen, og søkte enten en skilsmisse eller annullering., Ironisk nok var Henry scandalised at hans søster ville tenke på å ende sitt ekteskap – spesielt som Angus hadde pro-England utsikt over seg selv – og støttet hans svoger snarere enn henne.

Når Albany tilbake til Skottland i 1521, han og Margaret utviklet et sterkt samarbeid som noen mente de var å ha en affære., Albany sendt Angus til Frankrike, og Henry bekymret for at hans søster ville støtte frankrikes innflytelse i Skottland over England, men i 1523 Angus flyktet fra Frankrike til den engelske domstolen hvor han trofast servert Henry ‘ s interesser i Skottland til kongens død i 1547.

Den Skotske lords som motsetning Albany regency var fornøyd når James ble erklært som konge i sin egen rett på 12 år gammel, snarere enn 14 som vanligvis var tilfelle i Skottland på denne tiden, til å styre med veiledning fra sin mor og under tilsyn av en roterende gruppe av Skotske lords – en av dem var Angus., Albany gjerne tilbake til Frankrike, og forlater Margaret til å håndtere sin mann som gjorde henne når han nektet å passere tilsyn av kongen til neste herren og James var i hovedsak holdt fanget av sin stefar i tre år.

Albany fortsatte å støtte Margaret over Angus, men som i løpet av James ‘ fangenskap Albany sette Margaret er tilfelle for annullering frem i Roma. Mye å Margaret ‘ s delight annullering ble gitt, som var til det beste vurderer hun var allerede bor med mannen som skulle bli hennes tredje mann, Henry Stewart, 1. Herren Methven., Til tross for James ‘ s misbilligelse de raskt giftet seg med når annullering ble annonsert, og var bosatt i Stirling når 16 år gamle James klarte å rømme Angus er clutcher og hadde flyktet dit. Angus og James ‘ s søster, Margaret Douglas, ble forvist og dro til England, etter som Margaret aldri så hennes datter igjen.