Margaret non è stata così fortunata. Il suo matrimonio con Angus non fu ben accolto dagli altri nobili scozzesi, alcuni dei quali erano gelosi di ciò che percepivano come la sua ascesa al potere, e la fazione di nobili che sostenevano la lunga storia della Scozia di buoni rapporti con la Francia voleva che Margaret venisse sostituita con John Stewart, duca di Albany., Albany era cugino di Giacomo IV, suo padre Alexander Stewart essendo stato figlio di Giacomo II e fratello di Giacomo III, e se i figli di Giacomo IV morissero egli era il legittimo erede al trono scozzese.
Albany aveva trascorso tutta la sua vita in Francia e i nobili scozzesi lo avevano voluto tornare in Scozia e guidare l’esercito del paese anche prima del secondo matrimonio di Margaret., Albany arrivò nel 1515 e Margaret fu costretta a consegnare la sua reggenza e i suoi due figli; doveva essere spaventata per la loro sicurezza quando i suoi zii, i Principi nella Torre, scomparvero mentre erano sotto le cure di Riccardo III. Albany, tuttavia, trattava Margaret con grande rispetto e non sembrava avere alcun interesse a usurpare il trono.
Anche così, incoraggiata dal fratello, Margaret prese la decisione di fuggire dalla Scozia nell’estate del 1515. Lei e Angus cercarono rifugio presso Lord Dacre, guardiano inglese delle Marche dove, in ottobre, diede alla luce la loro figlia, Margaret Douglas., E ” stato solo quando aveva recuperato dal calvario la nascita era stata che si diresse a sud a Londra e la corte di suo fratello, mentre Angus tornò in Scozia.
Margaret rimase in Inghilterra per poco più di un anno fino a quando Albany tornò in Francia per vedere la sua famiglia, e furono presi accordi per lei di tornare. Come sorella di Henry, era la candidata perfetta per lavorare a favore dell’Inghilterra da una posizione di notevole potere all’interno della Scozia., Purtroppo, suo figlio minore, Alexander, era morto durante la sua assenza, ma i signori scozzesi hanno convenuto che lei doveva essere dato tanto accesso a James come lei desiderava così come i suoi diritti dower.
Anche se doveva essere felice di ricongiungersi con suo figlio, la sua felicità coniugale non sarebbe durata quando tornò in Scozia per scoprire che Angus viveva con un’altra donna e usava i soldi di Margaret per tenerla. Si rifiutò di vivere di nuovo con il marito e cercò il divorzio o l’annullamento., Ironicamente, Henry era scandalizzato dal fatto che sua sorella avrebbe pensato di porre fine al suo matrimonio – in particolare perché Angus aveva opinioni pro-Inghilterra se stesso – e sosteneva suo cognato piuttosto che lei.
Quando Albany tornò in Scozia nel 1521, lui e Margaret svilupparono un rapporto di lavoro così forte che alcune persone credevano di avere una relazione., Albany mandò Angus in Francia, ed Enrico temeva che sua sorella avrebbe sostenuto l’influenza della Francia in Scozia su quella inglese, ma nel 1523 Angus fuggì dalla Francia alla corte inglese dove servì lealmente gli interessi di Enrico in Scozia fino alla morte del re nel 1547.
I signori scozzesi che si opponevano alla reggenza di Albany furono soddisfatti quando Giacomo fu proclamato re a soli 12 anni, anziché a 14 come di solito avveniva in Scozia in questo periodo, per governare con la guida di sua madre e sotto la supervisione di un gruppo rotante di signori scozzesi – uno dei quali era Angus., Albany tornò felicemente in Francia, lasciando Margaret a che fare con suo marito che la fece infuriare quando si rifiutò di passare la supervisione del re al prossimo signore e James fu essenzialmente tenuto prigioniero dal suo patrigno per tre anni.
Albany continuò a sostenere Margaret su Angus, tuttavia, poiché durante la prigionia di Giacomo Albany presentò il caso di Margaret per l’annullamento a Roma. Con grande gioia di Margaret l “annullamento è stato concesso, che era per il meglio considerando che stava già vivendo con l” uomo che sarebbe diventato il suo terzo marito, Henry Stewart, 1 ° Lord Methven., Nonostante la disapprovazione di James si sposarono rapidamente quando fu annunciato l’annullamento, e risiedevano a Stirling quando il 16enne James riuscì a sfuggire alle grinfie di Angus e fuggì lì. Angus e la sorella di James, Margaret Douglas, furono banditi e andarono in Inghilterra, dopo di che Margaret non vide più sua figlia.