Margaret var ikke helt så heldig. Hendes ægteskab med Angus var ikke godt modtaget af de andre Skotske adelsmænd, hvoraf nogle var jaloux på, hvad de opfattede som hans vej til magten, og den fraktion af adelige, der understøttes Skotland ‘ s lange historie af gode forbindelser med Frankrig ønskede Margaret erstattet med John Stewart, Hertug af Albany., Albany var James IV ‘s fætter, hans egen far, Alexander Stewart, der har været søn af James II og bror James III, og bør James IV’ s sønner dø, at han var den retmæssige arving til den Skotske trone.Albany havde tilbragt hele sit liv i Frankrig, og de skotske adelige havde ønsket, at han skulle vende tilbage til Skotland og lede landets militær allerede før Margarets andet ægteskab., Albany ankom i 1515, og Margaret blev tvunget til at udlevere hendes regency og hendes to sønner; hun må have været bange for deres sikkerhed, når hendes egne onkler, Fyrsterne i Tårnet, forsvandt, mens under Richard III ‘ s pleje. Albany behandlede imidlertid Margaret med stor respekt og syntes ikke at have nogen interesse i at tilrane sig tronen.

alligevel, opmuntret af sin bror, tog Margaret beslutningen om at flygte fra Skotland i sommeren 1515. Hun og Angus søgte tilflugt hos Lord Dacre, engelsk Opsynsmand af marcher, hvor, i Oktober, hun fødte deres datter, Margaret Douglas., Det var først, da hun var kommet sig efter den prøvelse, fødslen havde været, at hun gik sydpå til London og hendes brors domstol, mens Angus vendte tilbage til Skotland.Margaret blev i England i lidt over et år, indtil Albany vendte tilbage til Frankrig for at se sin familie, og der blev truffet aftale om, at hun skulle vende tilbage. Som Henrys søster, hun var den perfekte kandidat til at arbejde i Englands favør fra en position af betydelig magt i Skotland., Desværre, hendes yngre søn, Ale .ander, var død under hendes fravær, men de skotske herrer var enige om, at hun skulle få så meget adgang til James, som hun ønskede såvel som hendes do .er-rettigheder.selvom hun må have været glad for at blive genforenet med sin søn, skulle hendes ægteskabelige lykke ikke vare, da hun vendte tilbage til Skotland for at opdage, at Angus boede sammen med en anden kvinde og brugte Margarets penge til at holde hende. Hun nægtede at bo sammen med sin mand igen og søgte enten skilsmisse eller annullation., Ironisk nok, Henry blev skandaliseret, at hans søster ville tænke at afslutte sit ægteskab – især da Angus havde Pro-England ser sig selv – og støttede sin svoger snarere end hende.

da Albany vendte tilbage til Skotland i 1521, udviklede han og Margaret et så stærkt samarbejde, at nogle mennesker troede, at de havde en affære., Albany, der sendes Angus til Frankrig, og Henry bekymret for, at hans søster ville støtte Frankrigs indflydelse i Skotland i løbet af England, men i 1523 Angus flygtede fra Frankrig til den engelske domstol, hvor han loyalt tjente Henry ‘ s interesser i Skotland indtil kongens død i 1547.

Den Skotske stormænd, der var imod Albany ‘ s regency var tilfredse, da James blev erklæret konge i hans egen ret på 12 år gamle, snarere end 14 som normalt var tilfældet i Skotland på dette tidspunkt, at reglen med vejledning fra sin mor og under tilsyn af en roterende gruppen af Skotske herrer – en af dem var Angus., Albany lykkeligt vendte tilbage til Frankrig, forlader Margaret at beskæftige sig med sin mand, der rasende hende, da han nægtede at passere tilsyn med Kongen til den næste Herre og James blev hovedsagelig holdt fanget af sin stedfar i tre år.Albany fortsatte dog med at støtte Margaret over Angus, da Albany under James ‘ fangenskab fremførte Margarets sag om annullation i Rom. Meget til Margarets glæde blev annulleringen indrømmet, hvilket var bedst i betragtning af at hun allerede boede hos den mand, der ville blive hendes tredje mand, Henry Ste .art, 1st Lord Methven., På trods af James misbilligelse giftede de sig hurtigt, da annulleringen blev annonceret, og var bosiddende i Stirling, da 16 år gamle James formåede at undslippe Angus koblinger og flygtede der. Angus og James søster, Margaret Douglas, blev forvist og gik til England, hvorefter Margaret aldrig så sin datter igen.