Margaret var inte riktigt så lycklig. Hennes äktenskap med Angus mottogs inte väl av de andra skotska adelsmännen, av vilka några var avundsjuk på vad de uppfattade vara hans maktövertagande, och fraktionen av adelsmän som stödde Skottlands långa historia av goda relationer med Frankrike ville Margaret ersättas med John Stewart, hertig av Albany., Albany var James IV kusin, hans egen far Alexander Stewart har varit son till James II och bror till James III, och om James IV söner dör han var rättmätig arvinge till den skotska tronen.
Albany hade tillbringat hela sitt liv i Frankrike och de skotska adelsmännen hade velat att han skulle återvända till Skottland och leda landets militär redan före Margarets andra äktenskap., Albany anlände 1515 och Margaret tvingades lämna över sin regentskap och sina två söner; hon måste ha varit rädd för sin säkerhet när hennes egna farbröder, prinsarna i tornet, försvann under Richard III: S vård. Albany behandlade dock Margaret med stor respekt och verkade inte ha något intresse av att använda tronen.
trots detta, uppmuntrade av sin bror, gjorde Margaret beslutet att fly Skottland sommaren 1515. Hon och Angus sökte tillflykt med Lord Dacre, engelska fängelsedirektören av marscherna, där hon i oktober födde sin dotter Margaret Douglas., Det var först när hon hade återhämtat sig från prövningen som födelsen hade varit att hon gick söderut till London och hennes brors domstol medan Angus återvände till Skottland.
Margaret stannade i England i drygt ett år tills Albany återvände till Frankrike för att se sin familj, och arrangemang gjordes för att hon skulle återvända. Som Henrys syster var hon den perfekta kandidaten att arbeta i Englands fördel från en ställning av stor makt inom Skottland., Tyvärr hade hennes yngre son Alexander dött under hennes frånvaro, men de skotska herrarna kom överens om att hon skulle få lika mycket tillgång till James som hon önskade såväl som hennes dower-rättigheter.
även om hon måste ha varit glad att återförenas med sin son, var hennes äktenskapliga lycka inte att vara när hon återvände till Skottland för att upptäcka att Angus bodde med en annan kvinna och använde Margarets pengar för att behålla henne. Hon vägrade att bo med sin man igen och sökte antingen skilsmässa eller annullering., Ironiskt nog var Henry skandaliserad att hans syster skulle tro att avsluta sitt äktenskap-särskilt som Angus hade Pro-England ser sig själv-och stödde sin svåger snarare än henne.
När Albany återvände till Skottland 1521 utvecklade han och Margaret ett så starkt arbetsförhållande att vissa trodde att de hade en affär., Han var son till Henrik och Henrik, som var son till den brittiske kejsaren Angus.han var son till den brittiske kejsaren Angus och hans syster Henrik.
de skotska herrarna som motsatte sig Albanys regency var nöjda när James uttalades kung i sin egen rätt vid 12 år gammal, snarare än 14 som vanligtvis var fallet i Skottland vid denna tidpunkt, att härska med vägledning från sin mor och under överinseende av en roterande grupp skotska herrar – varav en var Angus., Albany återvände lyckligt till Frankrike och lämnade Margaret för att ta itu med sin man som rasande henne när han vägrade att passera övervakning av kungen till nästa Herre och James i huvudsak hölls fången av sin styvfar i tre år.
Albany fortsatte att stödja Margaret över Angus, men som under James fångenskap Albany satte Margarets fall om ogiltigförklaring framåt i Rom. Mycket till Margarets glädje upphävandet beviljades, vilket var bäst med tanke på att hon redan bodde med mannen som skulle bli hennes tredje man, Henry Stewart, 1st Lord Methven., Trots James ogillande gifte de sig snabbt när ogiltigförklaringen tillkännagavs och bodde i Stirling när den 16-årige James lyckades fly Angus kopplingar och flydde där. Angus och James syster, Margaret Douglas, förvisades och åkte till England, varefter Margaret aldrig såg sin dotter igen.