Vrací zákonodárci v roce 1784, Madison porazil Patricka Henryho zákona poskytnout finanční podporu na „učitelů Křesťanského náboženství.“Aby se zabránilo politický vliv jeho extrémní nacionalismus, on přesvědčil státy,-obhájce práv John Tyler sponzorovat volání Annapolis Úmluvy z roku 1786, který, podporovaný Madison vliv, vyrobené na Ústavní Konvent 1787.,

jeho Virginia, nebo velký stát, Plán, předložila prostřednictvím Guvernér Edmund Randolph, zařízený základní rámec a hlavní zásady Ústavy, mu vysloužil titul otce Ústavy. Madison pevně věřil v hodnotu silné vlády, ve které byla moc dobře kontrolována, protože byla dobře vyvážená mezi větvemi. Delegát William Pierce z Gruzie napsal, že v řízení každé velké otázky, Madison “ vždy přichází nejlépe informovaný muž jakéhokoli bodu v diskusi.,“Pierce ho nazval“ gentlemanem s velkou skromností-s pozoruhodnou sladkou náladou. Mezi svými známými je snadný a bezvýhradný a má nejpříjemnější styl rozhovoru.“

Madison se den po dni poznámky debat na Ústavním sjezdu, které poskytují pouze komplexní historii řízení. Na podporu ratifikace spolupracoval s Alexandrem Hamiltonem a Johnem Jayem v novinové publikaci Federalist papers (Madison napsal 29 z 85), která se stala standardním komentářem k Ústavě., Jeho vlivem produkoval ratifikaci Virginie a vedl John Marshall říci, že, pokud výmluvnost součástí „přesvědčování přesvědčování, Pane Madisone bylo nejvíce výmluvný muž, kterého jsem kdy slyšel.“

Zvolen do nové Sněmovny Reprezentantů Madison sponzorované prvních 10 dodatků k Ústavě—Bill of Rights—klade důraz v debatě na svobodu náboženství, projevu a tisku. Jeho vedení v Domě, které způsobil Massachusettský kongresman Fisher Ames, aby mu říkat „náš první muž,“ přišel do konce, když se rozešel s ministrem Financí Hamilton přes metody financování války dluhy., Hamiltonovým cílem bylo posílit národní vládu tím, že k ní upevní muže bohatství; Madison se snažila chránit zájmy revolučních veteránů.

Hamiltonovo vítězství změnilo Madisona v přísného konstruktéra kongresové moci, aby odpovídala obecnému blahu. Popřel existenci předpokládané moci zřídit národní banku na pomoc státní pokladně. Později, jako prezident, požádal a získal banku jako „téměř nutnost“ pro tento účel, ale tvrdil, že to bylo ústavní pouze proto, že Hamiltonova banka odešla bez ústavní výzvy., Neochota přiznat chybu byla celoživotní charakteristikou. Přestávka nad financováním rozdělila kongres na Madisonské a Hamiltonovské frakce, Fisher Ames nyní nazývá Madisona „zoufalým vůdcem strany“, který prosazoval disciplínu „tak těžkou jako pruský.“(Madisonians se změnil na Jeffersonians poté, co se Jefferson vrátil z Francie, se stal státním tajemníkem.)

V roce 1794 Madison vdaná vdova, Dolley Payne Todd (Dolley Madison), pohledný, prsatá, temperamentní Quaker 17 let mladší, kteří odmítli církevní kázni a miloval sociální činnosti., Její první manžel zemřel při epidemii žluté zimnice v předchozím roce. Pravidelně sloužila jako oficiální hostitelka prezidenta Jeffersona, který byl vdovec. Jako Madisonina žena se stala součástí soirées, obvykle na sobě barevný pernatý turban a elegantní šaty zdobené šperky a kožešinami. Může se říci, že vytvořila roli první dámy jako politického partnera prezidenta, ačkoli toto označení se začalo používat až mnohem později. Nenáročná žena, snědla srdečně, hazardovala, bohatě vykostila obličej a vzala šňupací tabák., K její popularitě se přidaly“ středeční salonky“, které zavedla pro veřejnost. Získala nehynoucí vděčnost národa za záchranu portrétu Gilberta Stuarta George Washingtona v roce 1814 těsně před britskými jednotkami, které ve válce v roce 1812 položily pochodeň do Bílého domu.

Madison vlevo Kongresu v roce 1797, znechucený John Jay je smlouva s Anglií, která frustrovaný jeho program odvetných obchodních opatření proti válečného útlaku AMERICKÉ námořní obchod. Cizí a Aktů Pobuřování v roce 1798 ho inspiroval k návrhu Virginské Usnesení, že rok, odsuzovat tyto stanovy jako porušení Prvního Dodatku Ústavy, a potvrzujíce právo a povinnost států „prohodit za zatčení pokrok zla.,“Pečlivě formulován tak, aby tím méně legálně, než se zdálo, vyhrožovat, donutili ho, aby utratit svého osmdesátník let boje proti Jižní Karolíny výklad je jako sankce státní moci zrušit federální zákon.

Během osmi let jako Jefferson je státní tajemník (1801-09), Madison použil slova „Prezident se rozhodl,“ tak pravidelně, že jeho vlastní role může být objevena pouze v zahraničních archivech. Britští diplomaté zabývající se Madisonem se setkali s “ asperitou temperamentu a plynulosti projevu.“Senátoři John Adair a Nicholas Gilman se v roce 1806 dohodli, že „řídí prezidenta“, což je názor francouzského ministra Louise-Marie Turreaua.