du Skriver Virginia legislature i 1784, Madison beseiret Patrick Henry ‘ s bill til å gi økonomisk støtte til «lærere i den Kristne religion.»For å unngå den politiske effekten av sin ekstreme nasjonalisme, han er overbevist om at usa-rights-talsmann John Tyler til å sponse den ringe av Annapolis-Konvensjonen av 1786, som, godt hjulpet av Madison innflytelse, produsert den Konstitusjonelle Konvensjonen av 1787.,

Det hans Virginia, eller stor-stat, Planlegge, sette frem gjennom Guvernør Edmund Randolph, møblert de grunnleggende rammeverk og prinsipper i Grunnloven, tjene ham tittelen far i Grunnloven. Madison trodde intenst i verdien av en sterk regjering som i kraft var godt kontrollert fordi det var godt balansert mellom grenene. Representanten William Pierce av Georgia skrev det, i ledelsen av alle store spørsmålet, Madison «kommer alltid frem det beste informert Mann i alle punkt i debatten.,»Pierce kalte ham «en Mann av stor beskjedenhet—med en utrolig søtt temperament. Han er lett og uforbeholden blant sine bekjente, og har en mest behagelig stil av samtalen.»

Madison tok dag-for-dag-notater debatter i den Konstitusjonelle Konvensjonen, som gir den eneste omfattende historie av saken. For å fremme ratifisering samarbeidet han med Alexander Hamilton og John Jay i avis publisering av Federalist papers (Madison skrev 29 av 85), som ble standard kommentar på Grunnloven., Hans innflytelse produsert ratifisering av Virginia og led John Marshall å si at, hvis veltalenhet inkludert «overtalelse av overbevisende, Mr. Madison var den mest veltalende mann jeg noen gang har hørt.»

Valgt til ny Representantenes Hus, Madison sponset av de første 10 endringer i Grunnloven—Bill of Rights—plassere fokus i debatten om religionsfrihet, tale, og trykk på. Hans lederskap i Huset, som forårsaket Massachusetts kongressmedlem Fisher-Ames til å kalle ham «vår første mann,» kom til slutt da han delt med Sekretær for Treasury Hamilton over metoder for å finansiere krigen gjeld., Hamilton var målet å styrke den nasjonale regjeringen ved sementering av menn av rikdom til det; Madison søkt å beskytte interessene til Revolusjonerende veteraner.

Hamilton ‘ s victory slått Madison til en streng constructionist av kongressens makt til å egnet for generell velferd. Han benektet eksistensen av indirekte makt til å etablere en nasjonal bank for å hjelpe til Statskassen. Senere, som president, han har bedt om og fått en bank som «nesten nødvendighet» for det formålet, men han hevdet at det var konstitusjonelle bare fordi Hamilton bank hadde gått uten konstitusjonell utfordring., Vilje til å innrømme feil var en livslang karakteristisk. Pause over finansiering delt Congress i Madisonian og Hamiltonian fraksjoner, med Fisher Ames nå ringer Madison en «desperat party leader» som håndheves en disiplin «er så alvorlig som den Prøyssiske.»(Madisonians omgjort til Jeffersonians etter Jefferson, etter å ha kommet tilbake fra Frankrike, ble utenriksminister.)

I 1794 Madison giftet seg med en enke, Dolley Payne Todd (Dolley Madison), en kjekk, yppig, livlig Quaker 17 år yngre, som avviste kirkens disiplin og elsket sosiale aktiviteter., Hennes første ektemann var død i gul feber-epidemien året før. Hun med jevne mellomrom serveres som offisielle vertinne for President Jefferson, som var enkemann. Så Madison ‘ s kone, hun ble en del på soarè, vanligvis iført fargerike fjær turban og en elegant kjole pyntet med smykker og skinnvarer. Hun kan sies å ha skapt rollen som first lady som et politisk partner av president, men at etiketten kom ikke i bruk før mye senere. En upretensiøs kvinne, hun spiste hjertelig, gamblet, frodig rødt ansiktet hennes overdådig, og tok snus., Den «onsdag stuene», som hun innstiftet for offentlige lagt til hennes popularitet. Hun fikk landets evig takknemlighet for å redde et Gilbert Stuart portrett av George Washington i 1814 rett i forkant av Britiske tropper som legger opp til det Hvite Hus i Krigen av 1812.

Madison venstre Congress i 1797, kvalm av John Jay-traktaten med England, som frustrert sitt program av kommersielle represalier mot krigstid undertrykkelse av AMERIKANSKE maritime handel. Den Fremmede og Oppvigleri Handlinger av 1798 inspirerte ham til å utarbeide Virginia Vedtak av året, fordømte de lover som brudd på den Første Endringen av Grunnloven og bekrefter rett og plikt til usa «til interpose for å arrestere utviklingen av den onde.,»Forsiktig formulert til å bety mindre lovlig enn de så ut til å true, de tvang ham til å tilbringe sin åttiåring år bekjempelse av South Carolina tolkning av dem som en sanksjon av statens makt til å tilintetgjøre federal law.

i Løpet av åtte år som Jefferson ‘ s secretary of state (1801-09), Madison brukt ord som «Presidenten har bestemt seg for at» så regelmessig at hans egen rolle kan bli funnet bare i utenlandske arkiver. Britiske diplomater som arbeider med Madison møtt «asperity av temperament og flyt av uttrykk.»Senatorene John Adair og Nicholas Gilman avtalt i 1806 at han «styrte President,» en mening holdt også av den franske minister Louis-Marie Turreau.