återinträde i Virginia lagstiftaren 1784, Madison besegrade Patrick Henrys lagförslag för att ge ekonomiskt stöd till ”lärare i den kristna religionen.”För att undvika den politiska effekten av hans extrema nationalism övertalade han staterna-rättigheter förespråkare John Tyler att sponsra kallelsen av Annapolis-konventionen av 1786, som, med hjälp av Madisons inflytande, producerade Konstitutionskonventionen av 1787.,

där hans Virginia, eller storstat, Plan, framlagd genom guvernör Edmund Randolph, möblerade den grundläggande ramen och vägledande principerna i konstitutionen, vilket gav honom titeln fader till konstitutionen. Madison trodde mycket på värdet av en stark regering där makten var väl kontrollerad eftersom den var välbalanserad bland grenarna. Delegat William Pierce of Georgia skrev att Madison ”alltid kommer fram den bästa informerade mannen om någon punkt i debatten i hanteringen av varje stor fråga.,”Pierce kallade honom” en Gentleman av stor blygsamhet – med ett anmärkningsvärt sött humör. Han är lätt och oreserverad bland sina bekanta och har en mest angenäm stil av konversation.”

Madison tog dagliga anteckningar av debatter vid Konstitutionskonventionen, som ger den enda omfattande historien om förfarandet. För att främja ratificeringen samarbetade han med Alexander Hamilton och John Jay i tidningen publicering av Federalistiska papper (Madison skrev 29 av 85), som blev standard kommentar till konstitutionen., Hans inflytande producerade ratificering av Virginia och ledde John Marshall att säga att om vältalighet inkluderade ”övertalning genom övertygande, var Mr Madison den mest vältaliga mannen jag någonsin hört.”

vald till det nya representanthuset sponsrade Madison De första 10 ändringarna av konstitutionen—Bill of Rights—med tonvikt på debatt om religionsfrihet, tal och press. Hans ledarskap i huset, vilket orsakade Massachusetts kongressman Fisher Ames att kalla honom ”vår första man”, kom till ett slut när han delade med statskassan Hamilton Sekreterare över metoder för att finansiera krigsskulderna., Hamiltons mål var att stärka den nationella regeringen genom att cementera män av rikedom till den; Madison försökte skydda revolutionära veteranernas intressen.

Hamiltons seger gjorde Madison till en strikt konstruktionist av kongressens makt till lämplig för den allmänna välfärden. Han förnekade existensen av underförstådd makt att inrätta en nationell bank för att hjälpa statskassan. Senare, som president, bad han om och fick en bank som ”nästan nödvändighet” för det ändamålet, men han hävdade att det var konstitutionellt bara för att Hamiltons bank hade gått utan konstitutionell utmaning., Ovillighet att erkänna fel var en livslång egenskap. Brytningen över finansiering dela kongressen i Madisonian och Hamiltonian fraktioner, med Fisher Ames nu kallar Madison en ” desperat partiledare ”som verkställde en disciplin” lika svår som preussiska.”(Madisonians förvandlas till Jeffersonians efter Jefferson, efter att ha återvänt från Frankrike, blev statssekreterare.)

år 1794 gifte Madison sig med en änka, Dolley Payne Todd (Dolley Madison), en stilig, buxom, livlig Quaker 17 år hans junior, som avvisade kyrkans disciplin och älskade sociala aktiviteter., Hennes första man hade dött i gula febern epidemin föregående år. Hon tjänstgjorde regelbundet som officiell värdinna för President Jefferson, som var änkling. Som Madisons fru blev hon en fixtur på soirées, vanligtvis klädd i en färgstark fjädrad turban och en elegant klänning ornamenterad med smycken och pälsar. Hon kan sägas ha skapat rollen som första dam som en politisk partner till presidenten, även om den etiketten inte kom i bruk förrän mycket senare. En anspråkslös kvinna, hon åt hjärtligt, spelade, rouged hennes ansikte frikostigt och tog snus., Den ”Onsdag ritning rum” som hon instiftade för allmänheten lagt till hennes popularitet. Hon förtjänade nationens odödliga tacksamhet för att rädda ett Gilbert Stuart porträtt av George Washington 1814 strax före de brittiska trupperna som satte facklan till Vita Huset i kriget 1812.

Madison lämnade kongressen 1797, äcklad av John Jays fördrag med England, vilket frustrerade hans program för kommersiell vedergällning mot krigstidens förtryck av den amerikanska sjöfartshandeln. Utlänningen och uppvigling handlingar 1798 inspirerade honom att utarbeta Virginia resolutioner av det året, fördöma dessa stadgar som brott mot den första ändringen av konstitutionen och bekräftar rätt och plikt staterna ”att ingripa för att arrestera utvecklingen av det onda.,”Omsorgsfullt formulerade för att betyda mindre lagligt än de tycktes hota, tvingade de honom att spendera sina octogenarian år som bekämpade South Carolina tolkning av dem som en sanktion av statsmakten för att upphäva federal lag.

under åtta år som Jeffersons statssekreterare (1801-09) använde Madison orden ”presidenten har bestämt” så regelbundet att hans egen roll endast kan upptäckas i utländska arkiv. Brittiska diplomater som arbetar med Madison stötte på ” asperity of temper and fluency of expression.”Senators John Adair och Nicholas Gilman kom överens 1806 att han ”styrde presidenten”, ett yttrande som också hölls av Frankrikes minister Louis-Marie Turreau.