Genindtaste Virginias lovgivende forsamling i 1784, Madison besejret Patrick Henry ‘ s lovforslag om at give økonomisk støtte til “lærere i den Kristne religion.”For at undgå den politiske virkning af hans ekstreme nationalisme overtalte han statsrettighedsadvokaten John Tyler til at sponsorere opfordringen til Annapolis-konventionen fra 1786, som med hjælp fra Madisons indflydelse producerede den forfatningsmæssige konvention fra 1787.,

Der hans Virginia, eller storstat, Plan, fremsat gennem guvernør Edmund Randolph, møbleret de grundlæggende rammer og vejledende principper i forfatningen, tjener ham titlen Fader til forfatningen. Madison troede meget på værdien af en stærk regering, hvor magten var godt kontrolleret, fordi den var velafbalanceret blandt filialerne. Delegeret wroteilliam Pierce fra Georgien skrev det, i forvaltningen af ethvert stort spørgsmål, Madison “kommer altid frem den bedst informerede mand om ethvert punkt i debatten.,”Pierce kaldte ham” en herre med stor beskedenhed—med et bemærkelsesværdigt sødt temperament. Han er let og uforbeholden blandt sine bekendte og har en meget behagelig samtalestil.”

Madison tog daglige notater af debatter på Forfatningskonventionen, som giver den eneste omfattende historie af sagen. For at fremme ratificeringen han har samarbejdet med Alexander Hamilton og John Jay i avisen offentliggørelsen af the Federalist papers (Madison skrev 29 ud af 85), som blev standard kommentar om Forfatningen., Hans indflydelse producerede ratificering af Virginia og fik John Marshall til at sige, at hvis veltalenhed inkluderede “overtalelse ved at overbevise, var Mr. Madison den mest veltalende Mand, jeg nogensinde har hørt.”

valgt til det nye Repræsentanternes Hus, Madison sponsorerede de første 10 ændringer til forfatningen—Bill of Rights—med vægt på debat om religionsfrihed, tale og presse. Hans lederskab i huset, hvilket fik Massachusetts kongresmedlem Fisher Ames til at kalde ham “vores første mand,” sluttede, da han splittede sig med finansminister Hamilton over metoder til finansiering af krigsgælden., Hamilton ‘ s mål var at styrke den nationale regering ved at cementere mænd af rigdom til det; Madison forsøgt at beskytte interesser revolutionære veteraner.Hamiltons sejr gjorde Madison til en streng konstruktør af Kongressens magt til passende for den generelle velfærd. Han benægtede eksistensen af underforstået magt til at oprette en national bank til at hjælpe statskassen. Senere, som præsident, bad han om og opnåede en bank som “næsten nødvendighed” til dette formål, men han hævdede, at det kun var forfatningsmæssigt, fordi Hamiltons bank var gået uden forfatningsmæssig udfordring., Uvillighed til at indrømme fejl var en livslang egenskab. Pausen over finansiering splittede Kongressen i Madisonian og Hamiltonian fraktioner, med Fisher Ames nu kalder Madison en “desperat partileder”, der håndhævede en disciplin “så alvorlig som den preussiske.”(Madisonians blev til Jeffersonians efter Jefferson, der var vendt tilbage fra Frankrig, blev statssekretær.)

I 1794 Madison giftede sig med en enke, Dolley Payne Todd (Dolley Madison), en smuk, frodig, livlig Quaker 17 år yngre, der afviste kirkens disciplin og elsket sociale aktiviteter., Hendes første mand var død i den gule feberepidemi året før. Hun tjente med jævne mellemrum som officiel værtinde for præsident Jefferson, som var enkemand. Som Madisons kone blev hun fast inventar på soireses, normalt iført en farverig fjedret turban og en elegant kjole ornamenteret med smykker og pelse. Det kan siges, at hun har skabt rollen som first lady som en politisk partner for præsidenten, skønt denne etiket først blev brugt meget senere. En uhøjtidelig kvinde, hun spiste hjerteligt, gambled, ru hendes ansigt overdådigt, og tog snus., De “onsdagstegningslokaler”, som hun indførte for offentligheden, tilføjede hendes popularitet. Hun tjente nationens udødelige taknemmelighed for at redde et Gilbert Stuart-portræt af George .ashington i 1814 lige foran de britiske tropper, der satte faklen til Det Hvide Hus i krigen i 1812.

Madison forlod Kongressen i 1797, væmmes ved John Jay-traktaten med England, som frustreret sit program for kommercielle gengældelse mod krig og undertrykkelse af AMERIKANSKE maritime handel. Den Fremmede og Oprør Handlinger 1798 inspirerede ham til at udkast til Virginia Beslutninger af det år, fordømme disse vedtægter som overtrædelser af den Første Ændring af Forfatningen og bekræftelse af ret og pligt for staterne “for at indskyde til at arrestere de fremskridt, der er af det onde.,”Forsigtigt formuleret til at betyde mindre lovligt, end de syntes at true med, at de tvang ham til at bruge sin firsårig år bekæmpelse af South Carolina’ s fortolkning af dem som en sanktion af statens magt til at ophæve føderale lovgivning.

i Løbet af otte år som præsident thomas Jefferson ‘ s secretary of state (1801-09), Madison brugte ordene “Præsidenten har besluttet,” så regelmæssigt, at hans egen rolle kan blive opdaget kun i udenlandske arkiver. Britiske diplomater, der beskæftiger sig med Madison, stødte på “asperity af temperament og flydende udtryk.”Senatorerne John Adair og Nicholas Gilman var i 1806 enige om, at han “styrede præsidenten”, en udtalelse fra den franske minister Louis-Marie Turreau.