Palaamassa Virginia lainsäätäjä vuonna 1784, Madison voitti Patrick Henry bill antaa taloudellista tukea ”opettajat Kristillisen uskonnon.”Välttää poliittinen vaikutus hänen äärimmäinen nationalismi, hän suostutteli valtiot-oikeuksien puolestapuhuja John Tyler sponsori kutsua Annapolisin Yleissopimuksen 1786, jotka apunaan Madison on vaikutus, joka tuotetaan Perustuslaillisen Yleissopimuksen 1787.,

Siellä hänen Virginia, tai large-tilaan, Suunnitella, laittaa eteenpäin Kuvernööri Edmund Randolph, kalustettu yleiset puitteet ja periaatteet Perustuslain, ansaita hänelle otsikko isä Perustuslain. Madison uskoi innokkaasti arvon vahvan hallituksen, jonka valta oli hyvin hallinnassa, koska se oli hyvin tasapainoinen keskuudessa oksat. Edustaja William Pierce, Georgia kirjoitti, että johdon jokainen suuri kysymys, Madison ”aina tulee eteen parhaiten tietoa Mies tahansa keskustelussa.,”Pierce kutsui häntä” vaatimattomaksi herrasmieheksi-jolla on huomattava makea luonne. Hän on helppo ja varaukseton tuttaviensa keskuudessa, ja hänellä on mitä miellyttävin keskustelutyyli.”

Madison otti day-by-day muistiinpanoja keskusteluista, Perustuslakituomioistuimen Yleissopimuksen, joka toimittaa ainoa kattava historia menettelyn. Ratifioisivat hän yhteistyötä Alexander Hamilton ja John Jay sanomalehtien julkaiseminen Federalist papers (Madison kirjoitti 29 out of 85), joka tuli standardi kommentaari Perustuslaki., Hänen vaikutusvaltansa tuotti ratifioinnin Virginia ja johti John Marshall sanoa, että jos kaunopuheisuus sisältyy ” suostuttelu vakuuttamalla, Mr. Madison oli kaunopuheisin mies olen koskaan kuullut.”

valittiin uusi edustajainhuone, Madison sponsoroi ensimmäinen 10 muutokset Perustuslain, Bill of Rights—asettamalla painotetaan keskustelua uskonnon -, puhe -, ja paina-näppäintä. Hänen johdollaan Talossa, joka aiheutti Massachusetts kongressiedustaja Fisher Ames soittaa hänelle ”ensimmäinen mies,” päättyi, kun hän erosi valtiovarainministeri Hamilton yli menetelmiä rahoitus sota velkansa., Hamiltonin tavoitteena oli vahvistaa kansallista hallitusta sementillä rikkaat se, Madison pyrki suojelemaan etuja Vallankumouksellinen veteraaneja.

Hamiltonin voitto kääntyi Madison osaksi tiukka konstruktionistisile kongressin valta asianmukaista yleistä hyvinvointia. Hän kiisti, että Valtiokonttorin tukemiseen olisi olemassa implisiittistä valtaa perustaa kansallinen pankki. Myöhemmin presidenttinä hän pyysi ja hankki pankin ”lähes välttämättömänä” sitä varten, mutta väitti sen olevan perustuslaillinen vain siksi, että Hamiltonin pankki oli mennyt ilman perustuslaillista haastetta., Haluttomuus myöntää virhettä oli elinikäinen ominaisuus. Tauko ohi jaetun rahoituksen Kongressin osaksi Madisonian ja Hamiltonin ryhmittymiä, Fisher Ames nyt soittaa Madison ”epätoivoinen puolueen johtaja”, jotka pannaan täytäntöön kurinalaisuutta ”niin vakava kuin Preussin.”(Madisonialaiset muuttuivat Jeffersonialaisiksi Ranskasta palanneen Jeffersonin tultua ulkoministeriksi.)

Vuonna 1794 Madison meni naimisiin lesken Dolley Payne Toddin (Dolley Madison), komea, uhkea, pirteä Quaker 17 vuotta hänen nuorempi, joka hylkäsi kirkon kurinalaisuutta ja rakasti sosiaalista toimintaa., Hänen ensimmäinen miehensä oli kuollut edellisenä vuonna keltakuumeepidemiassa. Hän toimi ajoittain leskeksi jääneen presidentti Jeffersonin virallisena emäntänä. Kuten Madison, vaimo, hän tuli ottelua kielestä, yleensä yllään värikäs höyhenpeitteinen turbaani ja tyylikäs mekko, koristeltu koruja ja turkiksia. Hän voi sanoa, on luotu rooli ensimmäinen nainen poliittisena kumppanina puhemies, vaikka etiketti ei tullut käyttöön vasta paljon myöhemmin. Vaatimaton nainen, hän söi sydämellisesti, uhkapelasi, kaivoi kasvonsa ylenpalttisesti ja otti nuuskaa., Hänen suosiotaan lisäsivät hänen yleisölle perustamansa ”keskiviikon piirustushuoneet”. Hän ansaitsi kansakunnan kuolemattoman kiitollisuuden pelastamalla Gilbert Stuart-muotokuvan George Washingtonista vuonna 1814 juuri ennen brittijoukkoja, jotka laittoivat soihdun Valkoiseen taloon vuoden 1812 sodassa.

Madison lähti Kongressi vuonna 1797, tympääntynyt John Jayn sopimus Englannin kanssa, joka turhautunut hänen program kaupallisia vastatoimia vastaan sota-ajan sorron YHDYSVALTAIN merenkulun kauppa. Alien ja Sedition Acts of 1798 innoitti häntä luonnos Virginia Päätöslauselmat joka vuosi, todeten niiden perussääntöjen rikkomuksia Ensimmäisen Tarkistuksen Perustuslain ja vahvistavat oikeus ja velvollisuus valtiot ”tulla väliin pidätti edistymistä paha.,”Huolellisesti muotoiltu tarkoittaa vähemmän laillisesti kuin ne näyttivät uhkaavan, ne pakotti hänet viettää hänen yhdeksättäkymmenettä vuotta torjuminen Etelä-Carolinan tulkinta niistä seuraamuksena valtion valta mitätöidä liittovaltion lakia.

kahdeksan vuoden Aikana kuin Jefferson on valtiosihteeri (1801-09), Madison käytti sanoja ”Presidentti on päättänyt” niin säännöllisesti, että hänen oma roolinsa voi olla löysi vain ulkomaisiin arkistoihin. Madisonia käsittelevät brittidiplomaatit kohtasivat ”temperamentin ja ilmaisun sujuvuuden aspergiteetin.”Senaattorit John Adair ja Nicholas Gilman sovittu vuonna 1806, että hän ”hallinnut Presidentti”, lausuntoa pidetään myös ranskan ulkoministeri Louis-Marie Turreau.