reentering the Virginia legislature in 1784, Madison pokonał Patrick Henry ' s bill, aby udzielić wsparcia finansowego „nauczycielom religii chrześcijańskiej.”Aby uniknąć politycznych skutków jego skrajnego nacjonalizmu, przekonał Rzecznika Praw Stanów, Johna Tylera, aby sponsorował powołanie Konwencji z Annapolis z 1786 roku, która, wspomagana przez wpływy Madisona, stworzyła konwencję konstytucyjną z 1787 roku.,

tam jego plan Wirginii, czyli wielkiego stanu, przedstawiony przez gubernatora Edmunda Randolpha, dostarczył podstawowych ram i zasad przewodnich Konstytucji, nadając mu tytuł ojca Konstytucji. Madison głęboko wierzył w wartość silnego rządu, w którym władza była dobrze kontrolowana, ponieważ była dobrze zrównoważona wśród gałęzi. Delegat William Pierce z Georgii napisał, że w zarządzaniu każdym wielkim pytaniem Madison ” zawsze wychodzi najlepiej poinformowany człowiek w każdym punkcie debaty.,”Pierce nazwał go” dżentelmenem o wielkiej skromności—z niezwykłym słodkim temperamentem. Jest łatwy i nieskrępowany wśród swoich znajomych i ma najbardziej przyjemny styl rozmowy.”

W celu promowania ratyfikacji współpracował z Alexandrem Hamiltonem i Johnem Jayem w publikacjach prasowych The Federalist papers (Madison napisał 29 Z 85), które stały się standardowym komentarzem do Konstytucji., Jego wpływ spowodował ratyfikację przez Virginię i skłonił Johna Marshalla do stwierdzenia, że jeśli elokwencja obejmuje ” perswazję przez przekonywanie, Pan Madison był najbardziej elokwentnym człowiekiem, jakiego kiedykolwiek słyszałem.”

wybrany do nowej Izby Reprezentantów, Madison sponsorował pierwsze 10 poprawek do Konstytucji-Karty Praw-kładąc nacisk na debatę na temat wolności religii, słowa i prasy. Jego przywództwo w Izbie, co spowodowało, że kongresmen z Massachusetts Fisher Ames nazwał go „naszym pierwszym człowiekiem”, dobiegło końca, gdy rozstał się z sekretarzem skarbu Hamiltonem w sprawie metod finansowania długów wojennych., Celem Hamiltona było wzmocnienie rządu narodowego przez cementowanie do niego ludzi zamożnych; Madison starał się chronić interesy weteranów rewolucyjnych.

zwycięstwo Hamiltona sprawiło, że Madison stał się surowym konstruktorem władzy Kongresowej, aby zapewnić sobie ogólne dobro. Zaprzeczył istnieniu domniemanych uprawnień do utworzenia Narodowego Banku wspomagającego Skarb Państwa. Później, jako prezydent, poprosił i uzyskał bank jako „prawie konieczność” do tego celu, ale twierdził, że jest to konstytucyjne tylko dlatego, że Bank Hamiltona poszedł bez Konstytucyjnego wyzwania., Niechęć do przyznania się do błędu była cechą życiową. Przerwa w finansowaniu podzieliła Kongres na frakcje Madisonian i Hamiltonian, a Fisher Ames nazwał Madison „desperackim liderem partii”, który egzekwował dyscyplinę ” tak surową jak Pruska.”(Madisonianie zamienili się w Jeffersonianów po tym, jak Jefferson, po powrocie z Francji, został sekretarzem stanu.)

w 1794 Madison poślubił wdowę, Dolley Payne Todd( Dolley Madison), przystojnego, buxom, żywiołowego Kwakra 17 lat młodszego, który odrzucił dyscyplinę kościelną i kochał działalność społeczną., Jej pierwszy mąż zmarł w czasie epidemii żółtej febry w poprzednim roku. Okresowo pełniła funkcję oficjalnej gospodyni prezydenta Jeffersona, który był wdowcem. Jako żona Madison stała się oprawą wieczorów, zwykle ubrana w kolorowy Pierzasty turban i elegancką sukienkę ozdobioną biżuterią i futrami. Można powiedzieć, że stworzyła rolę pierwszej damy jako partnera politycznego prezydenta, chociaż Etykieta ta weszła w życie dopiero znacznie później. Bezpretensjonalna kobieta, jadła serdecznie, uprawiała Hazard, obficie oblegała twarz i wzięła tabakę., „Środowe salony”, które ustanowiła dla publiczności, zwiększyły jej popularność. Zasłużyła na dozgonną wdzięczność narodu za uratowanie portretu Gilberta Stuarta George ' a Washingtona w 1814 roku tuż przed wojskami brytyjskimi, które w czasie wojny 1812 roku podłożyły pochodnię do Białego Domu.