reintrarea în legiuitorul Virginiei în 1784, Madison a învins proiectul de lege al lui Patrick Henry pentru a oferi sprijin financiar „profesorilor religiei creștine.”Pentru a evita efectul politic al naționalismului său extrem, El l-a convins pe avocatul drepturilor statelor, John Tyler, să sponsorizeze convocarea Convenției de la Annapolis din 1786, care, ajutat de influența lui Madison, a produs Convenția Constituțională din 1787.,acolo Virginia lui, sau mare-stat, planul, a prezentat prin Guvernatorul Edmund Randolph, mobilat cadrul de bază și principiile directoare ale Constituției, câștigând-l titlul de tată al Constituției. Madison credea acut în valoarea unui guvern puternic în care puterea era bine controlată, deoarece era bine echilibrată între ramuri. Delegatul William Pierce din Georgia a scris că, în gestionarea fiecărei mari întrebări, Madison ” întotdeauna prezintă cel mai bine informat om din orice punct al dezbaterii.,”Pierce la numit” un domn de mare modestie-cu un temperament dulce remarcabil. El este ușor și fără rezerve printre cunoștințele sale, și are un stil mai agreabil de conversație.Madison a luat note de zi cu zi de dezbateri la Convenția Constituțională, care furnizează singura istorie cuprinzătoare a procedurilor. Pentru a promova ratificarea a colaborat cu Alexander Hamilton și John Jay în publicarea ziarului The Federalist papers (Madison a scris 29 din 85), care a devenit comentariul standard asupra Constituției., Influența lui a produs ratificarea de Virginia și l-a determinat pe John Marshall să spună că, dacă elocvența a inclus „persuasiunea prin convingere, Domnul Madison a fost cel mai elocvent om pe care l-am auzit vreodată.”

Ales la noua Casa Reprezentanților, Madison sponsorizat primele 10 amendamente ale Constituției—Bill of Rights—punând accent în dezbaterea privind libertatea de religie, de exprimare, și apăsați. Conducerea sa în casă, care l-a determinat pe congresmanul Massachusetts Fisher Ames să-l numească „primul nostru om”, s-a încheiat când s-a despărțit de Secretarul Trezoreriei Hamilton în legătură cu metodele de finanțare a datoriilor de război., Scopul lui Hamilton a fost de a consolida guvernul național prin cimentarea oamenilor de avere; Madison a căutat să protejeze interesele veteranilor revoluționari.victoria lui Hamilton a transformat Madison într-un constructionist strict al puterii Congresului pentru a se potrivi bunăstării generale. El a negat existența puterii implicite de a înființa o bancă națională pentru a ajuta Trezoreria. Mai târziu, în calitate de președinte, el a cerut și a obținut o bancă ca „aproape necesitate” în acest scop, dar el a susținut că era Constituțională doar pentru că banca lui Hamilton a plecat fără provocare Constituțională., Refuzul de a admite eroarea a fost o caracteristică pe tot parcursul vieții. Pauză de peste finanțare split Congres în Madisonian și Hamiltonian facțiuni, cu Fisher Ames numesc Madison un „disperat lider de partid”, care a impus o disciplină „la fel de severe ca Prusac.”(Madisonians transformat în Jeffersonians după Jefferson, după ce sa întors din Franța, a devenit secretar de stat.în 1794 Madison s-a căsătorit cu o văduvă, Dolley Payne Todd (Dolley Madison), un Quaker frumos, plin de viață, cu 17 ani mai tânăr decât el, care a respins disciplina Bisericii și a iubit activitățile sociale., Primul ei soț a murit în epidemia de febră galbenă din anul precedent. Ea a servit periodic ca gazdă oficială pentru președintele Jefferson, care era văduv. Ca soție a lui Madison, ea a devenit un accesoriu la soirées, purtând de obicei un turban colorat cu pene și o rochie elegantă ornamentată cu bijuterii și blănuri. Se poate spune că a creat rolul de primă doamnă ca partener politic al președintelui, deși această etichetă nu a intrat în uz decât mult mai târziu. O femeie modest, ea a mâncat din toată inima, gambled, rouged fața ei bogat, și a luat prizat., „Sălile de miercuri” pe care le-a instituit pentru public au adăugat la popularitatea ei. Ea a câștigat recunoștința eternă a națiunii pentru salvarea unui portret Gilbert Stuart al lui George Washington în 1814, chiar înaintea trupelor britanice care au pus torța Casei Albe în Războiul din 1812.