Rientrando nella legislatura della Virginia nel 1784, Madison sconfisse il disegno di legge di Patrick Henry per dare sostegno finanziario agli “insegnanti della religione cristiana.”Per evitare l’effetto politico del suo nazionalismo estremo, persuase l’avvocato dei diritti degli stati John Tyler a sponsorizzare la chiamata della Convenzione di Annapolis del 1786, che, aiutata dall’influenza di Madison, produsse la Convenzione costituzionale del 1787.,

Lì il suo piano della Virginia, o grande stato, presentato attraverso il governatore Edmund Randolph, fornì il quadro di base e i principi guida della Costituzione, guadagnandosi il titolo di padre della Costituzione. Madison credeva profondamente nel valore di un governo forte in cui il potere era ben controllato perché era ben bilanciato tra i rami. Il delegato William Pierce della Georgia ha scritto che, nella gestione di ogni grande domanda, Madison “si fa sempre avanti l’uomo meglio informato di qualsiasi punto del dibattito.,”Pierce lo chiamò” un Gentiluomo di grande modestia – con un notevole temperamento dolce. Egli è facile e senza riserve tra i suoi conoscenti, e ha uno stile più piacevole di conversazione.”

Madison ha preso appunti giorno per giorno dei dibattiti alla Convenzione costituzionale, che forniscono l’unica storia completa del procedimento. Per promuovere la ratifica ha collaborato con Alexander Hamilton e John Jay nella pubblicazione di giornali del Federalist papers (Madison ha scritto 29 su 85), che è diventato il commento standard sulla Costituzione., La sua influenza ha prodotto la ratifica da parte della Virginia e ha portato John Marshall a dire che, se l’eloquenza includeva ” persuasione convincendo, il signor Madison era l’uomo più eloquente che abbia mai sentito.”

Eletto alla nuova Camera dei Rappresentanti, Madison sponsorizzò i primi 10 emendamenti alla Costituzione—la Carta dei Diritti—ponendo l’accento nel dibattito sulla libertà di religione, parola e stampa. La sua leadership nella Camera, che ha causato il membro del congresso del Massachusetts Fisher Ames a chiamarlo “il nostro primo uomo,” si è conclusa quando ha diviso con il Segretario del Tesoro Hamilton sui metodi di finanziamento dei debiti di guerra., L’obiettivo di Hamilton era quello di rafforzare il governo nazionale cementando gli uomini di ricchezza ad esso; Madison ha cercato di proteggere gli interessi dei veterani rivoluzionari.

La vittoria di Hamilton trasformò Madison in un rigoroso costruttivista del potere congressuale da appropriarsi del benessere generale. Ha negato l’esistenza del potere implicito di istituire una banca nazionale per aiutare il Tesoro. Più tardi, come presidente, ha chiesto e ottenuto una banca come “quasi necessità” per questo scopo, ma ha sostenuto che era costituzionale solo perché la banca di Hamilton era andata senza sfida costituzionale., La riluttanza ad ammettere l’errore era una caratteristica permanente. La rottura del finanziamento spaccò il Congresso in fazioni madisoniane e hamiltoniane, con Fisher Ames che ora chiamava Madison un “leader disperato del partito” che imponeva una disciplina “severa come quella prussiana.”(I madisoniani si trasformarono in Jeffersoniani dopo che Jefferson, tornato dalla Francia, divenne segretario di stato.

Nel 1794 Madison sposò una vedova, Dolley Payne Todd (Dolley Madison), un quacchero bello, formoso e vivace di 17 anni più giovane di lui, che rifiutava la disciplina della chiesa e amava le attività sociali., Il suo primo marito era morto nell’epidemia di febbre gialla l’anno precedente. Ha servito periodicamente come hostess ufficiale per il presidente Jefferson, che era vedovo. Come la moglie di Madison, è diventata un appuntamento fisso a soirées, di solito indossa un turbante piumato colorato e un abito elegante ornato di gioielli e pellicce. Si può dire che abbia creato il ruolo di first lady come partner politico del presidente, anche se quell’etichetta non è entrata in uso fino a molto più tardi. Una donna senza pretese, mangiò di cuore, scommise, si rovinò generosamente il viso e prese il tabacco da fiuto., I” salotti del mercoledì ” che istituì per il pubblico aumentarono la sua popolarità. Si guadagnò l’eterna gratitudine della nazione per aver salvato un ritratto di Gilbert Stuart di George Washington nel 1814 proprio davanti alle truppe britanniche che misero la torcia alla Casa Bianca nella guerra del 1812.