Reentring the Virginia legislature in 1784, Madison defeated Patrick Henry’s bill to give financial support to «teachers of the Christian religion.»Para evitar el efecto político de su nacionalismo extremo, persuadió al defensor de los derechos de los Estados John Tyler para patrocinar la convocatoria de la Convención de Annapolis de 1786, que, ayudado por la influencia de Madison, produjo la Convención Constitucional de 1787.,

allí, su plan de Virginia, o estado grande, presentado a través del Gobernador Edmund Randolph, proporcionó el marco básico y los principios rectores de la Constitución, lo que le valió el título de padre de la Constitución. Madison creía profundamente en el valor de un gobierno fuerte en el que el poder estaba bien controlado porque estaba bien equilibrado entre las ramas. El delegado William Pierce de Georgia escribió que, en la gestión de cada gran pregunta, Madison «siempre se presenta como el hombre mejor informado de cualquier punto en debate.,»Pierce lo llamó» Un Caballero de gran modestia – con un notable temperamento dulce. Es fácil y sin reservas entre sus conocidos, y tiene un estilo de conversación muy agradable.»

Madison tomó notas del día a día de los debates en la Convención Constitucional, que proporcionan la única historia completa de los procedimientos. Para promover la ratificación colaboró con Alexander Hamilton y John Jay en la publicación de los periódicos Federalist papers (Madison escribió 29 de 85), que se convirtió en el comentario estándar sobre la Constitución., Su influencia produjo la ratificación por Virginia y llevó a John Marshall a decir que, si la elocuencia incluía » persuasión por convencer, el Sr. Madison fue el hombre más elocuente que he escuchado.»

electa a la nueva cámara de Representantes, Madison patrocinó las primeras 10 enmiendas a la Constitución—la Declaración de derechos—poniendo énfasis en el debate sobre la libertad de religión, expresión y prensa. Su liderazgo en la Cámara de Representantes, que causó que el congresista de Massachusetts Fisher Ames lo llamara «nuestro primer hombre», llegó a su fin cuando se separó del Secretario del Tesoro Hamilton sobre los métodos de financiación de las deudas de guerra., El objetivo de Hamilton era fortalecer el gobierno nacional mediante la consolidación de los hombres de la riqueza a él; Madison trató de proteger los intereses de los veteranos revolucionarios.

la victoria de Hamilton convirtió a Madison en un estricto construccionista del poder del Congreso para apropiarse del bienestar general. Negó la existencia de un poder implícito para establecer un banco nacional para ayudar al Tesoro. Más tarde, como Presidente, pidió y obtuvo un banco como «casi necesidad» para ese propósito, pero sostuvo que era constitucional solo porque el banco de Hamilton había ido sin impugnación constitucional., La falta de voluntad para admitir el error fue una característica de toda la vida. La ruptura de la financiación dividió al Congreso en facciones Madisonianas y Hamiltonianas, con Fisher Ames llamando a Madison un «líder desesperado del partido» que impuso una disciplina «tan severa como la prusiana.»(Los madisonios se convirtieron en jeffersonianos después de que Jefferson, habiendo regresado de Francia, se convirtiera en secretario de estado.)

en 1794 Madison se casó con una viuda, Dolley Payne Todd (Dolley Madison), un guapo, corpulento y vivaz cuáquero 17 años menor que él, que rechazó la disciplina de la iglesia y amaba las actividades sociales., Su primer marido había muerto en la epidemia de fiebre amarilla el año anterior. Periódicamente sirvió como anfitriona oficial del presidente Jefferson, que era viudo. Como esposa de Madison, se convirtió en un accesorio en soirées, por lo general usando un turbante de plumas de colores y un vestido elegante adornado con joyas y pieles. Se puede decir que ella creó el papel de primera dama como socia política del presidente, aunque esa etiqueta no entró en uso hasta mucho más tarde. Una mujer sin pretensiones, comía de todo corazón, jugaba, agitaba su cara profusamente y tomaba tabaco., Los «salones de los miércoles» que instituyó para el público se sumaron a su popularidad. Se ganó la eterna gratitud de la nación por rescatar un retrato de Gilbert Stuart de George Washington en 1814 justo por delante de las tropas británicas que pusieron la antorcha a la Casa Blanca en la Guerra de 1812.

Madison abandonó el Congreso en 1797, disgustado por el Tratado de John Jay con Inglaterra, que frustró su programa de represalia comercial contra la opresión del comercio marítimo estadounidense durante la guerra. Las leyes de Extranjería y sedición de 1798 lo inspiraron a redactar las resoluciones de Virginia de ese año, denunciando esas leyes como violaciones de la Primera Enmienda de la Constitución y afirmando el derecho y el deber de los estados «de interponerse para detener el progreso del mal.,»Cuidadosamente redactado para significar menos legalmente de lo que parecían amenazar, lo obligaron a pasar sus años octogenarios combatiendo la interpretación de Carolina del Sur de ellos como una sanción del poder estatal para anular la Ley federal.

durante ocho años como secretario de Estado de Jefferson (1801-09), Madison usó las palabras «El Presidente ha decidido» con tanta regularidad que su propio papel solo se puede descubrir en archivos extranjeros. Los diplomáticos británicos que trataban con Madison encontraron » aspereza de temperamento y fluidez de expresión. Los senadores John Adair y Nicholas Gilman acordaron en 1806 que él «gobernaba al presidente», una opinión también sostenida por el ministro francés Louis-Marie Turreau.