réintégrant la législature de Virginie en 1784, Madison a défait le projet de loi de Patrick Henry visant à soutenir financièrement les « enseignants de la religion chrétienne. »Pour éviter l’effet Politique de son nationalisme extrême, il persuada le défenseur des droits des États John Tyler de parrainer l’appel de la Convention D’Annapolis de 1786, qui, aidé par L’influence de Madison, produisit la Convention constitutionnelle de 1787.,

son plan de Virginie, ou grand état, présenté par le Gouverneur Edmund Randolph, a fourni le cadre de base et les principes directeurs de la Constitution, lui valant le titre de père de la Constitution. Madison croyait vivement à la valeur d’un gouvernement fort dans lequel le pouvoir était bien contrôlé parce qu’il était bien équilibré entre les branches. Le délégué William Pierce de Géorgie a écrit que, dans la gestion de chaque grande question, Madison « présente toujours l » homme le mieux informé de tout point dans le débat., »Pierce l’a appelé » un Gentleman d’une grande modestie—avec un tempérament doux remarquable. Il est facile et sans réserve parmi ses connaissances, et a un style de conversation des plus agréables. »

Madison a pris des notes au jour le jour des débats à la Convention constitutionnelle, qui fournissent le seul historique complet des procédures. Pour promouvoir la ratification, il collabora avec Alexander Hamilton et John Jay à la publication dans les journaux des Federalist papers (Madison en écrivit 29 sur 85), qui devinrent le commentaire standard de la Constitution., Son influence a produit la ratification par la Virginie et a conduit John Marshall à dire que, si l’éloquence comprenait  » persuasion par convaincre, M. Madison était l’homme le plus éloquent que j’ai jamais entendu.”

élu à la nouvelle Chambre des représentants, Madison a parrainé les 10 premiers amendements à la Constitution—la Déclaration des droits—mettant l’accent dans le débat sur la liberté de religion, d’expression et de presse. Son leadership à la chambre, qui a amené le membre du Congrès du Massachusetts Fisher Ames à l’appeler « notre premier homme”, a pris fin lorsqu’il s’est séparé du Secrétaire au Trésor Hamilton sur les méthodes de financement des dettes de guerre., Le but de Hamilton était de renforcer le gouvernement national en y consolidant des hommes riches; Madison cherchait à protéger les intérêts des Anciens Combattants révolutionnaires.

la victoire de Hamilton a transformé Madison en un constructionniste strict du pouvoir du Congrès de s’approprier le bien-être général. Il a nié l’existence d’un pouvoir implicite d’établir une banque nationale pour aider le Trésor. Plus tard, en tant que président, il demanda et obtint une banque comme « presque nécessaire” à cette fin, mais il soutint que c’était constitutionnel seulement parce que la Banque de Hamilton avait disparu sans contestation constitutionnelle., La réticence à admettre l’erreur était une caractéristique de toute une vie. La rupture sur le financement a divisé le Congrès en factions Madisoniennes et Hamiltoniennes, Fisher Ames appelant maintenant Madison Un « chef de parti désespéré” qui a imposé une discipline « aussi sévère que le Prussien. »(Les madisoniens se sont transformés en Jeffersoniens après que Jefferson, de retour de France, soit devenu secrétaire d’état.)

en 1794, Madison épousa une veuve, Dolley Payne Todd (Dolley Madison), un quaker beau, plantureux et vif de 17 ans son cadet, qui rejetait la discipline de l’Église et aimait les activités sociales., Son premier mari était mort dans l’épidémie de fièvre jaune l’année précédente. Elle a périodiquement servi d’hôtesse officielle pour le président Jefferson, qui était veuf. En tant qu’épouse de Madison, elle est devenue un incontournable des soirées, portant généralement un turban coloré à plumes et une élégante robe ornée de bijoux et de fourrures. On peut dire qu’elle a créé le rôle de première dame en tant que partenaire politique du président, bien que cette étiquette n’ait été utilisée que beaucoup plus tard. Femme sans prétention, elle mangeait de bon cœur, jouait, rougissait abondamment son visage et prenait du tabac à priser., Les” salons du mercredi  » qu’elle a institués pour le public ont ajouté à sa popularité. Elle a mérité la gratitude éternelle de la nation pour avoir sauvé un portrait de George Washington par Gilbert Stuart en 1814, juste avant les troupes britanniques qui ont porté le flambeau à la Maison Blanche pendant la guerre de 1812.