1784 trat Madison erneut in die Gesetzgebung von Virginia ein und besiegte Patrick Henrys Gesetzentwurf, um „Lehrern der christlichen Religion“ finanzielle Unterstützung zu gewähren.“Um die politischen Auswirkungen seines extremen Nationalismus zu vermeiden, überredete er den Menschenrechtsanwalt John Tyler, die Berufung der Annapolis-Konvention von 1786 zu unterstützen, die, unterstützt durch Madisons Einfluss, die Verfassungskonvention von 1787 hervorbrachte.,

Dort stellte sein Virginia-oder großstaatlicher Plan, der durch Gouverneur Edmund Randolph vorgelegt wurde, den grundlegenden Rahmen und die Leitprinzipien der Verfassung dar und verlieh ihm den Titel eines Vaters der Verfassung. Madison glaubte fest an den Wert einer starken Regierung, in der die Macht gut kontrolliert wurde, weil sie zwischen den Zweigen gut ausbalanciert war. Der Delegierte William Pierce von Georgia schrieb, dass Madison bei der Verwaltung jeder großen Frage “ immer der am besten informierte Mann an jedem Punkt der Debatte ist.,“Pierce nannte ihn“ einen Gentleman von großer Bescheidenheit-mit einem bemerkenswerten süßen Temperament. Er ist einfach und vorbehaltlos unter seinen Bekannten und hat einen sehr angenehmen Gesprächsstil.“

Madison nahm Tag für Tag Notizen von Debatten auf dem Verfassungskonvent, die die einzige umfassende Geschichte des Verfahrens liefern. Um die Ratifizierung zu fördern, arbeitete er mit Alexander Hamilton und John Jay bei der Veröffentlichung der Federalist Papers (Madison schrieb 29 von 85) zusammen, die zum Standardkommentar zur Verfassung wurden., Sein Einfluss führte zu einer Ratifizierung durch Virginia und veranlasste John Marshall zu der Aussage, wenn Beredsamkeit „Überzeugung durch Überzeugung“ beinhaltete, war Mr. Madison der beredteste Mann, den ich je gehört habe.“

Madison, die in das neue Repräsentantenhaus gewählt wurde, sponserte die ersten 10 Verfassungsänderungen—die Bill of Rights—und legte Wert auf die Debatte über Religions -, Rede-und Pressefreiheit. Seine Führung im Haus, die den Kongressabgeordneten von Massachusetts, Fisher Ames, veranlasste, ihn „unseren ersten Mann“ zu nennen, endete, als er sich mit Finanzminister Hamilton über Methoden zur Finanzierung der Kriegsschulden trennte., Hamiltons Ziel war es, die nationale Regierung zu stärken, indem sie Männer des Reichtums festigte; Madison versuchte, die Interessen der revolutionären Veteranen zu schützen.

Hamiltons Sieg machte Madison zu einem strengen Konstruktivisten der Kongressmacht, der sich dem allgemeinen Wohlergehen anpasste. Er bestritt die Existenz der impliziten Befugnis, eine Nationalbank zu gründen, um dem Finanzministerium zu helfen. Später, als Präsident, Er bat und erhielt eine Bank als „fast Notwendigkeit“ für diesen Zweck, aber er behauptete, dass es nur verfassungsrechtlich sei, weil Hamiltons Bank ohne verfassungsrechtliche Anfechtung gegangen sei., Die Unwilligkeit, Fehler zuzugeben, war ein lebenslanges Merkmal. Der Durchbruch über die Finanzierung spaltete den Kongress in madisonische und Hamilton-Fraktionen, wobei Fisher Ames Madison jetzt als „verzweifelten Parteiführer“ bezeichnete, der eine Disziplin durchsetzte, die „so streng wie die Preußen“ war.“(Madisonians verwandelte sich in Jeffersonians nach Jefferson, aus Frankreich zurückgekehrt, wurde Außenminister.)

Im Jahre 1794 heiratete Madison eine Witwe, Dolley Payne Todd (Dolley Madison), einen gutaussehenden, buxom, lebhaften Quäker 17 Jahre jünger als sein Junior, der kirchliche Disziplin ablehnte und soziale Aktivitäten liebte., Ihr erster Ehemann war im Vorjahr an der Gelbfieberepidemie gestorben. Sie diente regelmäßig als offizielle Gastgeberin für Präsident Jefferson, der Witwer war. Als Madisons Frau wurde sie eine feste Größe in Soirées und trug normalerweise einen farbenfrohen gefiederten Turban und ein elegantes Kleid, das mit Schmuck und Pelzen verziert war. Man kann sagen, dass sie die Rolle der First Lady als politische Partnerin des Präsidenten geschaffen hat, obwohl dieses Label erst viel später in Gebrauch kam. Eine unprätentiöse Frau, sie aß herzlich, spielte, rauschte ihr Gesicht verschwenderisch, und nahm Schnupftabak., Die „Mittwoch-Salons“, die sie für die Öffentlichkeit einrichtete, trugen zu ihrer Popularität bei. Sie verdiente sich die unsterbliche Dankbarkeit der Nation für die Rettung eines Gilbert Stuart-Porträts von George Washington im Jahr 1814 vor den britischen Truppen, die die Fackel im Krieg von 1812 ins Weiße Haus brachten.

Madison verließ den Kongress 1797, angewidert von John Jays Vertrag mit England, der sein Programm kommerzieller Vergeltung gegen die Kriegsunterdrückung des US-Seehandels vereitelte. Die Alien and Sedition Acts von 1798 inspirierten ihn dazu, die Virginia Resolutions of that Year zu entwerfen, diese Statuten als Verstöße gegen die Erste Änderung der Verfassung anzuprangern und das Recht und die Pflicht der Staaten zu bekräftigen, „um den Fortschritt des Bösen zu verhaften.,“Sorgfältig formuliert, um weniger legal zu bedeuten, als sie zu drohen schienen, zwangen sie ihn, seine achtzigjährigen Jahre damit zu verbringen, South Carolinas Interpretation von ihnen als Sanktion der Staatsgewalt zu bekämpfen, um das Bundesgesetz aufzuheben.

Während acht Jahren als Jeffersons Außenminister (1801-09) verwendete Madison die Worte „Der Präsident hat entschieden“ so regelmäßig, dass seine eigene Rolle nur in ausländischen Archiven entdeckt werden kann. Britische Diplomaten, die sich mit Madison befassten, stießen auf “ Asperität der Laune und Geläufigkeit des Ausdrucks.“Die Senatoren John Adair und Nicholas Gilman stimmten 1806 überein, dass er „den Präsidenten regierte“, eine Meinung, die auch der französische Minister Louis-Marie Turreau vertrat.