Partia Federalistów przeżywała kryzys po swoim początkowym sukcesie. Wynikało to z faktu, że jego pierwszym kandydatem był George Washington, bohater wojenny i Virginian, który był równie akceptowalny na południu, jak i na północy.
Następny chorąży partii, John Adams, ledwo pokonał Jeffersona demokratyczno-republikańskiego w 1796 roku i od tego momentu wszystko się pogorszyło. Adams wygrał pięć stanów Nowej Anglii oraz cztery z pięciu stanów „Midatlantic” - Nowy Jork, New Jersey, Delaware i Maryland, ale nadal zwyciężył tylko dzięki głosom swingowym ze stanów Jeffersona - Pensylwanii, Wirginii i Północnej Karoliny. W ponownym meczu z 1800 roku Jefferson wygrał Maryland i Nowy Jork, kładąc kres prezydenturom federalistów.
W kampaniach 1804 i 1808 federaliści wygrali tylko stany Nowej Anglii, w tym drugim (lepszym) przypadku , tylko przybrzeżne stany Massachusetts, New Hampshire, Connecticut i Rhode Island. Wydawało się, że w 1812 roku cieszyli się odrodzeniem, wygrywając Nowy Jork, New Jersey i Delaware, ale tylko dlatego, że były gubernator Nowego Jorku, DeWitt Clinton, był na czele biletu.
Ostateczny cios dla federalistów przyszedł podczas wojny 1812 roku, kiedy podejrzewano, że cztery przybrzeżne stany Nowej Anglii (baza partii) nie wspierają działań wojennych i chciałyby podpisać oddzielny pokój z Wielką Brytanią.