Быў унукам генерала Уільяма Колфакса, які ўдзельнічаў у Вайне за незалежнасць. У 1836 г. разам з айчымам Колфакс пераехаў у Індыяну, дзе займаўся журналістыкай, у 19 гадоў стаў рэдактарам газеты. Будучы прыхільнікам партыі вігаў, Колфакс ў 1850 беспаспяхова і ў 1854 годзе паспяхова балатаваўся ў Палату прадстаўнікоў, крытыкуючы закон Канзас-Небраска. На прэзідэнцкіх выбарах 1868 рэспубліканскі кандыдат Уліс Грант прапанаваў Колфаксу месца віцэ-прэзідэнта. На выбарах пара Грант-Колфакс атрымала ўпэўненую перамогу, і яны сталі самай маладой парай Прэзідэнт-Віцэ-прэзідэнт у гісторыі ЗША да абрання Біла Клінтана і Альберта Гора ў 1992 (абодвум было па 46 гадоў).
