Выхоўваўся Андрэем Якаўлевічам Італінскім. Пачаткаў дыпламатычную кар'еру ў 1784 годзе ў рускай місіі ў Швецыі, затым служыў у Лондане, быў прызначаны надзвычайным пасланцам у Канстанцінопаль. Як дыпламат ён трымаўся «нацыянальнай сістэмы, заснаванай на карысці Расіі», жадаў, каб «усе дзяржавы шанавалі яе сяброўствам» і баяўся яе тэрытарыяльных пашырэнняў. Пасля ўступлення на прастол Паўла I быў узведзены ў графскую годнасць, але неўзабаве трапіў у няміласць.
Калі імператарам стаў Аляксандр I, зрабіўся адным з найбліжэйшых яго саветнікаў. Кочубей быў прызначаны членам Дзяржаўнага савета, а з утварэннем міністэрстваў стаў першым міністрам унутраных спраў Расіі (1802). Яшчэ раней ён увайшоў у неафіцыйны дарадчы орган пры імператары — Нягласны камітэт, у працы якога таксама ўдзельнічалі граф П. А. Строганаў, князь А. Чартарыйскі і М. М. Навасільцаў і абмяркоўваліся ліберальныя рэформы. Пасля ўзыходжання Мікалая I Качубей стаў старшынёй Дзяржсавета і Камітэта міністраў (у 1827 годзе) і быў узведзены ў княжую годнасць (1831). У 1834 годзе ён стаў канцлерам па ўнутраных справах. У тым жа году ён памёр ад прыпадку грудной жабы (стэнакардыі) і быў пахаваны ў царкве Святога Духу Аляксандра-Неўскай лаўры.
