Пережив императрицу Екатерину и императора Павла, граф Алексей Григорьевич оставил после себя единственную, умершую безбрачною, дочь, известную графиню Анну Алексеевну, и скончался в Москве в царствование императора Александра I, накануне Рождества, в 1807 году.

Преследовали ли его при кончине угрызения совести за его поступок с Таракановой, или в крепкую душу графа Алехана до конца жизни не западало укоров совести – неизвестно.

Сохранилось, впрочем, достоверное предание, что предсмертные муки графа Алексея Григорьевича были особенно невыносимы.