В 1797 году Павел Васильевич подал в отставку, посчитав, что его обошли производством. Из своего имения близ Могилева он писал С.Р. Воронцову о желании вернуться в Англию, «чтобы изучать земледелие. <…> На мой взгляд, это лучшее занятие для человека, для которого в собственной стране единственное прибежище – отставка».