Некоторые черты врожденной его беспечности сохранены в семействе и переданы нам Н. И. Павлищевым. Записанный с малолетства в Измайловский полк, Сергей Львович был переведен потом, при государе Павле Петровиче, в гвардейский Егерский. Сергей Львович не мог отстать в службе от некоторых привычек, к числу которых принадлежала привычка сидеть у камелька с приятелями и мешать в нем огонь, причем раз Сергей Львович употребил на это собственную свою офицерскую трость и с ней же явился потом к должности. Начальник, заметив обгорелую трость, подошел к нему и сказал: «Уж вам бы, г. поручик, лучше явиться с кочергою на ученье!» Огорченный Сергей Львович жаловался потом супруге своей на тяжесть военной службы. Между прочим, он питал какое-то отвращение к перчаткам и почти всегда терял их или забывал дома; будучи однажды приглашен с другими товарищами своими на бал к высочайшему двору, он, по обыкновению, не позаботился об этой части своего туалета и оробел порядком, когда государь Павел Петрович, подойдя к нему, изволил спросить по-французски: «Отчего вы не танцуете?» — «Я потерял перчатки, ваше величество», — отвечал в смущении молодой офицер. Государь поспешно снял перчатки с своих собственных рук и, подавая их, сказал с улыбкой: «Вот вам мои!» — потом взял его под руку с ободрительным видом и, подводя к даме, прибавил: «А вот вам и дама!»