Адам Карлович Швальбе (1742-1807) был крепостным небогатого ораниенбаумского помещика А.С. Дьяконова. Мать Кипренского, Анна Гаврилова, была выдана замуж за А.К. Швальбе через год после рождения у нее сына. Известно, что он был хорошим отцом Оресту. В семье Швальбе было ещё пятеро детей (сын и четыре дочери). В 1800 году, после смерти А.С. Дьяконова, А.К. Швальбе получил вольную.