Lige siden 1540 har det ved forordning været bestemt, at alle sogne skulle sørge for ordentlige boligforhold for deres præster. Det skulle være en anstændig gård med jordtilliggende, ikke nødvendigvis sognets bedste, men gerne og helst den næstbedste, præsten skulle ikke se sine sognebørn over hovedet. Samtidig blev præsten pålagt boligpligt.
Siden reformationen har Ulbølle og Vester Skerninge været et præstekald, med præstegården liggende i Ulbølle, men allerede i 1589 flyttede præsten til Vester Skerninge. Den daværende præstegård lå i byens vestlige ende, men den brændte i 1631. Derefter kom den nye præstegård til at ligge overfor kirken.
Den nuværende bygning er opført i 1682. Kvisten er påsat i 1797, et par udhuse der lå syd for boligen nedbrændte i 1921. Avlsbygningerne flyttede derefter ud på præstegårdens jord (nu præstemarken).
Sidefløjen med konfirmandstue, hønsehus og hestestald er opført i1922.