Štěrbáčkovi přišli do Doubravice nad Svitavou ze sousední Rájce v letech 1752- 1755. S největší pravděpodobností se už tehdy usadili na půllánovém gruntě č.55 (číslování domů proběhlo až v roce 1771), na kterém se udrželi dodnes.
Když však v roce 1829 sedlák František Štěrbáček zemřel, odkázal grunt synu Fabiánovi. Nejmladší syn Jakub zdědil jen 3letého koně, malý vůz, pluh s radlicí, brány a 1 mandel truhlářských desek. K tomu ještě „všechny ostatní kopaninky, co ke gruntu patřijó“. Postavil si tenkrát na jedné z těch kopaninek tento domek, který měl č.p. 46. Asi si přivydělával prací u sedláků, zatímco jeho žena Petronila přiváděla na svět malé doubravické občánky. Byla totiž porodní bábou.
V domě vyrostly i další dvě generace a až Jakubův pravnuk, který byl zedníkem, si pár metrů od něj (na další kopanince) zbudoval pro sebe a svoji rodinu domek nový č.163. To už se ale začalo psát 20. století.
Jakmile Josefova žena porodila první dítko, dceru Marii, hrdý otec prohlásil, že pro ni postaví také dům. Co slíbil, to splnil. Jeho parcela byla dostatečně velká a tak dceřin dům „přilepil“ „ tomu svému. Dvorky odděloval jen tyčkový plot s brankou, aby se rodiny mohly navštěvovat, aniž by vyšly na ulici.