Som om det at være almisselem kunne være en arvelig sygdom fører nu sønnen Jacob betegnelsen videre, idet han netop i året, hvor han mister sin almissetyngede far, selv '...begjerer nogen Understøttelse for sig og kone og tre Børn'.
Almissen bevilges med beskedne 2skp byg i 1837. I de følgende år får familien denne almisse:

Dette år - 1840 -  er der igen en folketælling, hvor familien noteres således:

Som det kan ses i folketællingen er Jacob Kallerup her ikke nævnt som almisselem, - en betegnelse der alene noteres ud for de to yngste døtre. Dette hensyn til børnenes tarv går igen i de fleste af fattigprotokollens almisse-notater. Og i den følgende folketælling ses det desuden, at den ældste af de tre døtre betegnes som 'lidt fjollet',- utvivlsomt et udtryk for, at hun er udviklingshæmmet. Hun forbliver da også, som den eneste af døtrene, ugift hele livet.

Som det kan ses, er familien nu flyttet fra Sønderby (ses i FT 1840) til Nørby i Tved.

Det ses her, at døtrene Ane og Dorthe Marie har forladt hjemmet. De er begge blevet gift. Se anetavlen længere nede på siden.

Som det kan ses af folketællingen fra 1860 herover er det aldrende forældrepar og deres psykisk svage datter Johanne Marie nu flyttet sammen med den næstældste datter Ane og hendes mand Niels Pedersen og deres børn. Om de bor på samme sted som i 1855 vides ikke.
Men i januar 1862, - to år senere - fortæller et notat fra sogneforstanderkabets protokol, at Jacob Kallerup og hans kone Kirsten nu har overdraget deres hus til den svigersøn, Peder Nielsen med tilnavnet 'Sjælland', som var gift med deres datter Dorthe Marie. Notatet lyder således:
'Peder Sælland mødte og forlangte Understøttelse for Jacob Kallerup og Kone, der havde overdraget P Sælland sit Huus med tilliggende imod at faae Huslye og Pleie hos ham deres Levetid. Han forlangte for Aaret 1862, 4Tdr Byg og 8Rdl, hvilket af Sogneforstanderskabet blev indrømmet.'
Men opholdet her får en afslutning allerede i april 1862, for da flytter de to gamle forældre, nu aftægtsfolk betalt af fattigvæsenet i Tved, sammen med deres yngste datter Dorthe Marie og hendes mand og børn til Hjardemaal. Se kirkebogens notat om dette her.
Af et senere notat ses det, at Dorthe Maries mand Niels Pedersen - også kaldt Sjælland - bliver Husmand i Klitten i Hjardemaal.
Kun to år senere, i marts 1864 dør Niels Pedersen Sjælland, 36 år gammel, og 3 måneder efter, i juni, dør også Kirsten Mikkelsdatter. Dorthe Marie mister altså på kort tid sin mand og sin mor. Året efter, i 1865, gifter hun sig for anden gang, nu med sin svoger, husmand Niels Pedersen, der i 1860 var blevet enkemand efter hendes søster Anes død i 1860 og som i 1865 blev enkemand for anden gang efter et kun 5-årigt ægteskab. De to får i de følgende år børnene Peder, Kirstine Marie og Maren. Se anetavlen herunder.

I den næstfølgende folketælling 8 år senere ses Jacob stadigvæk at bo hos sin datter, Dorthe Marie, hendes anden mand og deres sammenbragte børn:

Det er interessant at se, at Jacob stadigvæk er almisselem - og forsørget som sådan fra Tved Sogns Fattigvæsen.

I den følgende folketælling, i 1880, ses familien ikke længere i Hjardemaal, og de er heller ikke i hverken Nors eller Tved. Hvornår de er flyttet og hvorhen vides ikke.