Alt tyder således på, at Niels Søe har været ugift tjenestekarl med tjeneste på forskellige gårde hele sit liv, og fra 1846 løber han ind i problemer så store, at fattigvæsennet må tage over. I aftalen, som er indgået med Jacob Boysen lyder det som beskrevet herover, at  'Accorden' (aftalen) giælder i ligeviis, om Niels Søe skulde komme sig'.
Det ser efterfølgende ud til, at Niels Søe er kommet sig, for få linjer efter aftaleteksten ses, at  '...Da Niels Søe antages at være kommet sig, og det baade er hans og Forstanderskabets Ønske, at han skal  gaae om i Sognet, bestemmes, at Jacob Boyesen beholder ham til 8 Mai og erholder derfor ¼ Aars betaling i Korn og Penge.'
Ifølge de nedskrevne notater i fattigprotokollen har Niels Søe altså været i kost og pleje hos Jacob Boysen fra midt i februar til den 8. maj 1846 og derefter har han gået på omgang i sognet i det følgende halve år, måske med undtagelse af 11 dage, for et notat fra 1846 siger, at 'Christen Kjeldsen tilstaaes 2 S. Byg for Niels Søe for 11 Dage'. Udover dette ses fattigvæsenet i 1846 at have bekostet 1m 8s til Strømper til Niels Søe.

Det må imidlertid have været alvorligere end som så med Niels Søe, for i et notat, der er dateret den 13. januar 1847, - altså umiddelbart efter det halve års 'omgang i sognet' lyder det:
'Med jørgen Kappel sluttet Accord om at koste, huse pleie  Niels Søe, vaske om ham, og sye paa hans gamle Klæder, for en Betaling af 6 td Byg, 10 Rbd. at regne fra 13 Januar 1847 til 13 Jan. 1848, Imod at være fri for Omgangspengene i nævnte Tidsrum.  Seng lægger han til.'
Den herover beskrevne 'Accord' (aftale) med en af sognets beboere om at huse og pleje en anden ildestedt sognebeboer er særdeles almindelig her midt i 1800-tallet. At det også kan afstedkomme problemer for fattigvæsenet ses af et notat i fattigprotokollens regnskab over indtægter og udgifter for året 1847, hvor det sidst i regnskabet anføres: '.. men skylder for Niels Søe 1td 4skp Byg'. Hvad problemet med at betale Niels Søes vært, Jørgen Kappel, den aftalte betaling vides ikke. Måske er fattigvæsenet løbet tør for 'betalingskorn' og må afvente et nyt års avl.
Den svækkede Niels Søe opholder sig sikkert hos husmand Jørgen Kappel, hans kone Ane Cathrine Larsen og deres to børn, der i 1847 er 9 og 6 år indtil begyndelsen af 1849, altså i to år, hvorefter en ny 'hentingning' finder sted. I fattigprotokollen noteres det,:
'Niels Søe fra 13 Janv: 1849 til 13 Janv: 1850 for 30 Rbdl, til Jens Boiesen i Hjardemaal Klit, som forsyner ham, saavel med Gang som Senge-Klæder, og forøvrigt forsørger ham paa forsvarlig Maade' –
Niels Søe flyttes altså til et andet sogn. Hvad grunden hertil er, kan vi jo kun gætte på. Mest sandsynligt er vel, at Jens Boisen i Hjardemaal Klit har givet fattigvæsenet et mere fordelagtigt tilbud end Jørgen Kappel i Nors, og så har det for Sogneforstanderskabet været af mindre betydning, at værten har været udensognsboende.

Efter de kortfattede notater at dømme forbliver Niels Søe hos Jens Boiesen og hans kone i både 1849, 1850 og 1851, hvorefter han i december 1851 for det følgende år bliver  'hentinget hos Jens Dommerbye (i Sønderby i Tved) 'for 30 Rbdl'.
Hvor længe Niels Søe er hos Jens Dommerby vides ikke, for den nøjere beskrivelse heraf for de følgende år er fraværende i både fattigprotokollen og i  sogneforstanderskabs-protokollen. Hvad vi ved er, at de årlige beløb for hans ophold og pleje  er 30 rbdl (1849) , 30 rbdl (1850), 30 rbdl (1851), 30 rbdl (1852), 34 rbdl (1853),  34 rbdl (1854), 50 rbdl (1855), 60 rbdl (1856), 60 rbdl (1857) og 1Td Byg og 60 rbdl (1858).
Det sidst nævnte år, 1858, nævner et fattigprotokol-notat, at  væsenet den 15. januar til Niels Søe har en 'Extraordinair Udgift i Penge' til på 2Rdl, og året efter, i 1859, noteres det i sogneforstanderskabets protokol, at '...Ellen Pedersdatter, hos hvem Niels Søe var i Underholdning indtil Udgangen af Aaret 1858, havde forlangt et passende Vederlag fordi hun havde forbedret hans Seng. Sogneforstanderskabet vedtog at tilstaae hende 1rdl'.
Af notatet kan så uddrages, at Niels Søe har været i pleje hos Ellen Pedersdatter i Tved i den sidste del af 1858. Ellen Pedersdatter forlader imidlertid sognet i august for at flytte til Hillerslev (se notatet herom  herunder i år 1858), og øjensynligt er Niels Søe fulgt med og har opholdt sig her nogle måneder, for i 1859, kortvarigt at blive indlogeret hos J.P.Simonsen.
Øjensynligt giver det sidstnævnte opholdssted problemer, for sogneforstanderskabs-protokollen skriver  den 29. october 1859:  '...Niels Søe /:som i Utide kom fra J:P:Simonsen:/forbliver hos Niels Henrichsen for 50Rdl fra 1Jan/1860 til 1Jan1861'. Niels Henrichsen, der også kaldes Niels Jensen, er bosiddende i Kaastrup, så hertil flyttes Niels Søe så for at bo her indtil 1. januar 1861.

Folketælling 1860 - Kaastrup Sogn
Niels Jensen Kirsten Poulsdatter Niels Larsen Søe	64 59 68	gift gift ugift	Vester Vandet Her i Sognet	Huusmand, Dagleier, Huusfader hans Kone Almisselem, der forpleies for Betaling

En ny 'hentingning'fra 25. Oktober 1860 placerer derefter Niels Søe hos gårdmand Christen Larsen i Tved for 50Rdl og 3Td Byg, og her forbliver han indtil sin død den 8. april 1863, - de sidste to år for en betaling af 45 Rdl og 3Tdr Byg.