Mateo va néixer el 1917 a Barcelona, Espanya, on la seva família, després d'haver recorregut molts països de l'Est i l'Oest d'Europa, és va refugiar tractant de fugir de la Primera Guerra Mundial.
Alguns anys més tard, el 1920, els parents s'instal·len a França, inicialment com a nòmades, sense domicili fixe, després, ja establerts en un lloc definitiu, viuen en barraques de fusta a Pantin, prop de París, en el lloc que encara avui s'anomena "la zona".
Son pare era un rom kalderash (calderer) que havia sortit de Rússia amb tota la seva família (al voltant de 200 persones) a l'inici del segle XX per fugir dels bolxevics. Sa mare, provenia d'una família de manouches de França.
Abans d'això, els seus avantpassats havien viscut durant cinc segles com esclaus a Moldàvia i Valaquia, principats de l'actual Romania.
Mateo mai va posar el peu en una escolla. Son pare, calderer, parlava mal el francès i sa mare, artista de circ, era analfabeta. Als cinc anys ell ja parlava diversos idiomes, però no sabia escriure perquè ningú li havia ensenyat.
Son pare sabia llegir i escriure una mica, el va ensenyar a comptar (és important per treballar) i després el va ensenyar a escriure les lletres de l'alfabet. Aquest va ser tot el seu ensenyament. La resta, ho va adquirir tot sol. Totalment autodidacta, es va alimentar de tot el que queia a les seves mans: periòdics, revistes, novel·les de poca qualitat i de grans autors clàssics.
Sa mare va faltar quan ell tenia vuit anys i son pare va morir alguns anys després. Als catorze anys, era el gran de cinc nois i va haver de treballar per alimentar els seus germans i germanes. Al principi va treballar com a calderer, igual que son pare.
Quan tenia 17 anys, el van casar amb una dona més gran que ell, amb la que va tenir un fill Bourtia. Mateo va sortir a buscar la família manouche de sa mare que viatjava en caravana pel centre de França. Durant dos anys, comparteix la vida nòmada amb els seus oncles i ties maternes i els seus cosins.
Va ser tot d'una firaire, venedor ambulant i el més interessant, projectava cinema itinerant en diversos llogarets. El cinema va ser la seva nova passió i va descobrir, entre d'altres, les pel·lícules de Harold Lloyd, Buster Keaton i Charlie Chaplin. Més tard, col·laboraria primer com a figurant, i després com assistent en nombroses pel·lícules.
En aquesta època, quan ell tenia vint-i-un anys, un fet dramàtic el va portar a l'escriptura. En Auvergne, prop de Clermont-Ferrand, dos families manouches es van enfrontar violentament per l'honor d'una jove. Una d'aquestes famílies era la de Mateo. Hi va haver nombrosos ferits i uns quants morts. Mateo, com altres membres del seu clan, va ser arrestat i empresonat acusat d'assassinat col·lectiu. Però Mateo no havia mort ningú, solament havia tractat de protegir els seus.
A la presó, Mateo li escriu una carta al seu advocat, un jove passant anomenat Jacques Isorni.
L'advocat, sorprès per la desimboltura amb la que s'expressava per escrit el gitano, li va demanar que li contes amb detall la seva versió dels fets per poder fonamentar la seva defensa. Mateo ho va fer i en alguns folis va descriure els fets d'aquella tràgica nit.
L'advocat Isorni, impressionat per la personalitat de Mateo, pressent que es troba davant un genuí talent narrador i possiblement, escriptor. Li dona paper i llapis per escriure i li anima a aprofitar el seu temps a la presó per escriure.
Finalment es va desestimar el cas, però la detenció provisional va durar tres mesos durant els que Mateo no va deixar d'escriure tot el que li passava pel cap: la seva pròpia història, la de la seva família, cròniques i poemes, i sobretot, la seva primera novel·la Les Ursitory que solament va ser publicada molts anys més tard pel la guerra: era 1938 i ja es podia escoltar per Europa el soroll de les botes.