富里在新石器時代史前期間，大約距今二千到七千年間，就已經有人類居住，鄉內目前已發現有十幾處史前遺址，其中以公埔遺址最負盛名，在一九三○年代由日本的研究學者鹿野忠雄所發現，所以用當時的舊稱「公埔」來命名，現在已經被列為縣定考古遺址。
在新石器時代的中、晚期，本鄉境內同時存在著兩批不同文化的人類，一批是來自東海岸的麒麟文化人，另外一批則是來自台東平原一帶的卑南文化人，他們先後來到富里鄉境內定居，並且留下了十分豐富的遺址與器物。從考古學的新發現，富里鄉可能是東部史前文化一個很重要的人類根據地，同時也是麒麟文化與卑南文化人互相學習彼此文化智慧的樞鈕站。
公埔遺址的巨石牆，是麒麟文化一個很重要的特徵，但是在這個文化遺址裏，也發現數量很多的卑南文化人所製造、使用的陪葬陶器，鄉內還有許多遺址，都擁有與公埔遺址的特徵-那就是兩種文化器物同時並陳在一個遺址區內。
除了新石器時代的豐富遺址，本鄉境內也有許多鐵器時代的人類所留下的遺物，阿美族人在漢人入墾本鄉之前，至少已經在本鄉居住千年以上，所以鄉內許多地方都有阿美族人使用過的陶器，與居住遺址。