這裡的舊地名叫做番仔寮，是六家地區的一個聚落，竹北生活美學協會理事長林永楨表示，這些老房子在光復之前興建，鄰近還有土牛溝遺址和水汴頭，假如這個地方拆掉，六家的人文都沒有了。
「這間是倉庫，牛欄，以前怕小偷偷牛，所以要跟牛睡」林雙貴一邊清理一邊回憶，他是番仔寮的原住戶，所有的房子只剩下這間倉庫沒被拆掉。民國86年，這裡劃定為高鐵車站特定區，在完成拆遷補償後，六家地區的房子幾乎都拆光了，只留下幾棟歷史悠久的老房子，以及當地主要的土地公廟，而這幾間民宅恰巧位在公三公園的預定地上而獲得保留，從建築的空間配置，仍然可以看出過去的生活軌跡。
高鐵車站特定區保留下來的房子，多半是獨棟的三合院建築，番仔寮現存的房舍，是六家地區少數由佃農和地主組成的多姓氏聚落。這裡頭有一棟兩層樓的磚造房子，沒有使用任何鋼筋來支撐，歷經無數的地震至今仍然屹立不搖，因為佃農向地主買土地，只蓋一層房子不夠住，於是往上發展，從建築的工法、室內空間的使用方式，都可以讓後代了解當時常民生活。
地方的文史工作者陳板指出，聚落空間是文化最醒目，是最清楚記憶的承載體，所有的人看到空間，就很容易聯想到他的生活。我們很難重新建造過去的牛欄、雞舍、爐灶，這裡有養豬、有穀倉，動植物跟人的生活空間緊密的結合，現在都市已經看不到了，番仔寮提供深厚的人文資產。
番仔寮聚落有條平坦的步道，是土牛溝遺址的所在地，土牛溝其實是一條人造的國界，乾隆26年，北台灣全面開挖，北從台北縣的鶯歌往南延伸到台中大甲溪一帶，漢番以此為界、互不侵犯，避免衝突發生，因為開挖的土堆成長長的土坵，遠看像牛背一樣，所以稱為「土牛溝」。歷經時空的變化，土牛溝逐漸變貌。在番仔寮，土牛溝後來被填起來，變成道路，現在是公園裡的步道。
番仔寮居民迎娶時，走在土牛溝上的留影，為歷史留下見證。歷史的長河濃縮在這個空間，不同時代演繹出各自的風采。
土牛溝旁的水圳，是六家地區文明的搖籃，這裡叫做水汴頭，也就是分水的地方，引自頭前溪的水源，在這裡分成四條水圳灌溉六家地區的農地。水汴頭的歷史已經超過260年，水圳不只是灌溉用途，也是過去居民挑水飲用的水源，婦女在水圳旁洗衣服，小孩子在這裡玩水、抓魚蝦，甚至在夏天，附近的牛隻都來這裡泡水消暑。
番仔寮所在地的中興里里長林顥峰表示，希望多一些文化留給後代子孫省思與記憶，未來這裡由社區帶動起來，可以成立文化館或有機蔬菜園地，讓公園活絡起來。
在高鐵車站特定區裡，有一個新瓦屋客家文化保存區，保留了六家地區最多的老房子，開發單位原本只想留下忠孝堂這棟三合院建築，但在六家鄉親的奔走之下而保住所有的房子，這裡曾經像番仔寮一樣破敗不堪，整修後已經煥然一新，客委會的辦公室直接進駐，社區的守望相助隊也落腳這裡，整個空間得以活化再利用，新瓦屋的保存經驗讓六家居民相信，事在人為。
地方的心聲，新竹縣政府聽見了，也從善如流。希望向中央高鐵局申請三年維護費，撥些經費做維護整修。
番仔寮未來可能由社區認養，至於如何活化再利用，地方的人正努力為它找尋未來。
