传说，唐末的唐江卢氏先人，起先只在北边的沙溪（现为十八塘）傍山而居，现在的卢屋村所在地则由叶氏（也有罗氏或蓝氏之说）依山而住。人稀地广的年代，卢氏与叶氏如同兄弟，亲戚般时常走往。有趣的是，山里的卢氏不喜鸟兽，却喜欢打鱼捉虾，水边的叶氏不喜渔活，却喜欢打鸟捉蛇。于是，两姓氏便对换了居所。明洪武年间，唐江卢氏族谱记载的唐江卢氏开基人卢受海，是卢屋村最早的传奇故事的主人公。其“乌狗睡懒觉”之说，是卢受海死时的一个故事。“乌狗睡懒觉”的地方，是风水师傅为其寻得的最佳穴位。而另一位祖先则有“狗熊岭”的故事。那时，以明初“七间店”为中心渐成街市的唐江已具规模，卢屋村人在唐江商品经济繁荣的同时，也有了属于自己的“十间店”及其绵延的华屋、闹市，有了一大批豪商大富人家。这些富起来的商贩们，经常往返于唐江、赣州之间，由于当时交通不发达，每次往返少则三五天，多则十天半个月时间。一次，卢家太公带着他豢养了几年的大灰狗，肩负着一袋银元，往赣州城调货去。赶到赣州，与供货方见过面，验过货准备付钱时，才忽然发现，那袋银元不知搁在哪里了，一时间竟吓出一身冷汗。货主与他是老朋友，便允许他先取了货，下回再补货款来。卢太公谢过，又在城里办了些其他事，便急急往回赶，这时离开卢屋村已有近１０天了。半途中，他忽然想解手，走进甘蔗地才想起，自己那日去赣州时曾在这里方便过。忽然，他发现随他一块出门的那条大灰狗竟立在地里一动不动，仔细一看，发现它竟断气死了，一触摸就萎然倒了下去。惊悚之时，见那袋银元搁在一侧，安好无损。卢太公感于灰狗之忠诚，亲自将狗背回卢屋村，并在附近山岭厚葬，同时还建了一庙，名叫“狗熊庙”，以志纪念。这山岭也因此有了“狗熊岭”的名字。卢太公嘱后人，自己死后要葬于狗熊岭，与忠诚之狗为伴。待卢太公死后，后人将其棺木往狗熊岭抬去，快至岭巅，忽然乌天黑地，电闪雷鸣，大雨滂沱，山洪陡发。一两个时辰过后，天空才放晴，太公后人出得狗熊庙，却发现棺木失了踪影，风水师傅一看，大叫：“卢屋村当旺，太公天葬也！”原来是泥石流将太公棺木自然淹埋。从此，卢屋村就有了“头受海，二太公”之说法。
其实，真正让世人感叹卢屋村这个客家名村的，是它成为了赣南最大的姓氏村落。卢屋村至今仍有六七千之众，而千余年来迁徙他乡繁衍别处的卢氏后人则更是无以计数。以致在赣南甚至在全国各地，每每遇见卢姓人氏，只要是出生于赣南，几乎都可以问一句相同的话：“你是卢屋村的吗？”而结果几乎是肯定的。
唐江镇历来便有“三街一村”之说。这村，指的便是卢屋村。所以说，唐江镇成为江西“四大名镇”之一、赣南“四大名镇”之首的商业地位的树立，是离不开卢屋村的。特别是清代与民国这两个时期，卢屋村的人文辉煌更是为唐江镇添了许多瑰丽的篇章。从清光绪二十六年（１９００）卢屋村人自编的《卢氏族谱》中信手翻来，卢屋村中举人、进士或当过知县以上官职者竟达７２人之多，其中有数名翰林和历史上有重大影响的高官。最著名者，当数清乾隆年间恩科进士殿试三甲第三名的卢元伟。卢元伟１３岁中举人时，还是个贪玩的小孩子，然人却异常聪明。传说中举后，官府来人会他，差人在村口问正在踢毽子的他：“元伟公如何找？”他机智地回答：“从前面拐弯过去，便可找到。”他随即从后门跑回家，换了整洁衣服，出来接差人。２０多岁中进士后，卢元伟先后任云南曲靖、东川、普洱三府知府，江苏镇江知府，广东督粮道，两广盐运司盐运使，山东、山西两省按察司按察使等要职，每任职一处，均留下显赫政绩，是当时卓有影响的一代名吏。
卢屋村清代出的秀才可谓无以计数，也故事绵绵。传说，卢屋村人因为普遍会读书，便在村里自己搞了个预考，只有通过村里预考者，方可参加南安府组织的秀才考试。于是，卢屋村人格外重视这村考，每当有读书人村考通过，便仿官府形式，鸣锣开道，吹吹打打迎回家，热闹非凡。有一回，这情形被官府考官路过卢屋村见了，气不打一处来，觉得有辱官府威严，便在这年的秀才考试后，将凡是卢姓考生的试卷全部扔在蚊帐顶上，不预批改。岂料，正当即将公榜之际，一场天火将改了的试卷全部毁于一旦，考官气得七窍生烟，一病不起，众人请示如何处置此事，他只好叹了一口气，指了指自己的蚊帐顶，说就从这批试卷中录取吧。结果，这年秀才考试考中者全部是卢屋村人。这事，让卢屋村名声真正大噪天下，也让卢屋村人激动了许多年。
卢屋村，因为它的人文内容、儒家思想的深重，也因为它也出过国民党的将军，文革时期被视为顽固不化的“封建堡垒”，成了一些“纯粹的革命派”眼中的“肉钉子”。终于有一天，华屋前的石狮被推倒了，宗祠前的华表失了伴侣，沙溪河水被人为地引了进来，直穿过整个卢屋村往犹江水汇去。在祠堂坝，这个梦更加破碎。虽然一棵巨桉，几株古榕，以一身苍翠、一脉幽然，为卢屋村古老历史做了最好的表征，但卢氏祠堂硬生生地成了家具工厂。
面对厚积的尘埃、如织的蛛网，面对近７米阔的天井、１０余米高的厅堂、一人环抱的巨柱，面对数百年前便有着先进功能的推拉式的木门，面对这虽已残缺后厅，却仍不失为赣南境内最气势壮观的家族祠堂，人们只有叹息！据说，这祠堂是个庄严之地，后厅里摆满了卢氏家族历代祖先的数百块牌坊；据说，这祠堂是个热闹之地，祠堂建成后摆了整整一个月的酒席；据说，这祠堂是个迎官接官之地，从卢屋村出去应考的人，或是中考、当官的回村光宗耀祖的人，都要在这里接受村中长老代表全村人予以的祝福。
