霍元甲的家乡是天津市西青区南河镇小南河村。小南河的霍氏先祖名叫霍利通,其人三世单传,至霍文宣生有三子,为霍大勇、霍大智、霍大信。霍大智又生三子,为霍恩荣、霍恩第、霍恩福。因大勇、大信无子,大智将长子恩荣过继给了大勇,将三子过继给了大信,自己仅留霍恩第一个儿子。后来,霍家三兄弟共生十子,分别为元贞、元善、元栋、元甲、元和、元卿、元良、元祥、元忠、元臣,其中元栋、元甲、元卿为霍恩第的亲生儿子。
霍元甲生有二子,长子东章、次子东阁。霍元甲嫡孙有7人,分别为寿嵩、寿臣、寿昆、寿金、雅亭、文亭、文亮。再往下枝繁叶茂,人口越来越多。
那么,霍氏的祖籍原来是哪里?霍利通又为何到的小南河?
据一代又一代人的传说,霍利通本是三兄弟,原籍河北东光县北安乐屯。三兄弟因受富贵有势力的人家欺辱,为报仇雪恨闯下大祸,不得不逃离家园。三兄弟逃到这里,一个在小南河扎下了根,一个在静海县的阎琢村定了居,另一个则向东北方向逃去,从此没了音信。霍文亭先生在世时曾去东光县安乐屯叙家谱,得知霍氏家族于明、清时代均出过高官。明朝天启元年春二月叙霍氏家谱的霍维华(字钟西),便是当朝癸丑科进士,同年中进士的还有霍天昭。霍维华人称“钟西公”,为安乐屯霍氏第八代,上面第五代的霍氏文所公也中过进士……
东光安乐屯霍氏家谱上说,霍氏原为晋泽高平人,即山西泽州(今晋城)高平县人。
霍氏原为霍叔之后。霍叔乃周文王第八子叔度,因封地在霍国,故人称霍叔。霍国人原姓姬,因沦陷,为纪念霍叔,便以国为姓。后来,霍氏因战乱频仍,几经迁徙,散失各地。汉代的霍去病、霍光其实都是霍国的同姓族人。