据《薛氏族谱》记载，乐昌薛氏的始祖是晚唐的薛向彦（894—992年）。
薛向彦发源于南京苏州河东郡光裕堂。
他是进士出身，当过湖南郴州知县，晚年，定居在湖南省宜章县的南关，活到99岁。
薛向彦有三个儿子，其中第三子薛前儒的后代薛邦贤、邦明兄弟于明宣德年间（1426—1435年）从湖南里田，移民到了乐昌九峰，邦贤居上湾，邦明居下湾，为薛岳的直系祖先。
按照辈序，薛岳的曾祖名瑞贞，祖父名英雄，父亲名英豪，薛岳为第二十八代的仰字辈，故其父按宗谱排名，给他取名仰岳，字伯陵。
伯为老大，陵为山陵，仰岳之岳，应为山岳。
这正如古代大诗人屈原字平一般，仰岳者，高山仰止也。
薛岳从小仰慕岳飞，从军时树立起精忠报国思想。
因而，他在参加粤军当了营长后，因敬仰岳飞，干脆去掉仰字，把自己的名字改为薛岳。
薛家为耕读之家。
薛岳的曾祖、祖父和父亲都是农民，世代住在今九峰镇小坪石村大路下。
薛岳的父亲名豪汉，字宗元（1871—1939），母亲姓李，闺名为慈玉（1877—1929）。
薛豪汉有六子二女，薛岳是长子，生于1896年12月17日（清光绪二十二年十一月十三日），其下是仰芹（字孟坚）、仰霆（字仲述）、仰骠（字叔达）、仰谦（字季良）、冠华，二女为盛娣、冠姬。
薛岳六兄弟中，出了四个国民党将军，除薛岳为四星一级上将外，三弟仲述、四弟叔达为中将，五弟季良为少将。
薛岳旧居莽莽九峰山，山高林密，茅草丛生，飞禽走兽成群，时有华南虎出没。
月黑风高的晚上，村里人常能听到虎啸，有时还能看到老虎发着青光的眼睛。
一直到21世纪初，九峰山仍发现作为世界濒危保护动物的华南虎频频出现所留下的粪便。
九峰镇不大，但人杰地灵，乡土气息浓厚，村居多建于山谷中。
四面环山，中间平原，有山溪水流过，此为客家人乐于聚居之地。
如此地势九峰中人称之为洞，九峰便有十八洞之称，如唐家洞、曹家洞等。
薛岳的家乡大路下村也是一个洞，这里山清水秀，绿树环绕。
少儿时代的薛岳，经常光着脚丫与小伙伴们到山里去砍柴，泥里滚，水里钻，自小养成了倔强勇敢的品性，人们送他一个绰号叫老虎仔。
薛岳属猴，自小聪明伶俐，悟性颇高。
父亲薛豪汉性格刚正方直，平和宽厚，虽没受多少教育，但毕竟是官宦之后，富有远见，知道教育的重要性。
母亲李慈玉性情温和，贤惠善良，信因果之报。
她眼见薛岳一天天长大，便把不到七岁的儿子送到薛岳伯父开的私塾接受启蒙教育。
上学的第一天，伯父就给他讲薛氏家训十六条：睦宗支，敦孝友，正名分，端品行，肃闺门，勤职业，崇节俭，豫豢养，。