雾灵山南北和西侧均有长城，在主峰可以看到黄崖关、墙子岭关、白岭关、黑谷关、司马台、金山岭长城，说明雾灵山在当时一定是重要的边关要塞。
战国时期，外族东胡经常对农业地区骚扰作乱，在战国末年，燕国大将秦开赶走游牧居民并修筑一些长城作为防御。这些长城修在了当时的燕国北部边境（现在的丰宁、围场一带），远远地将雾灵山圈在长城以内。公元前221年，秦始皇统一六国之后，把燕国长城和西边的秦、赵长城缀连，形成了万里长城的一部分。汉时沿用燕长城，并开始使用“边塞”一词，把胡人所占的燕长城以外的地方叫“塞外”，雾灵山处于塞内。
雾灵山附近的长城始建于公元556年左右南北朝时的北齐。自公元534年北魏分裂为东、西魏后，外族趁此纷乱之际，进占了属于东魏的地盘。后来东魏皇帝禅让给高洋，并把国号改为齐，这就是历史上的北齐。此时，外族人频繁南扰，给北齐统治者造成很大麻烦。为了阻挡进攻，保证边境安全，高洋沿用秦朝、汉朝的老办法——修一条横贯东西的长城。北齐天保七年（556），在现今的兴隆境内开始断断续续地修了一些长城，向东一直延伸至大海，雾灵山就被圈在了北齐长城以外。也就是说，自北齐以后，雾灵山处于黄崖关、将军关、墙子岭关、黑谷关以外，雾灵山成了名副其实的关外。确切地说，雾灵山属于塞内关外。
