唐元和十四年（819年）裴行立始垒石为关，北宋景佑二年（1035年）建关城，历代均有加固、重修。为历代兵家所争之地。历来为兵家必争之地，历史上曾发生过9次战役，最大而且十分惨烈的是抗日战争时期的“昆仑关之战”。

　　1939年12月18日，中日双方在这里展开大战，双方主战的都是善打硬仗的部队：日方主力是参加过台儿庄战役的坂垣旧部，被誉为“钢军”的第5师团；中方主力是当时装备最精良的、由杜聿明将军率领的第5军。中国军队在当地群众的支援下，血战十余天，终于收复了昆仑关。这是抗日战争期间继平型关、台儿庄作战胜利后的又一重大胜利。战后，人们在山下修建了一座三门四柱石碑坊，山顶上也建有抗日阵亡将士公墓、纪念塔、碑亭，从牌坊到山顶有一道331级的石级道。国民党军政要人蒋介石、李宗仁、李济深、白崇禧、杜聿明等人有题词、题联或书刻碑文纪念这一战役。每年清明节前后，都有许多学生、群众到这里凭吊、瞻仰和祭扫。