黃山經歷了漫長的造山運動和地殼抬升，以及冰川和自然風化作用，才形成其特有的峰林結構。黃山群峰林立，有七十二峰素有“三十六大峰，三十六小峰”之稱，主峰蓮花峰海拔高達 1864米，與平曠的光明頂，險峻的最高峰天都峰一起，雄居在景區中心，周圍還有 77座千米以上的山峰，群峰疊翠，有機地組合成一幅有節奏旋律的，波瀾壯闊，氣勢磅橫的立體畫面。
黃山山體主要由燕山期花崗岩構成，垂直節理發育，侵蝕切割強烈，斷裂和裂隙縱橫交錯，長期受水溶蝕，形成瑰麗多姿的花崗岩洞穴與孔道，使之重嶺峽谷，關口處處，全山有嶺 30處，岩22處，7處，關 2處。前山岩體節理稀疏，岩石多球狀風化，山體渾厚壯觀;後山岩體節理密集，多是垂直狀風化，山體峻峭，形成了“前山雄偉，後山秀麗”的地貌特徵。
黃山的第四紀冰川遺跡主要分佈在前山的東南部，典型的冰川地貌有：苦竹溪，逍遙溪為冰川移動創蝕而成的“U”形形谷，眉毛峰，鯽魚背等處是兩條“V”形形谷和刨蝕蝕殘留的刃脊;天都峰頂是三面冰斗刨蝕遺留下來的角峰，百丈泉，人字瀑為冰川谷和冰川支谷相匯成的冰川懸谷，逍遙溪到湯口，烏泥關，黃獅垱等河床階地中，分佈著冰川搬運堆積的冰磧石，傳為軒轅黃帝煉丹用的“丹井”，“藥臼”，也是由冰川作用形成的冰臼。