这首诗是韩愈七言古诗的代表作之一，全诗三十二句，气势磅礴，结构精严，可分四个层次。

第一层八句写衡山的雄镇地位与神秘气象。开篇"五岳祭秩皆三公，四方环镇嵩当中"，以祭祀礼仪定位五岳，衡山镇南，嵩山居中，气度恢宏。"火维地荒足妖怪，天假神柄专其雄"——南方属火，地荒而多妖，天帝假衡山之神以雄镇此方，将神话与地理熔为一炉。"喷云泄雾藏半腹，虽有绝顶谁能穷"，写衡山常年云雾缭绕，连山顶都不可望见，为下文云开峰出做铺垫。

第二层六句写祈祷后云开峰现的奇景，是全诗最精彩的部分。"我来正逢秋雨节，阴气晦昧无清风"，先写天气阴沉。"潜心默祷若有应，岂非正直能感通"，韩愈潜心祈祷，果然云开雾散——"须臾静扫众峰出，仰见突兀撑青空"，一个"扫"字写云雾退去之速，"突兀撑青空"五字写群峰拔地而起的气势，令人如在目前。"紫盖连延接天柱，石廪腾掷堆祝融"，连用衡山诸峰之名——紫盖、天柱、石廪、祝融——以"连延"、"腾掷"、"堆"三个动词写出峰峦起伏之势，如画如真。

第三层十句写谒庙祭拜与庙令占卜。"森然魄动下马拜"，写出对山神的敬畏。"粉墙丹柱动光彩，鬼物图画填青红"，描绘庙宇色彩斑斓。"升阶伛偻荐脯酒，欲以菲薄明其衷"——弯腰献祭，以菲薄之物表明心迹，写得诚恳而谦卑。庙令老人"睢盱侦伺能鞠躬"，手持杯珓占卜，得最吉之兆。这段看似平铺直叙，实则暗含韩愈对命运的叩问。

第四层八句抒发感慨，是全诗的情感核心。"窜逐蛮荒幸不死，衣食才足甘长终"——被贬蛮荒幸而不死，衣食勉强够用便甘愿终老。"侯王将相望久绝，神纵欲福难为功"，功名之望早已断绝，纵使神灵想赐福也难以奏功。这两句看似旷达，实则沉痛。末四句"夜投佛寺上高阁，星月掩映云瞳胧。猿鸣钟动不知曙，杲杲寒日生于东"，以景结情：夜宿佛寺高阁，星月朦胧，猿鸣钟响不觉天明，寒日东升——一个"寒"字，既写秋日之凉，亦写心境之冷。

全诗以衡山起、以寒日收，中间经历祈祷、云开、谒庙、占卜、抒怀，结构如行云流水而又针线绵密。韩愈以文为诗，散句与偶句交错，笔力雄健而气脉贯通，充分体现了他"文以载道"的古文主张在诗歌中的投射。程学恂《韩诗臆说》评此诗"七言长篇，此为第一"，并非过誉。