第一层　　第一层为首四句：写诗人欲游江北探寻新异胜境的急切心情。谢灵运于头年因受排挤而出任永嘉太守，“既不得志，遂肆意游遨，遍历诸县，动逾旬朔。”(《宋书》本传)区区永嘉诸景，不到一年便已“历览”，遂觉江南已无新奇之地，令人厌倦。而永嘉江北岸的奇山异水，诗人一年前赴任时只是匆匆路过，不遑周游(周旋)，旷废既久，自不免向往，因而产生了“怀新”、“寻异”即怀着探寻新奇胜景的急切之情。唯其急切，故反觉道路迥远，时间易逝难延。

第二层　　第二层为五至八句：由发现孤屿的惊喜到对其美景的描绘。“乱流”句脱胎于《尔雅·释水》：“水正绝流曰乱。”郝懿行《尔雅义疏》云：“绝，犹截也。截流横渡不顺曰乱。”“趋”，疾行貌。“媚”，妍美悦人。这二句谓，因为突然发现了江中孤屿，诗人便截流横渡十分迅疾，那孤岛巍然耸立江中，是多么妍美悦人。一个“趋”字，传神地写出登屿探胜的急切心情，回应前文；一个“媚”字，又活画出孤屿的妍美魅力和诗人的喜悦之情。“云日”二句即是对“媚”字的具体描绘：白色的云朵沐浴在金色的阳光之下，交相辉映，何等明媚秀丽；湛蓝的天空倒映在碧绿的江水之中，水天一色，多么澄澈鲜明！这四句可谓“以丽情密藻，发其胸中奇秀，有骨、有韵、有色。”(钟惺《古诗归》)前二句写得巉削危竦，后二句写得壮阔奇丽。钟嵘所谓“名章迥句，处处间起，丽典新声，络绎奔会。”(《诗品》上)殆指此类。这等胜境的突然发现，较第一层“江南倦历览”的心情，大有山穷水尽、柳暗花明的突转妙趣。于是诗笔自然转到第三层的感叹议论上。

第三层　　最后六句通过感叹联想寄托了诗人怀才不遇和厌世嫉俗的孤愤。“表灵”，显现天地的灵秀之气；“物”，这里指世人。“蕴真”，即蕴藏自然意趣(一说指真人、神仙)。“缅邈”，悠远；“区中缘”，即人世间的尘缘。“安期术”，指传说中神仙安期生的长生道术。养生，即长生。诗人首先喟叹：此等山水皆为表现天地的灵秀神异之气，然而世人却不知欣赏它的价值。接着，诗人又驰骋飘逸的想像，由江屿的灵秀联想到那昆仑山的仙灵，顿觉自己离世间尘缘之事是那样遥远，仿佛遗世独立一般。最后议论：诗人终于相信了，领悟了安期生的长生之道，从此可以安心养生、以终天年了。诗人在这一段中，触景生情而又缘情造境，神思逸荡，理趣横生，故虽是议论，却仍然意象飞动，而不觉其枯燥，可以说是情、景、理三者妙合无痕了。

①历览：遍览，游遍了。旷周旋：久不游览。旷，荒废，耽搁。周旋，应酬，打交道，这里指前去游赏。这二句是说永嘉江的南岸已经游赏多次，而江北却很久没去了。②迥：迂回。这句是说因为心里急于要罚邰希葜奇景新境，所以反而觉得道路太远了。③景：日光，指时间。延：长。这句是说因要找寻奇异的景物，所以更感到时间太短促。④乱流：从江中截流横渡。趋：疾行。媚：优美悦人。中川：江水中间。这二句是说船正迅速地从江中横渡，突然发现优美动人的孤屿山在江流中间挡住了去路。⑤空水：天空和江水。这二句是说天上的彩云、丽日相互晖映，江水清澈，映在水中的蓝天也同样色彩鲜明。⑥表灵：指孤屿山极其神奇的景象。表，明显。灵，灵秀、神奇。物：指世人。蕴真：蕴藏的仙人。真，真人、神仙。这二句是说孤屿山如此明显的美丽风光无人游赏，那么其中蕴藏神仙的事就更没有人去传述了。⑦昆山姿：指神仙的姿容。昆山，昆仑山的简称，是古代传说中西王母的住处。缅邈：悠远。区中缘：人世间的相互关系。这二句是说自己看到孤屿山便联想起昆仑山上神仙的风姿，因而感到和人世的尘缘就更加离得远了。⑧安期术：安期生的长生之术。安期，即安期生，古代传说中的神仙。传说他是琅琊阜乡人，因得长生不老之术而活过了一千岁。这二句是说自己领悟了安期生的长生之术，安心居住在海隅就可以养生尽年。