西晋时期,统治集团内部矛盾重重。持续十六年之久的“八王之乱”给国家和人民造成了深重的灾难。北方的匈奴贵族刘裕乘机起兵入侵。晋怀帝永嘉三年(公元309年),匈奴军队两次长驱直入,一直打到西晋都城洛阳,但都被西晋军队击退。
面对动荡不安的时局,卫玠决心把家迁往南方。他的哥哥卫zǎo在朝廷担任官职,母亲不忍心和卫zǎo分离,卫玠劝她要以家庭大计为重,终于说服母亲同意南迁。卫玠告别哥哥,离开洛阳,带着母亲和妻子一起南下。
卫玠一向体弱多病,一路上步途跋涉,餐风饮露,经受了千辛万苦。在将要渡长江的时候,他的神情容貌都显得憔悴不堪。他对左右的人说:“见到这白茫茫的江水,心里不由得百感交集。只要是一个有感情的人,又有谁能排遣这万千的思绪和感慨呢!”