当初,冉闵僭称王号时,石虎部将李历、张平、高昌等都带领所辖的队伍向慕容俊自称藩属,派遣各自的儿子入慕容俊处侍奉。不久又向建邺投诚,与苻坚结交为援,都接受了爵位,控制局势固守,虽然向慕容俊进贡的使者来往不绝,但并未极尽忠诚之礼。吕护逃到野王时,派他的弟弟捧着奏表向慕容俊谢罪,被任命为宁南将军、河内太守。另外上党冯鸯自称为太守,依附于张平,张平多次为他说话,慕容俊因为张平的缘故,赦免了冯鸯的罪遇,任他为京兆太守。吕护、冯鸯也暗中与东晋的军队有联系。张平跨踞新兴、雁门、西河、太原、上党、上郡之地,有三百余处防守工事,十余万户胡人、晋人,又授官设置征东、镇西等将军的称号,形成鼎立对峙的局面。慕容俊派司徒慕容评讨伐张平,领军将军慕舆根讨伐冯鸯,司空阳骛讨伐高昌,抚军将军慕容臧攻打李历。并州投降的防御堡垒有一百余处,任命尚书右仆射悦绾为安西将军、兼护匈奴中郎将、并州刺史来安抚他们。张平所任命的征西将军诸葛骧、镇北将军苏象、宁东将军乔庶、镇南将军石贤等人以防御堡垒中的一百三十八处投降了慕容俊,慕容俊非常高兴,让他们都恢复了官职和爵位。不久张平带领三千士众逃到平阳,冯鸯逃到野王,李历逃到荥阳,高昌逃到邵陵,他们的士众全部投降了慕容俊。
升平三年(359年),慕容俊图谋再度侵犯东晋,并企图消灭前秦,就下令各州郡清点检查现有的兵丁,检查核实户口,一律各家各户仅留一成年人,其他全部征发入伍,想使步卒达到一百五十万,希望第二年会合全部兵力,准备进军洛阳,能指挥调度三方力量。武邑人刘贵-极力劝谏,陈说百姓生活困乏,召兵不合乎法律,恐怕百姓不堪承受,会有如土崩塌的大祸,并且陈述当时不适合时势的政治事务十三件。墓容俊读完谏书同意刘岂的意见,交付公卿广泛商议,刘贵所言之事多数采用,于是改为五丁抽三制,放宽一周的战备时间,命令他们在第二年冬末全部赶赴邺都集结。