败不得已走天水，背后又被公孙述偷袭汉中，延岑再三腾挪，终究无力回天，只能再次降了刘嘉，这是二败。
却不料绝处逢生，重新加入绿林军后，更始帝刘玄被赤眉军杀害，延岑因为卓越的军事才能成为关中绿林军的领袖，引数万之众，两次大败赤眉军，赤眉军“旗帜皆白，大惊乱走，自投川谷，死者十余万”，不得不收敛剩下的二十余万人试图东回关东，延岑得以暂时占据京师三辅，这是三起。
延岑本欲以京师三辅为根基割据关中图谋天下，但刘秀完全不给延岑喘息时间，派出征西大将军冯异先击败东归的赤眉军，随后长驱直入与延岑对决。延岑本是被关中绿林军临时推选的首领，刘秀却是根正苗红的绿林军，于是延岑麾下纷纷抛弃延岑投降冯异，如此情形，延岑一败再败，最后走投无路，只能东出武关投降秦丰，这是三败。
楚黎王秦丰此时割据南阳，对延岑礼之备至，将自己的女儿嫁给延岑，延岑便与秦丰在此阻挡南下的汉军数月，但每过一月，汉军就愈发壮大，最后秦丰被人包围于黎丘，延岑带领军队一路败一路逃跑回了汉中，投靠公孙述，这是四败。
此时放眼天下，汉军已经一统关东，唯有隗嚣公孙述二人尚能自守，延岑多次向公孙述进言联合隗嚣北伐关中，却不被公孙述采纳，只能坐视隗嚣灭亡。
随后汉军从荆州以水军入蜀，公孙述手下公卿无数，却唯有延岑这一客将能战，因此将蜀中大军尽数委任于延岑。延岑与汉军数次交战，胜败参差，但最终寡不敌众，决战时公孙述意外重伤，临死前将这蜀国基业托付给延岑，这阴差阳错之下，延岑又成为了汉军一统天下最后的敌手。
延岑想必也被这天意所折磨吧，他终于放弃了，在公孙述去世次日投降，随后统帅吴汉因成都抵抗汉军大为恼火，时日长久，损兵折将，这些念头闪过吴汉脑中，当即灭延岑满门，让汉军大肆屠掠成都。这是他一生最后一败，第五败。
“延岑一生，奔走荆益，攻伐雍凉，险成于京辅，卒亡于成都，三起五败，矢志不渝，如此坚韧不拔，永不言弃。死中求生之人，怎能不称为人杰呢？”陈冲正视刘备道:“如若武安王兼有善政，心有仁义，有邓破虏之军才大略，未尝不能成大业，如陈某所言，英雄正当如是，不知刘君以为然否？”
刘备肃然行礼，正色道:“陈君所言，正备所思所想，人无善心，不能为君，人无恒心，不能成事，自知还需自胜，复礼还需克己，英雄正当如此！”