英布被封为九江王后，就开始拥兵自重，不大听从项羽指挥了。项羽与齐王田荣作战，向九江征兵。英布称病不出，只派出几千军队去敷衍。刘邦攻打彭城，英布又称病，见死不救，致使彭城陷落。虽然项王因怨恨英布，屡次派使者前去责备英布，但仍旧没有攻打他，这是因为当时项王正为北方的齐国、赵国担心，西边又忧患汉王起兵，唯有任用英布，于是打算亲近他、任用他。
汉三年，刘邦攻打楚国，派随何出使淮南，游说英布叛楚归汉。经过随何的一番游说，英布暗中答应叛楚归汉。楚国使者促英布出兵，住在宾馆里。随何告诉楚国使者：“九江王已归附汉王，楚国凭什么让他出兵?”随何又劝英布杀死楚国的使者，又说：“我们赶快向汉靠拢，协同作战。”英布于是出兵攻打楚国。在淮南战役中，英布败给了楚国大将龙且。英布和随何从隐蔽的小道逃归汉国。
英布背叛项羽，究其原因是因为，项羽刚愎自用，没有给大功臣英布太多的好处。英布在项羽手下，英勇杀敌，屡屡立功，堪称是为楚国做出最大贡献的人，却没有得到最好的待遇。恰好此时，刘邦派随何以优待游说，于是英布就背叛了项羽。