次日清晨，尹悦率军发起进攻，任约果然中计，亲率一万五千人追击。当叛军进入芦苇丛区域时，杜幼安突然率军杀出，叛军退路被断，顿时陷入混乱。徐文盛趁机指挥主力从侧翼冲锋，梁军战船也从江面发起攻击，形成“陆水夹击”之势。此战从清晨持续至黄昏，叛军被斩杀一万余人，被俘五千余人，任约仅率数百人突围，退守西阳（今湖北黄冈东）。徐文盛乘胜追击，进据芦洲（今湖北黄冈附近的江中沙洲），对西阳形成包围之势，同时派人向萧绎报捷。
贝矶大捷是梁朝平定侯景之乱以来的首场重大胜利，极大提振了全国的抗叛士气。萧绎接到捷报后，再次晋升徐文盛为“征东大将军”，赐封“望蔡县侯”，并承诺平叛后将江州刺史之职授予他。此时的徐文盛，无疑是梁朝平叛的核心将领，其声望达到人生顶峰。
贝矶大捷后，徐文盛本可一鼓作气攻克西阳，全歼任约残部，但梁朝内部的权力斗争却悄然将他推向深渊。矛盾的核心，在于徐文盛与萧绎的心腹重臣王僧辩的不和。王僧辩出身太原王氏，是萧绎最信任的将领，此前一直负责荆州防务。徐文盛凭借战功获得东部战场指挥权，且得到萧绎的多次褒奖，让王僧辩心生嫉妒——他担心徐文盛会取代自己在萧绎心中的地位，于是开始暗中掣肘。
首先，在兵力补给上，王僧辩以“荆州防御吃紧”为由，拖延调拨萧绎承诺的援军与粮草。徐文盛在芦洲围困任约期间，军中粮草逐渐短缺，多次向萧绎求援，均因王僧辩的从中作梗而无果；其次，王僧辩暗中派人散布谣言，称徐文盛“拥兵自重，意图谋反”，虽萧绎起初不信，但谣言不断累积，也让他对徐文盛渐生猜忌；最后，在战略部署上，王僧辩极力反对徐文盛“先灭任约，再攻建康”的计划，主张“先固守荆州，再徐图进取”，导致徐文盛错失扩大战果的时机。
更致命的是，侯景察觉到梁朝内部的矛盾后，决定亲自率军西进，增援任约。太清三年（549年）七月，侯景留部分兵力围困台城，亲率三万精锐、千艘战船沿江西进。与此同时，他还策划了一场卑劣的离间计——此前叛军攻破徐文盛在彭城的老家时，俘获了他的妻子石氏与幼子，侯景此时派人将石氏送回徐文盛军中，并带去一封“求和信”，信中假意表示“愿与徐将军结为兄弟，共分江南之地”，实则想以家人胁迫徐文盛放弃抵抗。
徐文盛自幼与石氏相濡以沫，幼子更是他的心头肉。见到妻儿平安归来，他先是欣喜若狂，随后便陷入两难：若拒绝侯景，妻儿恐遭杀害；若接受和谈，便是背叛朝廷。最终，个人情感战胜了家国大义，徐文盛暗中回信给侯景，表示“愿暂息兵戈，待台城局势明朗后再议”，同时下令军队停止对西阳的进攻，作战意志彻底瓦解。
部下将领很快察觉到徐文盛的异常。杜幼安多次进谏：“侯景乃叛贼之首，其言不可信！今我军士气正盛，若能与侯景决战，必能破之。将军若顾念家人，可将妻儿送往荆州，由湘东王庇护，何必受制于叛贼？”但徐文盛此时已被恐惧与私心裹挟，不仅拒绝劝谏，还下令约束诸将，不得擅自出战。
侯景见徐文盛中计，立即加快西进步伐，抵达西阳后，并未与徐文盛谈判，而是趁其军队松懈之际，派五千骑兵从小道迂回，突袭梁朝的战略要地郢州（今湖北武汉）。郢州守将本就兵力薄弱，又未料到叛军会突然来袭，城破后战死。郢州失守的消息传到芦洲，徐文盛的军队顿时军心大乱——郢州是梁军的后方补给基地，郢州失守意味着大军将陷入“前后受敌”的困境。
叛军趁势发起总攻，侯景率军从正面进攻，任约则从西阳突围，夹击徐文盛的军队。梁军士兵本就因主帅的消极态度心生不满，如今见叛军两面夹击，纷纷溃散。徐文盛试图整顿军队，却发现已无人听从指挥，只得带着妻儿与数十名亲信，乘一艘小船狼狈奔回荆州。其余梁军要么战死，要么被俘，贝矶大捷的成果化为乌有，东部战场的局势彻底逆转。
逃回荆州后，徐文盛向萧绎哭诉战局失利的缘由，将责任归咎于“王僧辩不发援军”与“侯景偷袭”。萧绎虽对他错失战机极为不满，但念及他此前的战功，且需要利用他麾下残余的宁州兵力，仍任命他为“城北面都督”，负责荆州城北的防御，希望他能戴罪立功。
然而，徐文盛并未吸取教训，反而在荆州任上重蹈覆辙。他认为自己“有功却遭贬斥”，心中充满怨恨，开始利用职权聚敛财物：不仅克扣士兵的军饷，还强迫荆州商户向其缴纳“防御费”，甚至私吞朝廷调拨的赈灾粮款。短短数月，他便搜刮了巨额金银与房产，其贪婪行径在荆州上下引发不满，不少官员向萧绎弹劾他。
此时，台城已被叛军攻破，梁武帝饿死宫中，侯景立太子萧纲为帝，把持朝政。萧绎在荆州称帝的意图日益明显，急需整顿内部秩序，树立权威。徐文盛的贪腐行为，恰好成为他“杀鸡儆猴”的目标。承圣元年（552年）初，萧绎下令将徐文盛逮捕入狱，命人清查其罪状。经过审讯，官员列出徐文盛的十条大罪，包括“通敌叛国、丧师失地、聚敛贪腐、冤枉朝廷”等，每条都有确凿证据。
萧绎见状，当即下令剥夺徐文盛的官职与爵位，将其囚禁于荆州大狱。巧合的是，此时王僧辩率军击败任约，将其生擒，押解至荆州。萧绎为进一步羞辱徐文盛，竟将任约与他关在同一牢房。一日，徐文盛对着任约抱怨：“我本有功于朝廷，却因小人构陷落得如此下场，实在不公！”任约闻言冷笑：“将军若真心报国，何惧小人构陷？当初我主送还你妻儿，你便私通叛军，错失破敌良机，致使大军溃散，这难道也是他人之过？”一番话让徐文盛哑