面对大革命失败，徐向前心急如焚，他参与广州起义，遭失败打击。整编红四师，智取紫金城，东江游击战再次失利，仍总结教训，继续战斗。
1927年，对徐向前说来，是极不平凡的一年。
1927年4月12日，蒋介石在上海发动了反革命政变。接着原武汉国民政府独立第十四师师长夏斗寅公开叛变，联合四川军阀杨森准备偷袭武汉，徐向前率队随军出征，配合叶挺的第二十四师两个团参加了保卫武汉的作战，这是他作为共产党员第一次领兵，战斗中他出色地完成了任务。就在保卫武汉作战刚刚取得胜利之际，5月21日，在长沙的许克祥、何键又发动了反革命的马日事变。从上海到长沙，共产党员遭到屠杀。武汉的汪精卫政府暗中与蒋介石勾结，国共分裂的局面已不可扭转。
黑暗代替了光明，革命的共产党员，成了被绞杀的囚徒。武汉三镇，一片混乱。许多共产党员、革命军人，得到党的指示，纷纷从武汉撤走。一些动摇分子观望着，有的消沉，有的逃走了。
6月的一天，徐向前突然接到党的“交通”送给他一张纸条，上面写着四个字：“找毛泽东。”
事情就是这么突然，这么叫人不解。毛泽东，这个响亮的名字，在广州，在武汉政界和军界中，几乎没人不知，无人不晓，徐向前可从来没见过他。还在广东黄埔军校时，就听说有个毛泽东，他是共产党中的着名人物，又是国民党中的代理宣传部长，他在广州办的《政治周报》，徐向前看过，他在广州领导农民运动讲习所，更是出名。徐向前读过毛泽东的文章，心里敬重。“交通”给的纸条上连个地址都没有，到哪儿去找这个毛泽东呀？
在这个混乱的时刻，去找一个不认识、没有地址的人，真比大海捞针还难!徐向前漫步街头巷尾，想再找找那个“交通”。“交通”没找到，只打听到一个消息：革命军、警卫团都开向九江。
武汉不是久留之地，徐向前乘船奔往九江。
这时，国民革命军第二方面军司令部，正驻扎九江。在这支部队中，有不少黄埔的同学，徐向前经过同学的介绍，暂在司令部落了脚。局势越来越紧张了，找毛泽东找不到，徐向前靠着黄埔军校生的牌子，在二方面军司令部当了参谋。
他无心做事，暗中打听毛泽东的下落，一个月过去了，仍不知毛泽东在哪儿。想回武汉去，武汉汪精卫政府在7月15日公开叛变了，共产党人，在上海、武汉和长沙，都成了反革命追捕的对象。到处都在流血!
闷热的夜晚，难熬的白天，徐向前心里像火烧。他，一个入党不久的新党员，像失去母亲的孩子，不知该往哪里奔。8月3日，突然得到消息：共产党在南昌暴动了。周恩来、朱德、贺龙、叶挺等等都在南昌。这消息，如同黑暗的天空中闪出明月，使徐向前看到了希望和光明。
八一南昌起义后，号称“革命将领”反对蒋介石反共政策的二方面军总指挥张发奎，一天夜里，突然集合军官训话，公开宣布：“共产党员三天之内保护，三天以后不负责任。”向共产党下了最后通牒。徐向前连夜离开九江，又乘船奔向武汉去找党组织。
白色恐怖笼罩着武汉，共产党员成了被捕杀的目标，徐向前原先联系的地下“交通”已无处去找，轰轰烈烈的大革命彻底失败了。
1927年9月，徐向前在上海找到中央军委机关。此时，党中央已决定发动广州起义，那边工人赤卫队中正缺少军事骨干，徐向前被派去了广州。
徐向前在广州起义中培养和带领了一支出色的工人赤卫队——第六联队。这支队伍开始没有武器，没有严密组织，是一群热心参加革命的工人，工人们开始不大敢接受这个“外乡佬”，他的热情和而耐心，很快和工人亲近起来。老工人叫他“阿弟”，年轻人称他“阿哥”，他成了工人兄弟的知心朋友。他买菜做饭，工人帮忙。工人有什么难处，也向他倾诉，他们赤手空拳，“纸上谈兵”，继续了好多个夜晚，直到广州起义开始的当天夜晚，“交通”才给他们送来武器。
1927年12月1日凌晨，广州起义爆发。徐向前率领的第六联队，靠仅有的两支手枪和几颗手榴弹，参加了起义。这支工人队伍斗志昂扬，每人脖子上系着红布条，挥舞着铁尺和刀棍，配合起义军主力警卫团作战。他们从战斗中缴获武器武装自己，参加攻打公安局和最后保卫观音山。在党代表阿陈牺牲后，徐向前一直指挥着这支队伍守着观音山的阵地。由于敌人强大，有英国帝国主义的军舰参战，起义军寡不敌众，总指挥张太雷牺牲后，部队遂失去指挥。徐向前所在阵地上的人越来越少，有的牺牲，有人一去不返。他几次派人去指挥部联络，也不见消息。天黑，徐向前一个人跑到公安局指挥部，这里空空无人。等了一会儿，跑来一个同志，一见是徐队长，就是：“老兄你还在这里等什么，指挥部已经撤退了，快到黄花岗去集合。”
徐向前这才算接到“命令”，跑回观音山第六联队阵地，叫上最后几名战友，一路呼喊着“到黄花岗集合”，在密集的枪声中，向黄花岗方向奔跑。
广州起义失败了。徐向前和一部分起义军撤到广州城北花县。12月16日，起义部队一些领导骨干在县立第一小学举行了队伍整编问题的讨论，决定将从广州撤出的1400多人改编为红四师，叶镛为师长，袁国平为党代表，全师下编3个团。徐向前为第十团党代表。
花县一带的地主豪绅，趁机兴风作浪，驱使民团，每天围攻红四师，呼叫着，放冷枪，闹得红四师日夜不安。派出部队去打，他们跑了。过一会儿又转回来，部队人心惶惶，吃饭、睡觉都不得安宁。徐向前向叶镛师长说：“讨嫌的民团，非要狠狠教训它一下不可。”叶镛便叫徐向前带部队去打。徐向前向战士们说：“追!对付这群东西，要像打狗一样，一步不退，猛追!”说罢，带头冲向前去，民团惊慌而逃。徐向前率领战士一直追到城郊象山脚下，在这里，徐向前和武汉军校同事程子华相遇了，见面叙说之后，程子华说；“民团太讨嫌，像疯狗一样，比正规部队都难打。”徐向前说：“你就用打狗的办法打它!”
大家以为这位党代表说玩笑话，徐向前却又认真地解释说；“你们在乡下，没见过讨饭的人打狗吗!有的人拿个棍边打边退，那狗总是追咬不放。也有的人举着棍子，迎上去，追着狗打，狗就逃跑了。”一番“打狗”的通俗比喻，把战士们说开了窍。
傍晚，民团又来进攻，红军战士穷追猛打，终于把疯狗似的民团治服了。两天过后，当红军从花县出发，沿着去从化、龙门到紫金的山路行军时，一些村庄的民团，不但不敢再捣乱，还在村边插上木牌，写着“欢迎来境，欢迎过境”的大字。从此在红四师许多人中传颂着徐向前的“打狗战术”。
国民党反动派在广州城大搜捕，大屠杀，三天就杀害了7000多人。显然花县也不是红军久留之地，他们听说东江海陆丰地区有个红二师，是南昌起义部队保留下的，于是，红四师奔向东江。
在开进的路上，徐向前被调到师部任参谋长。师长叶镛是黄埔第三期学生，曾在第四军教导团当过营长。他指挥三个团很需要一个得力的助手，徐向前从黄埔军校毕业以来，多次参加过作战，又在二方面军做过团副和参谋，协助叶师长一路上攻打民团，顺利前进，并智取紫金城。
紫金，是罗浮山脉东侧的一个小县城，国民革命军两次东征，紫金的人民都起来参战，周恩来和彭湃都曾到过紫金。1923年春，这里办过农会，蒋介石四一二反革命政变后，紫金的革命群众在共产党的领导下，曾举行过“四·二六”大暴动，攻克了县城，活捉了伪县长郭民发。因此，在国民党反动派眼里紫金是一个危险的地方。县长邱国忠，原是国民党军队的少将。南昌起义的一部分红军经过汕头西进紫金县境后，邱国忠惊慌万状，多次向广州求援。徐向前率领红四师第十团，先头进入紫金城附近的黄花村时，邱国忠误认为广州的援兵来了，便派人出城联络，徐向前将计就计，冒充是从广州来的“援兵”，派人请邱国忠出城迎接。邱国忠不知是计，天刚亮，率领县政府17个头目，迎出城来。红军不放一枪，把他们全部活捉，占领了紫金城。接着，又把邱国忠反手绑上马，给他披件大衣，由他领路奔向龙窝，又将那里的一部分反动武装消灭。
1928年初，徐向前随红四师抵达海丰县城。
海丰县，是东江人民革命的首府，徐向前参加第一次东征作战曾到过海陆丰地区。海丰，南临大海，背靠莲花山，这里也是彭湃的出身地，1924年至1927年，彭湃先后在海丰发动和领导过多次农民斗争和起义。海丰的苏维埃政权，是在中国共产党领导下诞生最早的一个革命政权，彭湃和海陆丰地区人民的革命精神情绪高涨。
他们在海丰城里的红场上，举行了几万人的群众大会，欢迎四师。在彭湃的统一指挥下，红军横扫了海丰、陆丰、惠来、紫金、普宁等十几个县境的反动武装。徐向前在协助叶镛两个月之中，先后作战20多次，从攻城战、山地战、伏击战中，徐向前锻炼了指挥才能。
4月初，在一次和民团的遭遇战中，徐向前腿部受伤，转移到普宁县的三坑山区养伤。不久，彭湃和东江特委的领导人也到了三坑。5月初，东江特委在大南山一个村庄，召开了有红二师、红四师领导干部参加的联席会议，会议对当时的形势与行动方向产生了分歧。当时的形势已十分危急，红军处境越来越不利，有的领导人却认为东江形势大好，高谈“迎接革命高潮”和“反攻”。徐向前和叶镛师长多次交谈过，他们共同认为不应当再攻城夺镇，应把这1000多人的主力拉向赣边，那边回旋余地大，便于机动开展游击战争。联席会否定了徐向前的正确主张，会议决定红军西进，攻打海丰城。5月中，红军进攻海丰失利，又退回山区。
红四师的处境一天天艰难，村庄被敌人占领，要道被敌人封锁，最后退进深山，房屋没有，只得在山里搭草棚，粮断了，只好挖野菜充饥，山芋、野果、黄狗头(中草药)也成了食物。天气渐冷，徐向前和战士们都只能穿着单薄的衣服和敌人以及恶劣的环境作顽强的斗争。
6月，叶镛因病倒在白木杨山后被俘，英勇就义。从此红四师指挥的重任，落在徐向前一个人肩上。他继任师长，率领剩下的200多人，在莲花山地区几乎全靠吃野菜和野果度日。
敌人的搜剿一天天加紧，弱小的红军，只有损伤，没有补充，伤的伤，病的病，死的死，逃的逃，最后徐向前身边只剩下了几十人。
1929年1月，广东省委和东江特委为保存革命骨干，决定把红军剩余人员分批撤出莲花山地区。于是，徐向前在地下党周密安排下，化装经惠州、樟木头到达九龙。在这里，徐向前才看到党的“六大”决议，联系到大革命失败后自己的亲身经历和见闻，他进一步认识到，无产阶级的军事斗争，离不开正确的政治路线和策略的指导，否则一事无成。
广州起义和东江游击战，是徐向前领导革命武装斗争的开端，也是他从事游击战的第一个舞台。正是从挫折和失败中，他得到了这些教训：
“第一，在对形势估计上，只看到海陆丰地区的局部‘高潮’，而忽略了全国革命处于低潮的总特点。那个时候动不动就讲‘高潮’、‘进攻’，说什么敌人‘溃不成军’、‘临死还要踢破三床草席’，盲目性很大。因而对于军阀的联合进攻及斗争的艰苦性、长期性缺乏应有的准备。敌人的‘进剿’来临，步步被动，束手无策。第二，在革命道路问题上，仍是夺取城市为中心的思想作祟，未树立农村包围城市的思想。所谓‘反对上山主义’，反对去赣边界坚持游击战争，更是证明。第三，在军队建设上，没有正确解决主力红军与地方武装的关系。搞根据地，搞游击战，一定要有核心力量。核心就是主力部队，只有不断加强主力部队的建设，使之与地方武装和人民群众的斗争有机结合，才能战胜敌人，发展根据地。而特委的方针却与此相反，失败的命运当然不可避免的。第四，在游击战的战术上，不懂得避强击弱，有进有退，有游有击，而是硬碰硬，搞拼命主义。‘以卵击石’，焉有成功之理!”
徐向前受中央命令奔赴大别山，粉碎“罗李会剿”、“鄂豫会剿”、“徐夏会剿”，创建鄂豫皖革命根据地。任红四方面军总指挥，击退敌人三次大“围剿”。
1929年3月，在上海一个小客栈里，中央军委书记杨殷秘密会见了徐向前。杨殷是1922年加入中国共产党的一位工人运动领袖，领导过着名的省港大罢工，参加过广州起义。他和徐向前虽然是第一次见面，因为共同经历了广州起义，两个人相见之后，就像故友重逢。他听了有关东江斗争的情况，最后问徐向前往后有何打算。徐向前表示，最好还是搞军事工作。杨殷告诉他，中央最近得知鄂东北特委的报告，红军第三十一师师长吴光浩同志牺牲了，那边正缺少军事干部，中央决定派徐向前去。
4月中旬，徐向前和黄埔的一位同学桂步蟾，在鄂东北特委派往上海汇报工作的何玉林陪伴下，由上海到鄂东北。此时，红三十一师号称4个团，其实是4个大队，每个大队五、六十人，到红三十一师不久，6月底就赶上了“李罗会剿”。广西军阀罗霖率独立第四师两个团3000多人和河南土匪武装李克邦，另加反动民团红枪会1600多人，南北夹击，妄图把红十一师一举消灭掉。敌人来势汹汹，徐向前采取了“避强击弱”的战术，率领着红军一部分和敌人兜圈子，同时，发动群众和各区自卫队日夜袭扰敌人，使敌人大部队天天扑空，夜夜受惊。徐向前等选准敌人弱点，连着进行了五次战斗，每一次都把敌人打得措手不及，终于把“李罗会剿”彻底粉碎了。
“新官上任三把火。”徐向前到大别山施展军事才干的“头一把火”，烧毁了“罗李会剿”。接着在八、九月间，他又采取“与敌周旋、避强击弱”的作战方针，指挥部队粉碎了“鄂豫会剿”，把蒋介石命令刘峙组织的湖北、河南两省“进剿”的部队，拖得半死不活。
10月，敌徐源泉部四十八师、夏斗寅部十三师两面夹攻，被称为“徐夏会剿”，企图消灭红军于天台山区。徐向前率红军日夜奔走，趁敌一个空隙，跳出包围。然后兵分三路向外出击，在长岭岗、柿子树店、姚家集、河口镇等地先后消灭和击溃敌四个民团，缴枪100多支。
红军在粉碎敌人三次“会剿”作战中迅速壮大了自己的队伍，从4个大队不足300人扩大为5个大队700多人。徐向前军事知识扎实，作战经验丰富，所以在11月召开的鄂豫边第一次党代表大会上，徐向前被推选为鄂豫边特委委员，在12月举行的第一次工农兵代表大会上，徐向前又被选为军委会主席。
怎么带兵，怎么打仗，这仍是摆在徐向前面前的一大难题。从黄埔军校入伍5年来，他参加过许多次作战，失败多于胜利，特别是广州起义与东江游击战争的结局，教训极为沉痛。他来到大别山区之后，终日思索，经常找人交谈，注意探听各地游击战争的情况，认真总结游击战术的经验。他经过和戴克敏、曹学楷共同研究，提出以下七条原则：
一、集中作战，分散游击；
二、红军作战尽量号召群众参加；
