虎门炮台失陷之后，英国军舰长驱直入，驶入省河，广州形势十分危急。
《广州和约》墨迹未干，占领广州城郊各炮台的英军便不断窜扰西北郊三元里、西村、泥城、萧冈等村庄、抢劫烧杀、奸淫妇女、焚毁民房，甚至挖掘坟墓、盗取死者身上的财物，激起当地民众的极大义愤，纷纷组织团练准备抵抗。
1841年5月29日早晨，十几名英国侵略军又窜到三元里行凶抢劫，调戏妇女。三元里的菜农韦绍光看到这样的情景，立即组织几个青年，围住这伙英兵，用手中的锄头扁担，当场就打死了八九名。其余英兵见势不妙，纷纷逃跑。这件事很快传遍全村。
大家料到敌人一定会进行报复。为了迎接英军的大举进攻，进一步教训侵略者，三元里人民决心团结起来与敌人血战到底。全村的青年男女都聚集到村北的“三元古庙”前，推举韦绍光为领袖，定古庙前的三星黑旗为令旗，并集体对旗发誓：“旗进人进，旗退人退，宁死不屈，打死无怨。”
为了动员更多的群众对付敌人，当天下午韦绍光便派人与附近乡村联络，不多久103乡的代表全部聚集到三元里的牛栏，四乡八里的农民早就对英军的暴行深恶痛绝。大家聚在一起，很快便制定出战斗部署：决定15岁以上，50岁以下的男子一律出动；各乡自成单位，备大旗大锣，“一乡锣响，众多齐出”；战斗时，采用“诱敌出击，聚而歼之”的策略；将牛栏冈作为决战的地点。一支反侵略的强大武装迅速组成。5月29日这一天，整个三元里都沸腾起来。
5月30日拂晓，各乡群众约五六千人，高举大旗，手持锄头、铁锹、木棍、石锤、刀矛、鸟枪，浩浩荡荡主动向英军占领的四方炮台攻击。
这时英军正在吃早饭，突然听到杀声震天，抬眼一看，漫山遍野都是手持刀矛、锄把和各式旗帜的人群。英军司令沃乌古留下部分英兵驻守炮台，率领2000多英军便向人群冲杀过去。
农民群众看到英军冲来，故意调头后退。英国侵略军不知是计，衔尾直追，越追越远，为加快速度，便于快捷，他们将大炮等辎重武器纷纷抛弃。英军一直追到牛栏冈，沃乌古一看地形，方觉不妙，正犹豫，忽听一声锣响，四面瞬时冒出一万多伏兵。英军被团团围住。漫山遍野的群众手持刀矛、铁锄等武器，杀向敌人，怒吼声震天动地，英军顿时乱了阵脚。慌乱迎战，短兵相接中，农民军越战越勇，敌人被杀的只有招架之功而无还手之力。活乌古慌忙下令撤退。沿途又有几万群众从四面八方涌出，追歼敌人。
正午时分，天色突变，浓云密布，雷电交加，大雨倾盆而下。英军穿着大皮鞋走在泥泞中，又重又滑，一个个摔的四脚朝天，其状狼狈不堪。火药又被雨水淋湿，洋枪真正成了摆设。雨越下越大，道路泥泞，英军寸步难行，饥寒交加，一个个落汤鸡似的，有的伏在棚架下，浑身哆嗦；有的丢下洋枪，叩头求饶。“乞命之声震山谷”。
农民军披着蓑衣，戴着斗笠，凭借大雨的助阵，越战越勇。妇女们烧饭送饭，支援前线。广州城郊的打石工人和丝织手工业工人闻讯也赶来支援。群雄歼敌，英军死伤无数。农民英雄颜浩长，手持长矛，英勇机智，一个人就杀死好几个侵略军，英军少校军官毕霞就死在他的长矛之下。
直到傍晚，英军始终未能突围出去，第一次在中国，侵略者感到“可怕到了极点。”
牛栏冈这场激动人心的战斗共歼灭英军200多人，活捉10多人，打伤不计其数，还缴获大炮两门、洋枪无数。胜利的喜讯传遍四方。
第二天一早，广州附近的佛山、番禺、增城、花县、从化等400多乡的群众闻讯赶到三元里会师。10万多群众，密密地围住四方炮台，英军官兵魂飞魄散。赶来救援他们的头子义律，也被围困在里面。
这次围攻四方炮台，三元里等地人民采取的办法是：长期围困、断绝供应，将侵略军活活饿死。他们将队伍分成几部分，轮流放哨、防守和休息，密切注意敌军行动，稍有动静，便迎头痛击。
英军看到农民军不直接攻打炮台，而是采取围困的手段，知道农民军是要将他们饿死在里面。眼见炮台上的粮食和弹药不多，侵略者连连叫苦，明白自己已面临灭顶之灾。
就在三元里等地人民大败英国侵略军，把他们围在四方炮台的时候，清朝官吏却装聋作哑，不但没有任何表示，反而依照《穿鼻条约》制定的休战协定，将清军撤离广州，退到离城60里的金山。这些清军路过四方炮台的时候，农民军邀请他们参加抗英战斗，遭到拒绝。这一切被英国侵略军看在眼里，知道了清朝政府的态度。
义律和沃乌古立即给广州知府余保纯发出一封求救信，由汉奸混出重围送到广州。余保纯接到信后，赶快送给朝廷派往广州的命官，皇帝的侄子奕山。这奕山深怕三元里等地的人民的抗英斗争坏了他的投降计划。马上派余保纯赶到三元里替英军解围。
余保纯匆匆徒步赶到三元里，一面向英军道歉，宣称：“乡民的敌对行动，当局并不知道，也没有批准，而且乡民中并没有满清官员。”随后，又向村民打躬作揖，为英军讨饶，要求群众宽恕。他欺骗群众说：“现在朝廷已和洋人和好，洋人不会再来了，大家快把英国军队放走吧。”村民可不买帐，有人当面揭穿他的无耻行为。
余保纯看到欺骗不成，马上变脸，威胁群众说：“你们不把英国军队放走，将来出了事，一切由你们负责。”群众不怕威胁，仍然坚持不散。余保纯一计不成，又生一计，转而去威胁参加斗争的绅士，这些在当地有名有势的地主及退役退职官僚，天生对官府就有一种从命心态。在余保纯的恐吓下，开始动摇，有的害怕起来，偷偷溜走了；有的迎逢官吏，反而劝诱群众解散。这样一来，群众的情绪受到很大的影响，终于也陆陆续续全部散开了。被困的英国侵略军在群众的唾骂声中仓皇逃走。
这场声势浩大的反侵略斗争，由于清朝官吏的破坏而被断送了。但是这场斗争的实际作用和历史意义是不可低估的。
6月7日，英军斗子义律竟恬不知耻地要中国人民“后毋再犯”。广州人民也立即贴出告示，警告侵略者：“若不退出虎门，自有千百烧船妙法，烧尔片帐不返。”并庄严宣告：“不用官兵，不用国币，自己出力”即可杀退侵略者。由于惧怕人民进一步反抗，英军不得不从广州撤退，此后在相当长的时间里也不敢在广州附近横行无忌。
三元里斗争的事实让英国明白，中国是不可征服的。三元里人民的抗英斗争，揭开了近代中国人民反侵略斗争的序幕。从此，中国人民的反帝、反封建烈火连绵不断。
