根据义律兄弟和伊里布的谈判约定，英军先于11月15日部分撤离定海。这个消息传到伦敦，已经是首相巴麦尊暴跳如雷，强大孪生的血性很容易演变为蛮横，他对义律的守约精神很不满意。他实在不明白，义律这个“秀才”遇到这群兵，为什么还把理讲得这么清？
义律不是个武夫吗，怎么又说他是秀才？因为义律这个武夫确实充满了秀才范儿。
鸦片战争时代，其实是英国政局重要的大转折时期。1832年，英国通过《政改法案》，标志着中产阶级登上政治舞台。中产阶级特别爱美，善于穿着华丽的外衣，和缔造大英帝国的海盗们不同，不喜欢赤裸裸。用旅港英国学者夏思义（Patrick H. Hase）的话说：“他们深信，外交政策不能只为攫取本国利益，而必须在道德上有正当理由。”举例来说，它是第一个翻身农奴把歌唱的国家，1833率先全面禁止奴隶制，比美国人废奴（1861年）早了差不多30年。执政思想由野蛮逐渐走向理性，即使抢夺，他们也喜欢找到正当理由，抢完也要问问：你幸福吗？给野蛮披上文明的外衣。
义律，正是这个时期的英国海外官员。1830年，他被派往南美洲英属圭亚那的任务是保护当地的黑奴、协助废奴运动。所以他脑子里还是有点文明根基的。
实际上，义律非常反对鸦片贸易，并认为用鸦片贸易来获利简直是大英帝国的耻辱。所以，他恳切希望能与大清国用现代游戏规则开展贸易。因此在他后来担任英国全权代表时坚持两国建立正常的贸易关系。当然，他是英帝国主义的代言人，在实现这个目的的过程中是靠采用血腥的武力和野蛮的抢掠来实现的。不过在义律看来这些武力威慑有个限度。
义律成了最不可爱的人，无论是伊丽莎白还是巴麦尊，都觉得义律是个不争气的家伙。醉里挑灯看剑的巴麦尊对这个婉约男人义律自然看不上眼，但是裁撤他又不是巴麦尊自己能决定的，他就不时在伊丽莎白面前打个小报告，黑义律一下。但伊丽莎白并没有接着表态，站在帝国最高层的伊人与战争狂人巴麦尊不同，战争不是目的，只是手段，兵不血刃从中国攫取利益才是目的，她还对义律的谈判充满幻想。
但义律的不争气模式才刚刚开启，后来的《穿鼻条约》直接把巴麦尊的心伤透了。《穿鼻条约》虽然割占了香港，但只是找了一个存货仓库！对于海盗立国的大英来说，在英军完胜的情况下签订这样的条约真是笑话。巴麦尊真想劈头盖脸训义律一顿，但是他仔细掂量后，觉得义律这样做并非一时心软，而是自己掉进了英国愚弄全世界的“文明”思想里了。巴麦尊知道，义律一时半会转不过这个弯来了，这次他下定决心了：不换思想就换人。
巴麦尊向伊丽莎白重重参了义律一本，推动易帅。在1840年 11月14日，他禀告女王说：“义律大佐似乎已经把寄给他的训令完全置若罔闻，甚至在舰队的行动已经获得完全的胜利，他可以自由规定条款的时候，他好像还是同意了极其不利的条件。”
伊丽莎白知道英国的巨额军费只租了香港这个存货仓库后也勃然大怒，把义律恨到了骨头里。女人毕竟头发长见识短，她或许不知道中国“家丑不可外扬”的道理，竟然给比利时国王写信笑话义律的无能。义律的小丑形象都国际化了，这时再不好好表现，被炒是必然的了。可惜义律同志还“不思悔改”，后来的《广州条约》依然是婉约风格，规定割让香港岛，但是中国保留税收权，这使伊丽莎白对义律这个男人彻底失去了信心。认为义律是“一位完全不遵从指令而努力争取最短任期的人”。
按照伊丽莎白和巴麦尊的部署，英国希望取得的是长江口，而非珠江口，而你这个义律随便在中国的南海边上画一个圈就行了吗？巴麦尊在4月20日给义律的私函中，对其提出了明确批评，对其交涉的方法及结果表示不满，认为义律撤出舟山是对中国方面取决权的屈从。你为什么对中国这么呵护？你这是把他乡当故乡了吗？想跟刘阿斗拼一拼吗？你这是乐不思大不列颠了吗？还是常回家看看吧。在巴麦尊的运作下，1841年4月30日，内阁会议决议：舟山群岛必须重新占领；不承认《穿鼻条约》；召回义律，派璞鼎查（Henry Pottinger）为全权代表来华，前往接替义律。
在鸦片战争这出大戏中，义律是最早和林则徐搭戏的，现在他是和林则徐殊途同归。林则徐把祖国的南大门守得固若金汤，被贬了；义律把通商的大门打开了，被炒了。
义律当然不认为自己是具有阿斗范的好男人，倒是认为自己是窦娥系列的冤男人，回国后就开始了伸冤。在大清和官员打交道多年，也学会了列数字。他在宣传册子中说，从1839年3月24日到1841年8月18日被撤职时，我们已经扭转了10000000英镑以上的贸易，开出50000多吨的英国船舶，卖给大清8000000英镑以上的货物，从大清皇帝腰包里转走了150吨的白银……如果在大清，单凭这串数字怎么着也能获得个先进或一不小心就弹冠自庆，但是女王对数字不感兴趣，义律还是被炒了。
璞鼎查驻印度40多年，典型的殖民主义战士，巴麦尊看重的也是他这一点。所以，在义律的遗憾中璞鼎查迎来了自己的又一个头衔——驻清全权公使。他是唯一一个全权公使，对议和的每一项都有权做出决定。
说走咱就走，璞鼎查于1841年6月5日离开伦敦，途经印度孟买，会同新任侵华海军司令巴加，于8月10日抵达澳门。
璞鼎查离开伦敦时，巴麦尊除了重申原给义律的训令依然有效外，要求他抵达中国后的第一件事，就是重新占领舟山（定海）。因此，璞鼎查到达澳门后，就立即准备北犯。
