在当时的中外贸易中，清朝输往英国的商品占总出口额的70%左右，从英国进口的商品占总入口额的80%—90%。到了1834年4月，英国政府取消了东印度公司的贸易垄断权。随后产生一系列连锁反应：“公司”被“政府”代替，“董事会”被“外交部”取代，“大班”则变成了“驻华商务监督”。英国人把这次改变视作走向自由贸易的新里程碑，政治家、学者和商人对此憧憬无限，“公司垄断权的消灭以及对华贸易的同时开放，给英国制造业和航运业展示出英国商业史上一个新的、重大的时代。”
这样一来，作为弱势群体的行商，在朝廷与洋人的夹缝中生存更加艰难。在洋商看来，虽然“十三行”的行商们在报关、接待、订货、代销、交税等环节实行“一条龙”服务，为外商省去了很多麻烦，但在贸易过程横插进个绕不开的中间人，到底令人感觉这是“悬在头上的一把达摩克利斯之剑”。行商被称作是“清朝管理外国人的警察”，与当时西方推崇的“自由贸易”根本背道而驰。英国自由商人既然已经打倒了垄断本国对华贸易的本国东印度公司，同样束缚着自己手脚的广州“十三行”自然也就成了下一个目标。
1834年，英国政府派出首任驻华商务监督律劳卑来华。此人一来就给了“十三行”一个下马威。在他看来，自己是英王派来的堂堂官员，为何要通过行商这个渠道才能与中国官方交往？于是，他径直撇开前来接待的行商，以平行款式致书广东当局。虽然当时的清廷仍旧坚持英国“官员不能与天朝疆吏书信平行，事关国体，未便稍涉迁就，致令轻视”，但“十三行”行商百余年来第一次被抛在一边，其尴尬也是显而易见的。
更尴尬的还在后头。1838年12月31日，林则徐被道光皇帝任命为钦差大臣，前来广东查办鸦片走私。第二年3月10日，林大人抵达广州。当天是星期天，十三行的洋人还有心思出来看热闹，威廉·亨特写道：“外商们看到这位大名鼎鼎的林钦差身材宽大，表情坚定，留着长须浓胡子，具有威严的气概。他坐的船后面跟着许多船和戴红顶或蓝顶的官员，士兵穿着崭新制服列队在炮台上，江的两岸站满了安静而好奇的人们。”
《广州十三行商人潘长耀家中的花园》
至于“十三行”的行商，显然比洋人们更清楚林则徐此次南下的意义。早在1月30日，伍绍荣拜访英国驻华商务监督义律，告知林则徐即将到达的消息，并建议义律“采取必要的措施”。2月下旬，美国旗昌行按照“浩官的劝告”，宣称“决定洗手不干鸦片买卖”。义律也一再命令英国鸦片贩子将烟船驶出内河，“忙着把鸦片船从香港移到大屿山南部”。这一带十分隐蔽，可以“处理大批即将从印度运来的新出鸦片”。
这当然是没法蒙混过关的。3月17日、18日两天，林则徐连续召见十三行行商。他痛斥行商纵容贩烟，令外商在三天内呈缴鸦片。林则徐的话已经说得很重：“本大臣奉命来粤，首办汉奸，该商等未必非其人也。”他并且宣布如果外商持有的鸦片拒不缴出，就要把行商正法一两个人。不识趣的伍绍荣还想以巨贿解脱，“愿以家资报效”，自然只能碰得一鼻子灰。林则徐闻听此言顿时大怒：“本大臣不要钱，要你脑袋尔。”
于是，伍绍荣匆匆赶到洋行向外商宣布了林则徐要求各国外商呈缴烟土的谕令，要求来华外商必须声明：“嗣后来船，永不敢夹带鸦片，如有带来，一经查出，货尽没官，人即正法。” 眼看林则徐与以往的清朝官员大不相同，是毫不留情和不听什么分辩的。行商惊恐万分——洋商方面留下的会议记录表明，当行商被问及“你们老老实实说真话，你们真有性命危险吗”时，无一例外做出了肯定回答。为了挽救自己的性命，行商向外商建议缴出一千箱鸦片以便蒙混过关，并表示“你们将不受损失，我们以后给予赔偿”。大多数外商采纳了这一建议，唯有最大的烟商英国人颠地顽固地拒绝合作。
3月22日，行商带着1037箱鸦片去见林则徐。事先做过调查的林则徐对此大为恼火。这1037箱鸦片，根本就是十三行行商与英商沆瀣一气欺瞒大清官府的罪证！3月23日，伍绍荣被捕下狱，老迈的伍秉鉴也被摘去顶戴，戴上铁链押往洋馆，催促颠地进城接受传讯。老迈的伍秉鉴“苦苦哀求，指着自己去了顶戴的帽子和脖上的锁链说，如果颠地不进城，他肯定会被处死”。结果，颠地还是没有进城……
虽然林大人最终并没有处死伍秉鉴，但是，经过此番折腾，年届古稀的“浩官”已然颜面尽失。花巨资捐来的三品顶戴并不能保护自己的尊严，而他以身家性命担保的英商也在生死关头毫不犹豫地抛弃了他。由此看来，伍秉鉴的处境实在如同风箱里的老鼠一般两头受气。这或许，也是“十三行”行商这个“一口通商”所造就的时代产物的必然宿命。
