叶澄衷驾着他的小舢板，天天在黄浦江上风里来，雨里去，只能勉强图个温饱，与外国水手做买卖，还要付给翻译一笔中介费用。他发现，如果自己能讲英语，与外国人直接做买卖，生意会好做很多。
外国人到上海跟中国人做生意，肯定要学中国话，但主要还是学上海话。同样，中国人要跟外国人做生意，肯定要了解外国人的风俗、习惯、制度，还有更重要的是语言。所以，在上海的租界里，形成了一种上海话和英文混杂在一起的一种语言。因为上海有一条河流叫洋泾浜，就是现在的延安东路，所以这种语言，就被叫做“洋泾浜语”。叶澄衷知道自己文化程度不高，所以在学习上下了很大功夫。当时上海出版了一本《英语话注解》，这是用宁波方言来注音的，所以对叶澄衷来讲，学起来就更方便，他就买了一本，没事时就拿出来边看边练习。后来，他不用翻译就可以同外国人顺利地做成生意。
一个傍晚，在浦东的杨家渡口，有一位青年在小舢板旁焦急地四处张望。摇舢板的同伴经过这里，看着天色已晚就招呼他：“小宁波，该收工回去了，看你在这里站了大半天，生意也不顾，有什么要紧的事呀？”
就在这时，一个失魂落魄的洋人向小舢板走来，叶澄衷看见他马上兴奋地喊道：“总算等到你啦！先生，是你把皮包忘在小舢板上了。”说完，叶澄衷将皮包向他递去。
洋人一见皮包，顿时双眸放出光芒：“呵，我的公文包！原来在这里，难怪我到处找不到，这下好了！”
原来，英国洋行的赫德经理，今天中午要从外滩去浦东办事，因一时找不到摆渡船，便雇了叶澄衷的小舢板。赫德当天喝了些酒，加上事急心慌，匆忙离去，竟然将随身带的皮包忘在了船上。叶澄衷发现皮包后打开一看，包内有很多钞票与支票，还有一个账本和其它贵重的物品。叶澄衷心想失主丢了这么多东西，肯定会很着急。所以，他便紧紧抱着那个包，守候在英国人下船的地方寸步都不敢离开，生怕失主找不到自己，一直等到夜幕降临。
赫德打开公文包查看，见包内东西一样不少，他真没想到一个中国“苦力”竟如此诚实，对意外之财毫不动心。赫德立即从皮包里抽出一叠钞票塞到叶澄衷的手里表示谢意，但叶澄衷坚决不收，他认为这是自己应该做的，说完就要划着小舢板离去。赫德越发感到叶澄衷是一个诚实可信的人，就赶紧叫住他，说还要雇他的船回去。赫德邀请叶澄衷去他的洋行工作，叶澄衷拒绝了，他说他想自己做老板。
小舢板回到了外滩，赫德跳上岸，刚走了几步，又回头来到叶澄衷的身边，高声说道：“小兄弟，摇舢板叫卖杂货赚不到大钱。你知道上海什么东西最多？是轮船。以后还会有更多的船厂。你想想，那时最需要什么？”
叶澄衷脑中灵光一闪，马上意识到：上海滩没有船用的五金店铺，这将是一个巨大市场。
在黄浦江上七八年的磨练，叶澄衷已经脱胎换骨。他能说一口流利的洋泾浜英语。除了能吃苦，他务实，坚忍，精明，灵活，目光远大。他每天仍摇着舢板去黄浦江口，已不再以换钱为目的，而是到一条条外国军舰和商船上，向水手换取船缆、铁锚、罗盘、铁钉等船用五金与器材。他日积月累地收集五金器材，并雇宁波同乡在美租界街头设地摊出售。
后来，赫德提出资助叶澄衷开一家五金店，由他的洋行提供小五金给叶澄衷代销，等货物卖出去后再付款。叶澄衷相当谨慎，刚开始他并没有急于接受赫德的好意，他以为赫德要入股，那样自己开设的五金店就有受控制或被吃掉的危险。赫德说：“我不占一点儿股份，这些钱就当我借给你的，你什么时候赚钱了再还给我就是了。”叶澄衷这才欣然接受。叶澄衷的精明使这位洋行经理大为吃惊，他不得不佩服叶澄衷的从商禀赋。这样的谨慎其实追求的是知己知彼，进而使自己的利益最大化。这在他取得另一个宝贵的商业机会——成为美孚中国代理商。
1862年，在虹口美租界，一家毫不起眼的店面上竖起了一块“顺记五金洋杂货店”的牌子，这就是叶澄衷的第一家五金店。为了能让更多的人记住“顺记”这个名字，二十三岁的叶澄衷请来两支龙灯队，让他们在店门前舞了两个时辰的金龙，叶澄衷终于开店当老板了。而当时，上海滩上熙来攘往的人群却并没有几个人在意这家铺子。人们都没有想到，一个摇舢舨的孩子，将来会雄霸上海滩。
