然而，就在江户的旨意传到浦贺之前，美国人又开始了新一轮的恫吓行动。
6月6日早晨，佩里派4艘小艇，潜入江户湾进行测量。测量船在蒸汽军舰密西西比号的护卫下，从横滨海域向着品川疾驶而来，如入无人之境。
伊豆守户田顿时慌了神，急忙派与力中岛三郎助前去抗议。不料，对方反倒威胁说：
“你们的警备船不得靠近小艇。”
否则，万一发生意外，我方概不负责。
美国人轻而易举地将前来抗议的中岛打发走了。
此时，一场冲突已经在海上发生了。事情的经过是，御固四家之一的川越藩发觉美国人接近品川，便派侦察船前去探个究竟。侦察船正准备从前方拦截小艇，美国士兵就挥舞着插着刺刀的步枪，一边朝着离侦察船仅五六米的海面“乒乒乓乓”地射击，一边向前挺进。
这时，川越藩的士兵们群情激愤，急忙派人乘快艇前往奉行衙门商讨对策。……黑船偷偷潜入近海，故意羞辱我们。我们实在吞不下这口气，不如一举将他们歼灭。
然而，当天早晨刚刚收到“外国人接待要点”的伊豆守户田当然不会和士兵们站在一边的。
“……将士们的心情可以理解，但是幕府命令我们稳妥行事。击沉对方船只，只会自找麻烦。我们贸然行动，洋人恐怕就会大兵压境，将难以向江户交代，所以万万不得轻举妄动。如有万一，须听从本官指令行事。”
奉行的反应虽令川越藩的士兵们难以抑制满腔的愤慨，但他们也只得掉转船头，回到营房喝起了闷酒。
“遭受如此奇耻大辱，还说什么如有万一，听从指令行事，把我们留在海上还有什么用。不如回营地饮酒作乐，痛快一场。”
奉行担心其他三个藩发生同样的事情，于是再次向彦根、会津、忍三藩下达指示——“忍为贵”从此，日本近海再也见不到日本船只的影子了。
就是这样，浦贺至品川一线近海的制海权被拱手让给了美国人。
再说香山荣左卫门，当日清晨从江户赶回浦贺，向奉行报告完毕后，正在自己家中蒙头大睡。
下午2时时分，小吏唤醒正在熟睡的香山：
“奉行大人请您立即前往。”
在奉行心目中，香山是最擅长与美国人周旋的。美国人也已经误将香山当成了奉行大人。
奉行派香山速去要求美国人立即停止测量。
这可难坏了香山荣左卫门。
香山问道：如此说来，奉行衙门是否已经撤回了海上所有的船只？
“派了2艘尾随洋人的小艇，倒不是为了监视他们，而是为了防止御固四家的士兵心中不服，偷偷发动袭击，反倒坏了大事。所以，派船前去看着自己人。”
这真是本末倒置、颠倒黑白的荒唐话。奉行衙门派出的船只，它的任务居然是监视我方情绪激动的士兵，为洋人的非法行为护航。这样的世界哪里还有什么公理和正义可言。
“好，我这就前去交涉。”
香山听说，中岛三郎助已经去过一次，只是对方根本未予理睬。接着，近藤良次带着翻译准备再次交涉，对方连船都没让他上……
香山荣左卫门再也抑制不住心中的怒火。
明明还没到事先约好的期限，为何还要随心所欲、得寸进尺？
日本知识分子无法理解对方的粗暴和无礼。力大为王……不，弱肉强食，恬不知耻……对于这种没有王法，不讲礼数的行为，他们感到愕然，感到愤怒。
可悲的是，他们全然不知天下有如此蛮不讲理之人，并因此而一直懈怠防务。
香山强打精神，在船头插上白旗，行驶到萨斯喀那号跟前。
“未到约定的期限，你们的军舰和小艇怎能随意驶入内海动武。”
香山责问出面交涉的亚当斯参谋长。亚当斯冷冷地答道：
“因为我们预感这次可能会无功而返。如果能得到一个满意的答复，也就罢了；万一达不到目的，我们明年春天将会率领军舰卷土重来。到那时，浦贺可不适合作为停靠之地，况且停在浦贺，我们也不放心。所以，我们要物色一个离江户最近的地点，以便进行交涉。所以，只好请贵方理解。”
对于这样的答复，香山荣左卫门已经见怪不怪了。对方不过是面对无力抵抗的少女而狠下毒手的暴徒罢了。
“您的解释恕我不能接受。目前，我方正在商讨是否接受贵方的要求，在此地接受国书。只是，约定的期限尚未到来，你们就无视日本国法进行测量，这不得不让人怀疑你们是否有递交国书的诚意。这种非法行为只会妨碍我国政府的决心。所以，劝你们还是及早驶离此地。”
听了香山的抗议，亚当斯来回请示了佩里好几次。到了午后5时，美国船答应离开停泊地点，在旗舰上挂上了旗帜，要求小艇“返回”
后来，佩里在其著作《日本远征记》中披露了他们当时的想法。他们坚信自己的企图不会落空，同时他们认为，只有进一步施压，才能使今后的交涉向着有利于自己的方向发展。
