美国递交的国书由常驻江户的浦贺奉行井户石见守弘道于6月14日呈交给了幕府。
美利坚合众国总统菲尔莫尔的亲笔信落款为嘉永5年10月2日（1852年11月13日）信函内容如下：
“此次派佩里司令前往日本，旨在建立美日两国友好关系，发展贸易往来。美利坚合众国无意干涉他国的政治宗教。”
日本应顺应世界潮流，扩大海外通商，赚取利益。中国海域附近有众多美国籍船只，其中不少船只因捕鲸而接近日本海岸。因此，希望日本政府能够为其补充薪炭、淡水及粮食，同时保护遭遇海难的船员的生命财产安全……”
信函看似冠冕堂皇，表面上说不干涉他国政治，干的却是强人所难的事，真是此地无银三百两！
而佩里的书信则是直截了当、变本加厉的威胁。
“我将于明春率大型舰队造访江户，届时希望日本政府能够给出稳妥并令人满意的答复。”
布卡南舰长特地邀请护送旗舰回程的香山荣左卫门和中岛三郎助登船，得意洋洋地开动蒸汽机关向他们炫耀。看来，他们从不认为自己的行动是蛮不讲理的威胁。
香山荣左卫门一边满心欢喜地观看蒸汽机关，一边暗想：一切都结束了。
一缕久违的轻松心情顿时涌上了香山的心头。
两人长长地松了口气，离开了军舰。但是，佩里并没有忘记在撤军之前再次羞辱和威胁日本。
他们并没有信守自己“两三天之内离开”的承诺，4艘军舰从江户湾起锚后，齐刷刷地向北直奔江户而去。
日本举国上下为之震惊、愤怒，措手不及的幕府陷入了极度狼狈的境地。
佩里背信弃义，到底目的何在？他的卑劣行径不但不能弘扬美国的国威，相反只能为美国历史上留下一个难以拭去的污点。他那肆无忌惮的行为足以表明藏在他们的文明和武力背后的实质。
就在日本人扼腕长叹、切齿痛恨之际，佩里的军舰又继续向北行驶了五海里，停靠在前几日刚刚进行过测量的金泽小柴冲海域，然后又立即派出小艇开始测量。
当然，这次出面与美国人交涉的仍然是浦贺组与力香山荣左卫门。
见美国军舰侵入江户湾，值勤的海上警备船慌忙报告奉行衙门，香山只好带着中岛再次前往萨斯喀那号。
这次，香山荣左卫门心中积郁已久的怒气终于爆发了。
“……你们不是明明承诺在国书交接完毕后立即返航吗？但现在你们非但没有返航，甚至还进入了日本内海。到底意欲何为？你们必须立即停止测量，立即返回！”
两位奉行大人怪罪香山，似乎美国人的挑衅行为是香山的过错。所以，布卡南舰长刚一走上甲板，香山就大声责问起来。
“你们为何要驶入江户湾内？为何在此地停靠？”
这时，舰长一边微笑着一边放下舷梯，说道：
“突然之间风急浪大，一时难以继续停靠在浦贺，所以到这里避风来了。”
接着，他又傲慢地补充说：
“再说，明春还会有更大的军舰到这里来。请你千万不要误会啊。”
“误会什么？”
“哈哈……我们无非是想护送贵国的答复书平安回到美国，别无他意。这是各国通用的惯例，军舰越大，越能表示对贵国的尊重。我们担心浦贺不适合停靠大军舰，所以，必须事先物色好停船的地点。您尽管放心。”
香山荣左卫门全身的血液几乎要喷涌而出。但是，如果他按捺不住激动的情绪，各藩的士兵们一定会更加群情激愤，不知还会惹出怎样的悲剧呢。
他强压住心头的怒火，说道：
“你的话我能够理解。不过，国有国法，我国的国法也不容违反。以前，从来没有外国船只违反日本的规定进入过江户湾。还是请你们速速离开此地吧。”
“非常遗憾，我不能答应你的要求。我们已经决定，要以这里为基地，再进行四五天的测量。”
“你们既然承诺国书交接完毕后立即离开，又为何不守信用呢？”
“我们从来没有做过那样的承诺。所谓离开，就是指离开海岸，并不是离开江户湾。司令命令我们深入江户湾详细测量，所以请你多多包涵。”
“舰长此言实属意外。即便如此，本地居民一旦得知外国船只到来，必定情绪高涨，如果你们继续深入湾内，恐有意外发生。”
“您大可不必担心。我们的小艇不会接近海岸，只要日本人不故意找碴儿，我们也绝对不会和日本人发生冲突。”
香山荣左卫门和堀达之助两人面面相觑，哑口无言。
他们知道和佩里争论根本无济于事，佩里的命令是神圣的。
“你们应该明白，江户对美国怀有善意，对贵国的国书十分重视，一定会慎重考虑贵方的要求。我也会尽力使双方在明年交涉顺利达成协议。可是，请你们不要辜负了我的一片苦心，早早离去吧，以免先前的一切努力付之东流呀！”
说这一席话的已经不是作为官员的香山荣左卫门，而是作为一个普通人发自内心的表白和心愿。
然而，舰长毫不理睬。
“你说错了。我们只想寻找一个安全的停泊地，为何反而遭到你们如此强烈的反对？正因为我们美国人是外国人，所以你们更应该给予特别的关照才对。日本人来到美国，我们也会给你们同样的方便。而且，合众国的军舰走到哪里，从来都不会受到阻拦，你们的做法不合常理。”
布卡南这一番话显然颠倒了是非黑白，混淆了非法和正义。这时，香山是不能一走了之的。因为，他害怕美国的船只会继续深入湾内。
不远处，是负责防卫本牧海岸的细川越中守的部队正在执勤。
士兵们来自气质粗犷的熊本，难保不会发生冲突。
香山一直坚持到深午夜时分。任凭他磨破嘴皮，对手也丝毫不肯让步。
时间过了午夜12时。香山觉得如果此时还赖着不走，就有失礼仪了。
无论对方多么蛮横无理，自己也要不失礼仪。
于是，他站起身来，说道：
“时候不早了，我们明天再谈。”
当香山回到自己的船上时，脸色一片苍白。
