有个幕府的心头肉——佐渡金山。作为扶桑当时最大的金银产地，佐渡岛就是幕府的命脉，谁碰谁死。这把咸亨洋行放到新泻去，万一召来其它西洋饿狼怎么办？
再一个，小栗忠顺的老爹忠高，曾经担任佐渡奉行多年，这换地对别人是舍弃一条财路，对小栗而言，这不是从碗里挪到锅里去了么？
长崎奉行有两个，因
此另一位长崎奉行对这个建议激烈反对：
“铁桶一般的长崎不说，芋崎也不为外人所知，哪里用的着换地！
真担心的话，长崎附近不是还有不少小岛吗？选一个做交易地好了。”
这就是站着说话不腰疼，对马岛辣么大，又是海上交通要冲，怎么能算是“不为外人所知”；而长崎附近的荒岛确实很多，可要是能做交易地，那幕府这些年早干嘛去了？
再说了，日后西洋诸国压迫扶桑开港，提出的地点一共是五港两都，也就是七个港口。这些地方依次为长崎、箱馆、神奈川、兵库、新泻和江户、大坂，从隐秘看，也就是新泻是可选的转移之地——其它地方要么太繁华不利于保密，要么就是西洋船众多。
因此，小栗忠顺真是出于一片公心。
但奈何他说了不算啊！这些年来，咸亨洋行主动请求了多次，小栗忠顺也屡次上书，但这交易地还是一直没改，就固定在对马群岛的芋崎港。
等安政五年（1858年），小栗卸任长崎奉行役职后，咸亨洋行也认命了。
但交易地在对马岛芋崎港，这可把咸亨洋行坑苦了：
虽然是米人海商，但奈何扶桑和米人还没正式通商呢，这撇下同伴吃独食是犯了大忌！
而且，虽然没有明文规定，但向扶桑这样的非西洋国度输入先进军械、机器和技术，那可是犹大一样的行为，真被抓到，就算不被当众吊死，那也是群起攻之、身败名裂的下场。
就为这，咸亨洋行于1855年换皮为四海洋行，而且怕泄密没敢通知幕府。
同时为了建立防火墙，同年还成立了松江汇理洋行，彻底将直秀一系的海外力量分割为明暗两处。
但就算这样，事情依然向不好的方向变化。
安政二年（1855年），对马水军传习所里有西洋教授的消息走漏。
也不知道米、英两国水军是怎么知道的，反正开始偶尔有船在对马岛附近海域堵咸亨洋行的船——但万幸，这两家没有和幕府正式撕破脸，所以上岛硬抓人的倒霉事到底是没有发生。
咸亨洋行一开始就用的是蒸汽风帆混合动力商船，机动灵活不说，还特意为提升速度做了改造，因此，虽然被发现了几次，但都顺利逃脱了——其实是不是特意来抓自己的，咸亨洋行也不确认，反正见面就跑总是没错。
后来，为了保命，咸亨洋行开始了表演——换船名不说，冒充其它国度的商船是常规操作，行踪也开始诡秘，不再按季风规律来航。
等“以扶桑金易海外银”的贸易额大了之后，所幸连普通货物都不怎么装了，就一艘快船神出鬼没，如幽灵一般。
到了安政五年（1858年），扶桑的外国船只更多，这时咸亨洋行已经被逼的不行，甚至开始和长崎奉行所认真讨论，“对马岛看起来也不靠谱了，长崎附近不是还有不少小岛吗，在哪里交易行不行？”
但根据当年签署的通商约定，安政六年六月二日（1859年7月1日）起，长崎、神奈川（横滨）、箱馆对外正式通商，所以幕府方面只是劝咸亨洋行以换皮应对——都正式通商了，你们改个名字不久可以大摇大摆出现了么。
坑爹啊，站着说话不腰疼！
其实咸亨洋行一直做的都是杀头的买卖，但对这份付出幕府不够重视。<-->>