岳飞的表现似乎不仅仅只是引起赵构的注意，还让赵构产生了一些偏爱。重金购买的好马，赵构特意吩咐给岳飞部三百匹，而岳飞的老上级，兵多将广的张俊部才只有两百匹。

此后，赵构又要岳飞到临安（今杭州）相见，只是当时江西、福建和广东三省交界地带匪患太烈，地方官们给赵构上书，强烈反对岳飞离开，赵构只得收回成命，让岳飞率精锐驻守江州，另选所部三千士兵驻守广州。

这次赵、岳二人的会面终没有达成，但是可以想象得到，赵构是更想见到岳飞了。

秦桧则遇到了麻烦，他的搭档，武宰相吕颐浩向他发难了。

吕颐浩善于骑射，其官场生涯横跨北宋和南宋，在内经历过几次宦海沉浮，在外经历过九死一生，只不过这个善于陆上骑射的人给赵构出了好多关于水上的主意，金兀术进犯江浙，让赵构逃到海上避难就是他的杰作，后又控制江航，设立海防等等。

赵构到海上避难虽然保住了小命，但感觉在面子上很不好看，他的百姓被金兵整得够呛，好多城市被烧杀抢一空，当赵鼎用“避战”的理由参吕颐浩时，赵构立刻顺水推舟将吕颐浩免职。

时隔一年，赵构再次启用吕颐浩。这次吕颐浩吸取了教训，开始强烈主战了。

（主战的吕颐浩上台以后提拔了不少亲信，亲信的提拔意味着异己遭到驱逐，主战派李纲、李光等人被赶走。吕颐浩还创造性发明了一种专用于军队的赋税——月桩钱，让老百姓不堪重负，这种直接从老百姓手里提取军饷的方式又使得腐败滋生。）

吕颐浩和秦桧两个宰相是有分工的，秦桧是文宰相，主内，办公地点在临安；吕颐浩是武宰相，主外，办公地点在镇江，两人不在一起办公，虽然观点不一致，倒也相安无事。

绍兴二年，秦桧当上宰相一年，吕颐浩来到临安，还带了一位曾任过宰相助理的朱胜非。

吕颐浩一到，殿中侍御史黄龟年就弹劾秦桧，理由是：“专主和议，沮止国家恢复远图，且植党专权。”

秦桧立刻上表请辞，赵构没有允许。

黄龟年没有起到作用，吕颐浩亲自上阵，他带着参知政事权邦彦对赵构“复言桧之短” ，到底说了什么不得而知。但从当时舆论对秦桧评价，可以猜到几分。

秦桧上任以来，“以苛刻为务，事图减削，过为裁抑，人心大摇。”说白了就是秦桧只节流而不开源，搞得大家利益受损，再加上任用亲信，得罪了一大帮人。

赵构以仁君自居，再加以非常时期，他自然不愿意得罪多数人。

第二天，赵构召见兵部侍郎兼直学士院綦崈礼：“秦桧说南人回南方，北人到北方，我就是北人，难道要我也回北方去？”

秦桧的战略是“南自南、北自北。”乃是一种划江而治的南北朝战略，虽然国家分裂，但坐江山的还是赵氏，而现在从赵构嘴里说出来是“南人归南，北人归北。” 意思就完全相反了。

（如此一来，政治后果相当严重。）

赵构又道：“秦桧说他当了宰相就可以耸动天下，可我到现在也没有见到。”于是，当场拿出纸笔让綦崈礼起草诏书，罢掉秦桧。

赵构的动作迅猛，綦崈礼还未走出皇宫，诏书已经制作好，第二天就罢掉秦桧。

但在诏书上却没有提到“南人归南，北人归北。”这句话，只说秦桧“没有耸动天下，结党排斥异己，玩弄权柄。”其结果是“终不复用”。

（七年之后，秦桧又回来了，皇帝的金口玉言也是不能当真的。）

秦桧留下的空位，由吕颐浩带来的朱胜非填补。