1137年(紹興七年)二月，岳飛奉詔入朝覲見高宗，其間曾與高宗作《良馬對》。高宗問岳飛有無中意的馬匹，岳飛說以前有兩匹，後來死掉了。岳飛說：“良馬吃的草料、喝的水都比較多，但是對草料和水的要求都很高。寧願餓死，也不吃不清潔的草料，不喝不清潔的水。跑起來，一開始也不太快，跑了一百多裏之後會突然加速再跑二百里。解除鞍甲之後，一點也沒有疲勞的感覺，也不流汗，好像若無其事的樣子。這纔是良馬呀!而不良的馬，吃得不多，但是對草料和水的要求幾乎可以說飢不擇食，渴不擇飲。還未戴好馬鞍，就顯出急不可耐的樣子，剛跑了一百里地就氣喘吁吁立即躺到地上，一副要死的樣子。”岳飛以馬喻人，把自己比作良馬，希望高宗能夠給他儘可能多的兵馬，以便完成直搗黃龍府的大業。
後來，岳飛官職也升至荊湖北路、京西南路宣撫使兼營田大使。一日高宗把岳飛召至“寢閣”授命說：“中興之事，朕一以委卿。”準備將劉光世所部王德、酈瓊等兵馬五萬餘人隸屬於岳飛。
岳飛見部隊行將擴充，收復中原有望，心情異常激動，便親手寫成一道《乞出師札子》。岳飛陳述了自己恢復中原的規劃，而且此時已不再提及迎還“二聖”或者“淵聖(宋欽宗)”之事，只將欽宗包括在“天眷”之中。
高宗覽岳飛奏疏後，親賜御札嘉獎，都督府也將劉光世軍情況通報岳飛。撥劉光世軍與岳飛，似成定局，不意張浚和秦檜從中梗阻，高宗聽從張浚之議，置已決之“前議”於不顧，又下詔給岳飛說：“淮西合軍，頗有曲折。”不將劉光世軍撥與岳飛。張浚見了岳飛，撇開歸劉軍與岳飛之“前議”，以淮西軍中人事安排相問，岳飛耿直的回答卻遭張浚譏刺。
眼見擴軍無望，岳飛乘船溯江西上。但他沒有直接回到鄂州軍營，而是先到了廬山東林寺。岳飛心中有怨怒，於是給朝廷寫了一道奏疏。藉口與宰相張浚議事不合，請求解除兵權，留在廬山，爲母親服完剩餘的喪期。
高宗收到岳飛要求解除軍職的奏疏後，勃然大怒，此前對岳飛的好感煙消雲散。他認爲岳飛簡直是膽大包天，竟敢挑戰自己的權威，實在是大不敬。好在時任左司諫的陳公輔認爲岳飛忠義，有此反常行爲，原因應該與合併劉光世軍隊沒有成功有關。
高宗權衡利害得失後，爲了南宋江山不得不用岳飛掌軍。他拒絕了張浚收岳飛兵柄的建議，封還了岳飛的辭職奏札，不準岳飛“求閒自便”。
高宗封還了岳飛的奏疏後，在廬山上的岳飛仍然不願意返回鄂州軍營，又給高宗上了第二道奏疏，奏疏中不再提及與張浚議論不合，只提繼續爲母親服喪。高宗又封還了岳飛的奏疏，另外寫了一道御札給岳飛，一方面感嘆岳飛的孝心，另一方面表彰岳飛一向忠君愛國的行爲，希望他率領岳家軍前往兩淮，防範僞齊軍隊的侵犯。
岳飛接到第二封御札後，還是不願如高宗所安排的前去商討戰事，又給高宗寫了第三道奏疏，竭力辯白自己一向的志向是收復東京，除此之外，沒有任何野心和私利。
高宗第三次封還了岳飛的奏疏，又寫了一道御札給岳飛，一方面肯定其奏疏中的辯白，另一方面再次督促他前去見張浚，最後特別寫明讓岳飛不要再上奏。話已至此，已經讓岳飛無話可說，無路可退。
隨後，高宗命令鄂州宣撫使司的參議官李若虛和統制王貴，火速到廬山督促岳飛趕快回到鄂州軍營。否則，李若虛和王貴將被軍法處置。
李若虛和王貴二人晝夜兼程，來到廬山東林寺。見岳飛後，再三苦勸，但岳飛仍不肯出山。
見此情景，李若虛指着鼻子罵岳飛：“你這樣一而再、再而三不聽朝廷的指示，無論對你、對你的家庭、對岳家軍、對國家，都絕對不是好事，朝廷一定會產生你到底想幹什麼的疑問。況且你原來就是河北一個農夫，熬到現在這個份兒上，真是天大的造化，你應該珍惜這份榮譽。況且你再不出來，我們兩個將被軍法從事，你難道眼睜睜地看着我們被軍法從事嗎?”
岳飛被迫無奈，只得回朝向高宗謝罪。高宗不陰不陽地說:“朕不怒卿。如果發怒，太祖皇帝所謂唯有寶劍!”
岳飛和高宗之間的矛盾，就是從這一年開始逐漸加深的。
