臨安城外城沸沸揚揚的女子失蹤案隨著豐原布莊的全部落網宣告塵埃落定，而高懷遠的生活也再次歸于了平靜之中，這件事雖然鬧的很大，但是卻并未驚動史彌遠一黨，畢竟他們關心的事情還很多，像這樣的小事他們是無暇關注的。
雖然史書所記史彌遠乃是一個權奸，一生做過無數壞事，但是像他這樣一個人，能獨攬朝政如此多年，要說他是壞事做盡也不盡然，起碼這個人在用人和籠絡人心方面還是頗有一套手段的。
當年史彌遠和楊皇后密謀擊殺了韓侂胄之后，于是便立即為曾經被韓侂胄打壓的理學一派平反，去偽學而啟用大批理學派人士，因此獲得了朝野理學一派的支持，并且對于一些有能力卻反對他人，他并未因一己之私便一味打壓，反倒會給予他們一些官職，以此獲得了一些好名聲，在拉攏和打壓之間，他做到了很好的平衡，特別是對于地方大員的任用上，他還是有些眼光的，雖然他是個徹頭徹尾的主和派，但是起碼趙方能在京西路主持抗金一事上，史彌遠便算是有功，為南宋的偏安起到了一定的作用。
同時他豢養了一群為他效命的走狗，對于朝中可能對他有威脅的人進行攻擊排斥，并且控制了朝廷的言路，凡是對他不利的言談，很難傳入當今圣上的耳中，倒是那些不聽他的吩咐的人，他會著人以諫官的身份，進行攻訐和彈劾，將其罷免出局，十幾年間，朝中上下無人不仰其鼻息，故此眼下高懷遠想要以他這樣的身份扳倒史彌遠，是件絕對不可能完成的任務，所以高懷遠也不急于一時，而是趁著這個閑暇的時候，開始在城中廣交朋友。
在高懷遠所結交朋友的名單之中，高懷遠聽從了紀先成的建議，并未去刻意迎奉或者是結交朝中的一些重臣，而是將注意力放在了一般品級比較低的官員身上，之所以這么做，一是因為他的身份眼下并不高，去攀交大員顯然分量不足，輕者引不起人家的注意，重者還很可能會引起史彌遠的忌諱，所以要先從下層做起更為穩妥一些。
而高懷遠也認為這么做乃是上策，所以對紀先成的建議言聽計從，對自己的言行很是注意，但是有一人例外，那就是外城侍衛步軍司的都指揮使方書達。
通過尋找柳兒一事，高懷遠投其所好，贈刀于方書達，使方書達甚喜，加上高懷遠事后又贈與方書達一份厚禮答謝，方書達所以對高懷遠印象相當不錯，后來得知高懷遠也是個使刀的高手，而且在軍前和金軍交戰屢立戰功，所以時不時的會請高懷遠到他府上，沒事的時候二人切磋一下刀法。
而高懷遠也投其所好，會展露一下他的伸手，對于方書達這個好武之人，正是合了他的脾胃，一來二去，二人便成了莫逆之交。
說來也巧，侍衛步軍司在年前的時候清理了一批軍中老弱病殘的兵卒，在年后正好需要增招一批兵員，充入侍衛步軍司做效用或者軍兵，高懷遠在和侍衛步軍司這幫朋友走動之間，得知了這個消息。
同時負責內城的殿前司那邊，也同時傳出了要補充兵員的消息，這對他來說，可以說是個難得的機會，從他到了臨安城之后，便一直琢磨著如何能在臨安城的軍隊系統里面，塞入一些他的人手，沒想到這個機會來的居然如此之快。
于是高懷遠和紀先成、賈奇等人密議了一番之后，立即著令賈奇，通過各種關系將臥虎莊的一批大約百十人左右的精英青少年想辦法安插到內外兩軍之中，他的要求不高，花些錢只要能將這些人安插進去，做個效用就成，也先不圖他們能當上什么官職，只要他們能進入這兩套軍隊系統之后，至于升遷問題，就好辦許多了，像眼下這兩軍之中的腐敗情況，只要舍得花錢，不出一年時間，這些人便能成為軍官，對于這種預想，高懷遠是有十足的把握的。
所以在高懷遠調動京中各種暗中勢力運作此事之后，他事先選出的這些臥虎莊的青年，異常順利的便各自被選入了殿前司和侍衛親軍步軍司之中，而且都當上了效用。
宋軍歷來有在軍兵臉上或者手上刺字的惡習，絕大多數當兵的會在被招收入軍隊的時候，先在臉上或者手上刺字，以此來約束當兵的不能當逃兵，這種制度是起源于唐末藩鎮混亂階段，后來被宋朝所繼承，算是一種非常殘酷的制度，而且宋朝是中國歷史上少有的實行募兵制的朝代，軍中所招不少兵卒，不是流民就是流氓，要么就是一些犯罪被充入軍中的罪犯，這種制度似乎是避免了當兵的當逃兵，但是卻使軍人的素質良莠不齊，軍隊嚴重缺乏戰斗力，看似兵員不少，但是能打仗的或者甘心為國效力的兵卒卻少之又少！而且軍人的社會地位也隨之變得十分低下，要么動輒便會被人稱之為賊配軍，這其實就是平民對軍隊的一種蔑視。
高懷遠當初無論如何都不肯入軍當兵，一個很重要的原因就是他不愿意在自己臉上或者身上任何一個地方刺字，后來雖然他令黃嚴等人入軍為將，但是當初黃嚴等人本來就是以鄉勇入伍，直接在孟珙手下效力，所以免去了刺字之苦。
而南宋兵制和北宋兵制有所不同，一些地方的募兵制也改為了駐屯軍，而且軍中多有效用一職，充當戰士使用，但是身份地位卻要高于普通軍兵，不用再在身上明顯之處刺字，所以高懷遠即便讓他手下的人進入軍中，也要求不能以普通軍兵的身份入軍，而是要以效用或者使臣的身份入軍，免去他們要受刺字之苦。
這件事整體上進行的很順利，收了錢的那些司錄參軍自然不會收錢不辦事，對于高懷遠暗中安插的這些青年的安排，都相當不錯，大多都安排到了京城各處守軍之中當了使臣或者是效用。（有興趣的朋友可以查一下有關南宋兵制的問題！里面對軍隊的使臣和效用以及軍兵會有比較詳細的介紹，這里我就不費口舌了！）
如此一來，高懷遠其實又等于在殿前司和侍衛步軍司里面安插入了百十名自己的眼線，對于臨安城的軍隊的情報掌握更為準確快捷了許多，而且這些人被著令服從賈奇的管理，平時不許和高懷遠發生任何聯系，即便是偶爾見面，也只當作不認識他。
用起來這些人，確實順手也放心，這些被高懷遠收養的孤兒們，經過周昊、周俊等人所教導之后，已經被徹底洗腦，他們可以不知道當今皇上是誰，卻只知道對高懷遠效死忠，所以根本不愁這些人會出賣他什么。
在做這些事情的時候，高懷遠并未放松對于其他事情的安排和監控，通過他建立起來的情報網絡，每天他都能得知他勢力下的各種事務的進展情況。
對于商業上的事情，他基本上已經不太關注了，那種事情有黃真周毅等人為他操作，基本上不用他再操心什么，而且各處的生意為他源源不斷的提供著巨大的財富支持，使他眼下已經根本不用為花錢操心了。
所以他可以集中所有精力，放在有關他暗中儲備的軍事力量上面，而眼下他最關心的事情還是在山東一帶的付大全的情況，從他派出付大全帶人入山東做事開始，他便一直關注著付大全那邊的發展。
從揚州到臨安這幾個月之中，高懷遠除了在柳兒出事的幾天沒有關注這個事情之外，幾乎天天都要過問一下這個事情。
過了年之后，付大全那邊傳回來消息，經過付大全在莒南一帶的極力發展，現在他手下兵馬數量已經多大六七千人，大多都是在山東本地所征召的難民，刨去那些老弱病殘之人，他將手下這數千人分為了兩軍，其中一支兩千人的飛虎軍被他作為精銳編成，全部選驍勇青壯之士入軍，并且大力進行整訓，將以前他所學的練兵之法盡數用于這支軍隊的訓練上面，而且又以弓弩手為此軍骨干，組成了一支能征善戰的驍勇之師，在莒縣周邊無人敢正迎其鋒，金國多次派兵試圖剿滅付大全，但是卻都敗在了他的飛虎軍手中。
而剩下的那些相對比較弱的兵卒，則被付大全變為了鎮守軍和將作軍，鎮守軍主要負責他所占轄地之內的鄉鎮的駐防，雖然戰斗力比飛虎軍弱小一些，但是駐守城池倒也堪用，至于將作軍則是一支由各種工匠所編成的輔助軍，大致不足一千人左右，主要負責修葺他所占的鄉鎮城池的城墻寨墻，同時負責修造他軍隊所需的武器，為此張天健干脆將善于制弓的秦虎暗中送到了付大全那里，讓他充作付大全將作軍的統領，專門組織工匠負責各種武器督造的事情，連帶還從鐵作的周伯通手下調去了幾個鐵匠，配合秦虎做事。