咸豐十一年底，總理衙門請旨創立京師同文館，招收十五歲以下的八旗子弟學習西方語言文字。這雖是一所新式學校，由于只學習外國語言文字，學生限于八旗子弟，并未遇到阻力。到了同治元年，奕訢再以總理衙門的名義奏請在同文館內另設一館，專門學習天文、算學，招生的對象也由八旗子弟擴大到了二十歲以上的滿漢舉人、五貢（恩貢、拔貢、副貢、歲貢、優貢，都算正途出身資格）、秀才，以及科舉正途出身的五品以下年少聰慧的官員，聘請洋人教習。朝廷批準照辦。
不料這件事卻在一些士大夫中間引起了很大反響。有人指出，以堂堂天朝竟要拜夷人（即洋人）為師，實乃中國人的奇恥大辱。
恭親王毫不氣餒，豬豬島小說同治元年九月初一又上一折，進一步說明開設天文、算學館的必要性和急迫性，還提出將招生對象再擴大到翰林院編修、進士等人。太后又予批準。
這一來，可極大地刺激了道學先生們的敏感神經，引起京師內外的一場軒然大波。
九月五日，山東道監察御史張盛藻首先發難，上折說：若以自強而論，則朝廷之強，莫如整紀綱，明政刑，嚴賞罰，求賢養民，練兵籌餉諸大端；臣民之強，則惟氣節一端。臣民有了氣節，“以之御災而災可平，以之御寇而寇可滅”。令正途科甲人員學習“機巧之事”，又借升官、銀兩以誘之。“是重名利而輕氣節，無氣節安望其有事功哉？”這無異于是說奕訢犯了“方向性”的錯誤，把國家引向歧途。此折雖“為一時推重”，不過他人微言輕，朝廷沒有理會。
太后自然不會對這樣的科道小人物有什么想法，在她看來，這些所謂的清流只能起到監督的作用，想要靠著他們辦事，那是辦不成的，要知道。凡事挑刺容易。栽花難，想要做成事業，總是要許多阻礙的，何況太后對付這些人的套路如今用的十分地嫻熟。“啊。對不起。折子留中了，”安德海在勤政殿外頭耀武揚威得鼻孔對著人，“問奴才我也不知道怎么回事。怎么？您想著遞牌子朝見太后？對不起您咯，您都還沒到四品，太后是不會見您的。”
紛紛擾擾過了半個月，大人物倭仁親自披掛上陣了。倭仁字艮峰，蒙古正紅旗人。道光九年進士，歷任侍讀、侍講學士、侍讀學士等官，是著名的理學大師。咸豐皇帝在世時，因其只會說教，不會辦事，把他視為“迂儒”，令其出任葉爾羌幫辦大臣，故意用違其才，將其投置閑散之地。慈禧執政以后，才把他召回北京，授為都察院左都御史，后任工部尚書、協辦大學士，命其教授同治皇帝讀書，并兼翰林院掌院學士。這一日母后皇太后臨朝，恰好要商議大會操的事，所以除了軍機大臣之外，內閣、六部九卿、詹事科道都一一到齊，在勤政殿的明殿，恭親王領班跪拜后，排班而出，正欲說各鎮大會操的事宜，后頭就響起了一個干瘦洪亮的聲音，“母后皇太后，奴才有事稟告！”
太后隔著屏風，影影綽綽，見不清楚是什么人，但是御座邊上寫的綠頭牌，太后看看那個位置，拿了起來，看清楚綠頭牌上的名字，眉毛不覺微微一皺，“倭師傅，你有什么事兒？”因為倭仁是同治皇帝的師傅，故此慈禧太后面上還是很尊敬的。
“奴才奏請母后皇太后廢除同文館，并革去洋務事！”
勤政殿內大嘩，恭親王瞪了一眼身后倭仁，退后了一步，就站進了班里，倭仁跪在地上，朝著太后大聲說道，“奴才奏請母后皇太后廢除同文館，并革去洋務事！”
太后默默地翻了翻白眼，御前會議開始插話始于咸豐皇帝，咸豐皇帝性子隨和，允許大臣們特別是肅順這樣的大嗓門在養心殿勤政殿里頭吵吵，當然因為這是咸豐皇帝這被大臣們稱之為仁德之君，文宗的稱號一半來自于此，太后雖然有些嫌棄他們煩，不過也衷心覺得這樣的形式非常好，但是今天看到倭仁突然跳了出來，又這么把話題扯開，說這些和自己的施政綱要完全不同的反對意見，十分得不悅，卻又不好發作，眉毛跳了幾下，“你說說看。”
“立國之道，尚禮義不尚權謀；根本之圖，在人心不在技藝。今學技藝，又奉夷人為師，即使學成，也不能起衰振弱。何況天下之大，不患無才。如以天文、算學必須講習，博采旁求，必有精其術者，何必夷人？何必師事夷人？再者，夷人是中國之敵，咸豐十年，他們稱兵犯順，侵犯我京師，震驚我宗社，焚毀我家園，殺害我臣民，乃是我朝二百年來未有之辱，學士大夫無不痛心疾首，飲恨至今，朝廷亦不得已而與之和耳，能一日忘此仇恥哉？”
倭仁中氣十足的聲音在勤政殿回響起，六部九卿驚訝地看著倭仁，有些不以為然，有些暗暗微笑點頭，軍機處的李棠階側過頭憂心忡忡地望著倭仁，文祥毫不在乎，只是安靜跪著，寶鋆鼻孔出氣，怒氣沖沖地瞪著倭仁，曹毓英看了看倭仁，又悄悄抬起頭瞧了瞧屏風，陳孚恩半閉著眼睛，也不看人，也不說話，只是微微嗤然。眾人神色各異，只有倭仁的聲音繼續響起，“科舉出身的人都是國家培養的有用人才，若使他們變而從夷，正氣為之不伸，邪氣因而更盛，數年以后，就要把中國人都驅趕到夷人那邊去了。議政王亂我制度，以夷變夏，其心可誅！”
恭親王也不說話，看了一眼文祥，文祥抬起頭，凜然發聲：“母后皇太后，倭仁此話大謬！正因科甲正途人員存心正大。不會被洋人誘入歧途，才讓他們學習。倭仁所進之言，雖然陳義甚高，持論甚正，其實不過是空言！而空言不能雪恥，只會誤國。如欲救國，就要正視現實，了解外國，向外國學習。所謂師夷長技以制夷，若不盡快地把洋人的科學軍事技術學了來。再過二十年。洋人要是再用軍艦火槍打來，那也是沒指望！難不成每次都讓太后、君上御駕親征不成？”文祥瞥了倭仁一眼，“大學士既然以此舉為窒礙，自必別有良圖。如果實有妙策。可以制服外國而不為外國所制。臣等自當追隨在該大學士之后，悉心商辦，用示和衷共濟。如別無良策。僅以忠信為甲胄，禮義為干櫓等詞，謂可折沖樽俎，足以制敵之命？哼，臣等實未敢信。”
倭仁毫不示弱，“大致謂忠信禮義之空言，不能收到制勝自強之實效，奴才以為不然。欲求制勝，必求之忠信之人；欲求自強，必謀之禮義之士。今以誦習詩書者而奉夷人為師，其志行已可概見，且不說其所學必不能精，即使能精，又安望其存心正大，盡力報國？恐怕不為夷人所用的很少。而且夷人機心最重，狡詐多端，今欲學習其秘術以制其死命，他們縱然表面上指授，安知不另有詭謀？奴才所慮墮其術中者，實非過計。”
文祥又是反唇相譏，清流也是人數眾多，加上倭仁的學問及為人在當時聲望很高，譬如他待人接物，絕沒有因為自己是帝師而倨傲不敬。老夫子和人交往時，和藹可親，雖然身材短小，但慈祥之氣溢于眉宇；和別人說話，也是言無不盡，唯恐別人不明白他的意思。倭仁送客，恪守古道，每次必送至門外，一直要等別人登車后才返回。由此，倭仁在士人們中間的名聲極佳，也有些人夠得上分量的出來幫拳。禮科給事中楊廷熙跳了出來，指責：“軍機大臣不顧天象示警，使得人心浮動！”曹毓英反駁，“天象之言，虛無縹緲，豈能與同文館之事聯系起來！”“若不是人心不安，這同文館，怎么只有那么幾個人報名入學！”一時間勤政殿鬧成了一鍋粥。
慈禧太后剛開始還看群臣吵架頗為有趣，過了半盞茶的時間，殿內還是亂糟糟的，太后覺得沒意思了，坐在屏風前的同治皇帝原本也是興致勃勃得看著好戲，過了這么一會，也忍不住悄悄打了個哈氣，太后皺眉，看了一楊慶喜，楊慶喜連忙喝道，“肅靜！”
原本在指手畫腳唾沫橫飛的大臣們連忙靜了下來，依舊是垂著袖子，只有恭親王站著，恭親王見到大家都不說話，朝著寶座上的皇帝和屏風之后的太后微微鞠躬，“太后，皇上，奴才有話講。”
“議政王請說。”太后說道。
“倭仁既然說：天下之大，不患無才，不如請太后命他保薦幾名精通天文、算學的中國教師，另開一館，進行教學，以觀其成。”恭親王施施然地說道，“如此也好中外對比著看，若是中國之師厲害，這洋務的事兒，自然也不用辦了！”
恭親王的目的在于對倭仁等一干清流發起反擊，使其知難而退，不要作梗，同時也有故意戲弄，使其難堪之意，近乎惡作劇。太后了然，微笑道：“依議，軍機處擬旨，命倭仁督飭辦理。”
“嗻！”文祥響亮地應了下來，忍不住微笑，恭親王出的好主意，太后接的也妙，忍不住又山呼：“太后明見萬里！”
倭仁大駭，一干清流也接近失聲，翁同龢雖然沒出生，可也神色大變，連忙看著倭仁，倭仁臉上沁出了汗水，也不敢擦，連忙叩首稟告道：“太后明鑒，奴才所說的天下之大，不患無才，不過是以理度之，并不是實指其人，請不必另行設館，由奴才督飭辦理。奴才并無精于天文、算學之人，也不敢妄保。”
恭親王轉過半個身子，瞥了倭仁一眼，“倭仁師傅太謙虛了，同文館的事情不順遂，皆因沒有得力大員來辦，這事兒，軍機處和總理衙門和本王都要請罪。皇上的師傅倭仁，聲望至隆，讀書人所推崇備至，如果能出面來督辦同文館，必然報考之人云集，人才唾手可得。倭仁師傅不是剛剛說過了嗎？‘天下之大，不患無才，如以天文算學必須講習，博采旁求，必有精其術，何必夷人？何必師事夷人？’請太后下旨讓倭仁督辦同文館之事。若是國內有人精通了這些學識，何須要請洋人來當差，不是太浪費銀錢了嗎？”
在寶座上的年輕皇帝聽得目瞪口呆，誰不知道倭師傅對同文館反對得厲害，現在竟然讓他去辦，難道這位叔叔已經被氣糊涂了嗎？
恭親王自己覺得這主意妙，還有點似小孩想捉弄人的快意。但如果太后不允，也是枉然，所以低著頭等著太后的答復時，忍不住偷偷朝淡黃色的簾子后瞟了一眼。
如果太后說，“倭仁師傅只怕不肯去辦，這件事，還是后議吧？”那就掃興得很了。
沒料到簾后的太后嘴角掠過一絲笑容，竟然也微微點了點頭道：“這主意不錯，擬旨，倭仁即日起兼任同文館館長吧，辦理天文算術外語之事。”太后站了起來，也不等著震驚之中的倭仁回過神來，“晌午議大會操的事兒，你們跪安吧。”
“臣等告退！”
下午的議事，果然倭仁就沒有來，何況軍事上的事兒，太后也不容許別人唧唧歪歪得見不得人好，于是順順利利地辦了下來，軍機處發出命令，規定了這次的會操方法，供各軍操練，陳孚恩主管此事。到了第二日，太后剛起來看到的第一個折子，就是倭仁的。
倭仁的第一通辭任折子，主要聲明自己對同文館館長的官位沒有垂涎之意。但辭任沒有被準許，太后的朱筆，軍機的諭旨答復說，既然倭仁知道大清朝有懂天文算學的能人，就應該將他們延請到同文館來教授，“勿以事繁責艱而推辭”。