康熙年间，中俄在西北边疆及商贸上多有交涉往来，而清廷之前主要依靠来华传教士及俄国商人担任通译，颇有不便，于是在理藩院下设立俄罗斯文馆以培养俄语翻译，最初打算就近招收蒙古学员，但后因报名人数太少而改为旗人子弟均可入学。俄罗斯文馆的教习主要由俄国人担任并一度招收俄国留学生，其间跨越了近一个半世纪，直到同治元年（1862年），俄罗斯文馆才被并入新设立的京师同文馆。
京师同文馆附设于总理各国事务衙门，当时仍沿用俄罗斯文馆常例，以旗人子弟为招生对象，主要教授英文、法文。开办之初，同文馆并没有引起太多人的关注，因其最初设想不过是培养翻译以助于对外交涉，但4年后恭亲王奕?的一个奏折引发了一场轩然大波。
恭亲王奕?排行老六，因其热心洋务，与洋人来往频繁，背后又有人送他一绰号“鬼子六”。由于在同英法联军的议和及“辛酉政变”（与慈禧太后联手制伏肃顺等“八大臣”）中表现出色，奕?在同治初年受到重用。他既是领班军机大臣，同时又兼管总理衙门，位高权重，风光无限。
在亲历英法联军之役并见识了洋人的厉害后，奕?对洋务极其重视，他见京师同文馆经办数年未见成效，而当时又急缺洋务人才，于是提出了一个新的设想，那就是将京师同文馆的职能由外语教学转换为语言与洋务并重，以更快培养出适合时代需要的新型人才。
皇族出身的奕?对旗人子弟的素质习性素有了解，因而他的办法就是从生源入手。在1866年底的奏折中，奕?提出京师同文馆陆续增设天文算学馆、化学馆等新馆，学员将从正途人员中选取，范围是年龄30岁以下的举人、优贡及五品以下的京外各官。
奏折公布后，立刻在朝廷内外引起轩然大波，御史张盛藻上疏抗议：“天文算法，宜令钦天监天文生习之；制造工作，宜责成工部督匠役习之。文儒近臣，不当崇尚技能，师法夷裔。”在士大夫们看来，让举人、优贡这些正途人员去学习天文算法、营造器械这些上不得台面的事情，简直是儒林奇耻。
张盛藻的贸然上奏遭到朝廷的驳斥，为表示对天文算学馆的重视，清廷任命了三品京堂、太仆寺卿徐继畲充任总管大臣，而之前的官员都是低级官员，馆内的教习甚至只是月俸八两的八品以下官员。鉴于朝中的保守势力暗潮涌动，奕?连续上了两个奏折进行解释：
“洋人制造机器、火器等件，以及行船行军，无一不自天文算学中来……若不从根本上用着实功夫，即习学皮毛，仍无裨于实用……举凡推算、格致之理，制器、尚象之法……倘能专精务实，尽得其妙，则中国自强之道在此矣。”
“若夫以师法西人为耻者，其说尤谬。夫天下之耻，莫耻于不若人……或谓制造乃工匠之事，儒者不屑为之，臣等尤有说焉……匠人习其事，儒者明其理，理明而用宏焉。今日之学，学其理也，乃儒者格物致知之事，并非强学士大夫以亲执艺事也，又何疑乎？”
奕?之说并非没有道理，但他在奏折中犯了一个冒进的错误，那就是把天文算学馆的招生对象进一步扩大为“翰林院编修、检讨、庶吉士等官”，理由是这些人“学问素优”而“差使较简”，如果让他们参与学习势必事半功倍，但他的提议招来了保守势力更加激烈的反对浪潮，而这一次担当大旗的是文渊阁大学士、帝师倭仁。
倭仁是道光朝的进士，曾历任大理寺卿、工部尚书等职，他思想保守固然不假，但他本人是真有学问，时有“理学大师”之名，颇受士林中人的景仰。《近代名人小传》中说，倭仁为人严谨简朴，最反对奢靡浪费，曾以古人咬菜根之意，创立“吃糠会”，以提倡节俭。老夫子以身作则不搞假道学，他有件狐裘，皮革已破损外露，无钱购新，就用布在外面打上补丁。由此，倭仁在士人们中间的名声极佳。
倭仁对西学很不以为然，对那些主张洋务的官员也看不惯，譬如外国公使驻京后，朝廷的六部九卿堂官通常会到各国使馆去拜年，既是尽地主之谊，也是一种文化交流，但倭仁从来不去参与。
一开始就跳出来反对天文算学馆的御史张盛藻，其实是倭仁门生，前一次上奏是否出于倭仁的授意，目前尚不得而知，但就观点而言，两人是一致的。这一次，倭仁亲自出马，他在上奏中针锋相对地提出，“天文算学为益甚微，西人教习正途，所损甚大”“立国之道，尚礼义不尚权谋；根本之图，在人心不在技艺”。倭仁的奏折披露后，立刻被守旧派们奉为经典，广为传诵。
不过，倭仁的奏折也不是没有纰漏，那就是这一句：“如以天文算学必须讲习，博采旁求，必有精其术者，何必夷人，何必师事夷人。”奕?抓住这句话，说倭仁既然认为不必师事夷人，想必有优秀的洋务人才推荐，于是他故意上奏慈禧太后，让倭仁保荐精于西学的中国教师，并请倭仁来主持同文馆。或许是一种有意的戏弄，慈禧太后颇为默契地批准了奕?的建议，并让倭仁随即到总理衙门任职并主管京师同文馆。
倭仁傻眼了，他哪里知道什么是洋务，又哪有什么人才可以推荐呢？
对于倭仁当时的窘迫与尴尬，同为帝师的翁同龢在日记里记述得颇为详细：
三月二十二日：倭仁辞职未获批准；
二十四日：倭仁再辞职仍不批准，他和恭亲王谈了几句，几至拂衣而起；
二十五日：倭仁无法辞职，只得受命而出，当时老泪横流，把同治弄得惊愕了半天；
二十九日：倭仁上马眩晕坠落，靠坐轿才得以回家，回去后痰迷心窍，几至不语；
四月十八日：翁同龢去看倭仁，见其“颜色憔悴，饮食甚少”；
五月十二日：倭仁请开缺，慈禧太后命“赏假一月，安心调理”，仍未批准辞职；
六月十二日：倭仁再请开缺，慈禧太后这才“准开一切差使，仍以大学士在弘德殿行走”。
翁同龢最后在日记中说，倭仁听到这个消息，“为之额手称庆”，总算是长出了一口气。
老夫子倭仁虽然被暂时击退，但这场风波所造成的影响是深远的。在守旧派士大夫的鼓噪下，很多有意投考同文馆的官员，最后都打了退堂鼓。结果，同文馆在98个报名者中只录取了30人，而因被录取者的素质太低，很快又被淘汰了20人，剩下的10人中，最后也只有5人毕业。洋务派本希望通过同文馆培养一批精通西学的中高层官员，这个计划几同夭折。
自诩国内懂洋务唯“区区一人”的郭嵩焘在冷眼旁观了本次争论后一棍子把双方全部打死，在他看来，双方“用意不同而同一懵懂，如群盲相遇于道，一无所见”，特别是奕?派，郭嵩焘的批评更加严厉，认为其原奏立言悖谬，“无一语不足喷饭”，而其所奏章程，“阅之不胜骇叹”。
郭嵩焘的理由是，奕?的办法流露出“取媚洋人”的倾向，“以洋人所授之业为升阶狎侮士大夫，流俗之所争趋，君子之所深耻”，而章程中的“拘禁之令，出入有制，而月一加考试，移督教童蒙之政以施之翰、詹事清贵人员，贱简士大夫以辱朝廷”。更为不智的是，折中称“欲严课程，必须优给廪饩；欲期鼓舞，必当量予升途”，这无异于以“奖叙利禄之名”诱导，为标榜“重气节而轻名利”的士人所不齿。
同为帝师的翁同龢虽也保守，但对于这场风波的无厘头颇为不屑并讽之为“朝堂水火，专为口舌相争”。在他的日记里，翁同龢记录了这样一副嘲讽同文馆的对联：“诡计本多端，使小朝廷设同文之馆；军机无远略，诱佳子弟拜异类为师。”有好事的士大夫们挖出“同文馆”的“同文”二字，说它“未同而言，斯文将丧”，更有人指责奕?的创议引诱儒生为鬼子门徒，所谓“孔门弟子，鬼谷先生”“胡闹！胡闹！教人都从了天主教！”
“同文馆风波”并不是奕?与倭仁的个人之争，而是中西文化的首次交战，因参与者都是朝中重磅人物，其效应也由此扩大数倍。就学说而言，倭仁之见仍为传统的治国观点，其对列强的压迫及千年之变局的到来浑然不觉或有意视而不见，但同样不可忽视的是，奕?对付倭仁的办法有耍小聪明之嫌，洋务派没有在舆论上真正把保守主义驳倒（甚至让更多的士人加入了反对阵营），由此也未能像日本明治维新一样形成学习大潮。就此而论，这场争论实际上没有真正的赢家，两败俱伤之下，国势依旧沉沦。
由于招不到好学员，京师同文馆对馆内学生待遇极优。京师同文馆出身的齐如山对当年“母校”的典故知之颇详，据其回忆，馆中的伙食好得不得了：平时吃饭，六人一桌，四大盘、六大碗；夏天另添加一个大海，还有荷叶粥、果藕，等等；冬天虽无大海，却增加一个火锅，火锅还分什锦火锅、白肉火锅、羊肉火锅三种，各种羊肉片、鱼片、肝片、腰片及鸡蛋、冻豆腐、作料，等等，应有尽有，吃不够还可再添，当时的正阳楼饭馆也不过如此。更绝的是，非但学生如此，就算有熟人来，也可以留饭，随意点菜，一文钱都不用花。
但就这样，同文馆仍旧招生不畅，据齐如山回忆，“馆是成立了，但招不到学生。因风气未开，无人肯入，大家以为学了洋文，便是降了外国。在汉人一方面，政府无法控制，招学生太费事，于是由八旗官学中挑选，虽然是奉官调学生，但有人情可托的学生谁也不去，所挑选者，大多数都是没有人情，或笨而不用功的学生”。
这种情况，直到戊戌以后才有所改变。随着西方文化的不断浸润，士人们对西方事物也从反感到好奇，报考同文馆的人日益增多，于是改行考试入馆，而且搞实验制，学员入学半年后，非可造之才即行剔除。
相比同时期的上海广方言馆及广东同文馆，京师同文馆尽管地位更高，但成绩上并不出色。据曹汝霖所言，当时上海广方言馆附设于江南制造局内，每年招考年幼生徒入学各国语文，毕业后择优送京师同文馆深造，其中的一些优秀人才如陆征祥、胡唯德、刘式训等，都是上海广方言馆所输送的。如1867年，京师同文馆招收的八旗子弟中，有20名实在是不堪造就，最后只得由总理衙门紧急征召上海广方言馆及广东同文馆的高才生前来补缺。
同文馆难出成绩，很大程度上应归结于科举制度。科举制度不但吸走了最优秀的人才，就连同文馆中的学员也难免受到影响。譬如汪凤藻，其在上海期间的英文及“西学”（如几何、微积分、格致等）已有相当基础，并曾为江南制造局下的译学馆做过翻译工作。但就像留学英国学习海军、后来成为大翻译家的严复一样，汪凤藻后来仍旧参加科考并先后中得举人、进士，并被点为翰林，可谓正途不误，中西兼通。严复就没有这样好的运气了，他先后参加过几次科考，但均以失败而告终。
曾先后担任过驻英国参赞、出使英意比国大臣的同文馆首届毕业生张德彝则是另外一种情形，尽管他为光绪皇帝授读过英文，但同文馆的“非正途出身”仍对他造成了很大的阴影。在《宝藏集序》中，他反复叮嘱后辈：“国家以读书能文为正途……余不学无术，未入正途，愧与正途为伍；而正途亦间藐与为伍。人之子孙，或聪明，或愚鲁，必以读书为要务。”张德彝说的“读书”，指的是四书五经、八股制艺而不是语言、算学、格致之类的实用之学，他的这番训导，也颇为形象地折射了同文馆的尴尬地位。
京师同文馆的萎靡不振，与奕?、倭仁当年的那场争论无疑是密切相关的，但可惜的是，这场无谓的争论未能确立同文馆乃至新式教育的方向，反而错失了它的目标。京师同文馆原本应发展成为“皇家学院”，并为全国的新式教育树立典范，但直到1902年并入京师大学堂之前，它的贡献与其地位、投入都极不相称，然而，这又是谁的过错呢？
