1901年，蔡元培接受礼聘，到上海南洋公学任教，继续探索教育新路。在南洋公学这样一所新式学校中，蔡元培终于获得了实现革新教育之抱负的机会。南洋公学始建于1896年，由当时洋务派代表人物盛宣怀奏请晚清政府所创办，是现在上海交通大学的前身。当年学校规模很小，借用上海徐家汇民房开学，学校分设四院，即师范院、外院、中院和上院，是从小学直至大学相连一体的学堂。南洋公学的设立是近代中国教育史上的一件大事，它是“教育救国”思潮的产物，也是这一思想的一次重要实践。
蔡元培到校后担任南洋公学特班总教习之职。所谓特班，就是为培养兼容中西学且能经世致用的人才所特设的班。课程有英文、算学、化学、地理、史学、政治学、经济学、外交史等。学生来自全国各地，极一时人才之盛。蔡元培对其培养目标颇有兴趣，于是他欣然接受此职。
特班学生一共有42人，其中不少人后来成为中国历史上的著名人物，他们的代表有黄炎培（著名教育家，我国职业教育的奠基人，解放后曾任国务院副总理、人大副委员长、政协副主席等职）、邵力子（著名教育家，曾任上海大学校长、黄埔军校秘书长、中国公学校长等职）、李叔同（著名艺术教育家、画家、诗人、音乐家）、胡仁源（著名教育家、科学家）、谢无量（著名书法家、学者、诗人，曾任孙中山先生秘书长）等，他们都曾是教育救国的实践者。这些学生当年入学时已有功名的也不乏其人，比如当年的黄炎培便已高中举人。
面对这样的学生，蔡元培一方面以身垂范，另一方面严格要求。开学之时，他亲自制定了《南洋公学特班学习方法》与《南洋公学特班生游息规则》等。学习方法中规定：每日以三小时课编纂，三小时课讲义，一小时为修辞之学。这一学习方法虽然要求甚是严格，但着眼于对学生探理与析疑相结合能力的培养，并且注重札记，重心在于提高学生的自学能力。游息规则中规定：学生游息须有一定之时、一定之地。如抛球、竞走等事，只允许在体操场为之。如因下雨、天寒不能到体操场，则只能在饭厅游廊等处游步，不可结队，以免妨碍他人；学生出入饭厅、体操场等地时，应当整齐，不可争先乱走；学生寻常走路时，应当有步骤，不得冲突他人等。这些规定有利于指导学生成人、成才和全面成长。
蔡元培不仅在教学方法上提倡自学，而且十分重视学生讲演训练和外语学习。他对学生说：“中国国民在极度痛苦中，还没有知道痛苦的由来，还没有能站立起来，用自立来解除痛苦，这是中国根本弱点。你们将来出校，办学校以外，还要唤醒民众，开发他们的知识。这些固然可以靠文字，但民众识字的少，如能用语言，效用更广。你们要练习演说。”他还指出：我们救国、兴国、强国，要知道自己的弱点，也要了解国际情况。了解国际，要通晓外国文，读外国书，英文自然要读，通日文比较容易，从日本书中也可以了解国际情况。
建立新教育制度
蔡元培于1900年辞去绍兴中西学堂校长职务之后曾潜心研究日本各级各类学校学制及其课程设置问题，同时完成了《学堂教科论》这一研究专著，由杜亚泉开办的普通学书室出版发行。这本书是蔡元培在亲身教育实践基础上，结合对日本等国外学制的研究所完成的关于变革中国教育的较为宏观的思考。这为若干年后蔡元培担任民国教育总长时制定新学制奠定了一定的基础。
1911年辛亥革命爆发后，蔡元培结束在德国的留学生活回到了国内。1912年1月1日，孙中山先生在南京就任中华民国临时大总统，蔡元培被任命为中华民国第一任教育总长。民国初建，百废待兴。他感受到自身责任的神圣与重大，深刻认识到教育改革的必要，所以虽然道路艰难异常，但他还是决意为教育鞠躬尽瘁。
在蔡元培的主持下，中国创办了第一个资产阶级最高教育行政机构——中华民国临时政府教育部，蔡元培任教育总长。他“深感辛亥革命后，教育思想与方法俱有所改变，清末所颁布的《壬寅学制》和《癸卯学制》，合乎帝制，而不适宜共和，自不能满足于国人的要求。”于是教育部决定颁布新法令，推行改革，以代替旧的规章。
教育部在蔡元培的主持下，短短时间内便呈现出一派欣欣向荣的景象。他集众人智慧，接连推出了一系列教育革新的大政方针：首先是颁布《普通教育暂行办法》和《普通教育暂行课程之标准》。其要点为：从前各种学堂一律改称学校，学校负责人一律改称校长；初等小学男女同校；凡各类教科书，务必合乎共和民国宗旨，禁用清政府颁布的教科书；废除小学读经科和奖励出身；初等小学开设修身、国文、算术、游戏、体操等课程；高等小学再增设中华历史、地理、博物、理化、图画、手工等课程；高等小学以上体操课要注重军事训练；初等小学三年级起兼学珠算等。《普通教育暂行办法》和《普通教育暂行课程之标准》的颁布，开了民国初等教育革新之先河，为全国小学教育吹来了一股“民主共和的清新之风”。著名教育家叶圣陶、钱穆等均是在这股清新之风的吹拂下于1912年走上小学教师岗位的。叶圣陶回忆说：“当时民国政府对初等小学教育非常重视，一再宣扬二十世纪是竞争剧烈之世，非军国民、经济国民不足以立国，而立国之本，首在教育，只有振兴教育，养成独立、自尊、自由、平等、勤俭、武勇、活泼之国民，才能发达我中华民族的国势。”为此，叶圣陶觉得小学教师是个很“高贵”的职业，他在日记中写到：“得一教员之职亦佳，新民之基础须是赖焉，且其中乐趣亦无有穷尽。”
孙中山辞去临时大总统后，袁世凯窃取了革命果实，国民政府也随之迁往北京。袁世凯继续邀请蔡元培担任教育总长。但蔡元培对袁世凯的政治面目认识得一清二楚，故坚力辞之。后在孙中山与内阁总理唐绍仪的一再挽留下，考虑到担任教育总长更多是为国效力，为民谋利，于是答应继续担任教育总长。
之后，蔡元培继续进行教育改革。9月初重新颁布中华民国教育宗旨，即“注重道德教育，以实利教育、军国民教育辅之，更以美感教育完成其道德”，公布《学校系统令》，初步确立了一套资产阶级的新教育体制，为以后的教育改革和资产阶级新学制的最后确立奠定了基础。
在公布了《学校系统令》之后，中华民国教育部又陆续颁布了小学、中学、大学、专门学校和师范学校的学制，对各类学校的教育宗旨、入学资格、年龄、课程和年限都作了明确规定。小学教育以留意儿童身心发育、培养国民道德之基础并授以生活所必需的知识技能为宗旨；教员须有许可状，不得对学生进行体罚。中学教育以完足普通教育、造成健全国民为宗旨；以省立为原则，经费由省款支付。大学以教授高深学术、养成硕学阂才、应国家需要为宗旨；分为文、理、法、商、医、农、工7科；设预科、本科和大学院。专门学校以教授高等学术、养成专门人才为宗旨；种类有法政、医学、药学、农业、工业、商业、美术、音乐、商船、外国语等。实业学校以教授农工商业必需的知识技能为目的；甲种学校以省立为原则，乙种学校以县立为原则。
《学校系统令》又称为“壬子学制”，之后陆续颁布的各级各类学校令是《学校系统令》的补充，它们合称为“壬子癸丑学制”。这个学制整个学程为18年，分为三段四级，三个系统。第一阶段是初等教育，分为两级：初等小学4年，高等小学3年，共7年。第二阶段是中等教育，只设一级，共4年。第三段是高等教育，也是一级，为6－7年，但分预科和本科，预科3年，本科3－4年。除了有小学、中学、大学组成的学校系统外，还有师范教育和实业教育两个系统。师范教育分为师范学校和高等师范学校，实业教育分乙种（初等）、甲种（中等）实业学校和专门（高等）学校。
此学制将小学教育缩短为7年，中学教育缩短为4年，废除了小学与师范学校的读经课程，实行男女教育平等，允许初等小学男女同校，设置了专门学校，培养专科实用人才。这些措施尤其是实行“男女教育平等，允许初等小学男女同校”的规定，在我国近代教育发展史以及我国公民受教育权的发展史上具有极其重要的意义。
在颁布学校教育法令的同时，中华民国教育部还下达了全国推行社会教育的通令。通令指出，社会教育要向广大百姓宣讲国民之权利、义务等，尤其要注重宣讲公民道德，并明确要求各省要为社会教育拨出专项经费，结合本省实际制定宣讲标准，确保社会教育之成效。这一通令大力倡导推行社会教育，以此开拓普及教育的新路。
可惜的是，就在蔡元培全心全意为国家教育大计呕心沥血的时候，袁世凯却逐步暴露出了其窃国大盗的真实面目。对袁世凯的倒行逆施，众人异常愤怒，国务总理等纷纷辞职，在此情形下，蔡元培也辞去了教育总长的职务。但蔡元培辞职之后，继任总长非常敬佩蔡元培高尚的人格力量，也非常信服蔡元培精深的教育思想，明确宣称蔡元培整顿教育之办法继续进行，以前由蔡元培宣布规定的教育宗旨、行政大纲全部遵照执行。由此可见，蔡元培虽然执掌教育部的时间不长，但他却奠定了中国新式教育的发展方向，对我国教育事业的影响是深刻而久远的。
开男女同校之端
蔡元培是我国妇女解放运动的启蒙者和先行者，素来主张男女平等。他是现代在婚姻和家庭问题上开风气之先，身体力行地将男女平等、婚姻自主思想付诸行动的第一人；也是对“男女授受不亲”、“男女七岁不同席”、“女子无才便是德”等旧观念发起第一轮冲击的第一人。
1900年，他任浙江嵊县剡山书院院长时即要求院董事定期向邻近不识字之人及儿童、妇女讲课。1902年，他又在上海创办爱国女学，以培养革命女性。
1912年初，蔡元培就任南京临时政府教育总长，向参议院宣布政见时提出“男子与女子同系国民”。在议定国会组织法、选举法时，提出对于女子似不必加以限制。后来，蔡元培参加了争取女子参政权的运动。当黎元洪说“女子此时程度尚低，似不足以语参政”时，他当面给以反驳：“女子参政问题，不宜问程度够不够，宜问此事该不该。如果女子应参政，自当予以参政权，即使程度有不足，则教育未始不足以补救，万不能因今日女子的程度不够，而此权利即可断而不予也。”蔡元培任教育总长时还主持修订了教育部的学制，第一次在政府法令条文中宣布教育上的男女平等。不久，我国初级小学实行了男女同校。但由于当时的守旧势力异常强大，高小、中学和大学都不实行男女同校，剥夺了许多女子受教育的权利。直至五四运动前夕，高等学校仍未实现男女同校。当时的教育部对此畏首畏尾，各大学都不敢提议招收女生。蔡元培非常不满此等现状，说：“言女子教育，则高等学校既不许男女同校，又不为女子特设，视各国战前之教育，而远不逮。”他一面在北京青年会进行演讲，一面又对上海《中华新报》记者发表谈话，公开倡导高校男女同校。
1919年8月3日，甘肃女学生邓春兰在京沪各大报上发表她写给蔡元培的信，她知蔡元培主张男女平等，请求“增女生席”，要求经北京大学附设中学进入大学预科，再入本科，实行男女同班。时值五四运动期间，蔡元培辞职离京，没有看到她的信，邓春兰拟组织大学解除女禁请愿团，“以牺牲万有之精神，至百折不回之运动，务达我目的而后已”。同年12月，又有一名叫谢楚桢的女子上书蔡元培，声言代表全国女界请求北大开放女禁。蔡元培当即复信予以赞同。
1919年10月，时任北京大学教授的胡适发表《大学开女禁的问题》一文，主张在北京大学收女生旁听作为收正式女生的过渡，并呼吁社会改革女子教育，使之与大学教育衔接起来。蔡元培对这个建议非常赞同。
1920年1月，他在报上公开表示“大学之开女禁问题，则予以为不必有所表示。因教育部所定规程，对于大学学生，本无限于男子之规定”。“故予以为，无开女禁与否之问题，即如北京大学明年（指1920年）招生时，倘有程度相合之女学生，尽可投考。如程度及格，亦可录取。”
1920年2月17日，北京女学生王兰第一个获得北大许可，入哲学系一年级为旁听生。后来又有奚浈、查晓园两名女生也进入北大成为旁听生。至3月11日，先后又增加杨寿璧、邓春兰、赵懋芸、赵懋华、韩恂华、程勤若等六位女生。秋季招考时，正式招收女生，以上九名女生都被录取。
当时常有人来问：“大学几时开女禁？”蔡元培回答说：“大学本来没有女禁。欧美各国大学没有不收女生的。我国教育部所定的大学规程，并没有专收男生的规定。不过以前中学毕业的女生并不来要求，我们自然没有去招寻女生的理。要是拓考期间，有女生来考，我们当然准考，考了程度适合，我们当然准入预科。从前没有禁，现在也没有开禁的事。那时考期已过，有各处女生要求来校旁听，我们审查资格后，允许旁听的，已有九人。今年暑假招考，如有女生来应试，一定照男生一样办理。”
蔡元培开了大学正式招收女生的先例，因为风气所向，北大开女禁后，高校男女同校很快在全国推广开来，各大学纷纷仿行而蔚成风气。蔡元培因此被誉为现代中国妇女教育的“褓父”。
