1991年底，他开始在一些英语培训学校兼课，拼命教书赚钱。一天教6个小时可赚60元，两天就相当于刚开始在北大教课时一个月的工资。次年他就辞掉了北大的教职，专职为别人补习英语。“当时目标简单，就想教书赚钱，然后出国读书。”他说。但教着教着，他发现了一个重要的商机，那就是准备出国的人越来越多，他们都有补习英语的需求。
1993年10月，俞敏洪创办了新东方。但是，那时的学校员工只有4个人，而学生也只有20来个人。然而新东方很快就发展起来了，它收费很低，且处于高校的聚集地北京市海淀区，周围有北大、清华、人大、北师大等数十所高校，地理位置得天独厚，再加上他有声有色、带有激情的讲课，吸引了很多学生的到来。
1994年和1995年，新东方发展特别快，开始在留学梦群体中树立了权威。1995年，从全国各地走进“新东方”的学员达到了1万多人，俞敏洪编写的《GRE词汇精选》被大学生们称为出国留学考试的红宝书，几乎人手一册，俞敏洪获得了他从未有过的成功。随着新东方的迅速发展，俞敏洪开始聘请大量教师和高级管理人员。在新东方，一名普通教师的年薪也能达到10万以上。2000年，新东方仅教学收入就达9000万元。