耿定向深知张居正的态度，要保护李贽，就建议李贽到红安讲学。所以大家只知道李贽到红安，却不知道他是在什么样的情况下去的。李贽是张居正在官场树立的另外一个形象。他后来并没有在官场上发展，因为按照张居正严厉的做事风格，如果给他定个渎职罪会让他下不来台。万历十二年（公元1584年），此时张居正已去世两年，没有了张居正这个后台，耿定向跟李贽翻脸了。但他的二弟耿定理跟李贽关系非常好，两人的学问相通，由于此时张居正正在被清算，耿定向作为朝廷的大官，认为自己不清算李贽一把，就脱不了干系，于是就把李贽赶走了。俗话说“请神容易送神难”，文人也不能太得罪，他手上有一支笔，到今天李贽留下来的著作中多篇文章都是在骂耿定向。大学教授们在研究时说耿定向很官僚，有很多问题，其依据就是因为李贽骂了他。
李贽离开已经单独建县的红安，到了麻城。他初到麻城没有地方住，最终在离麻城县城三十里地的芝佛庵找了个安身之地。李贽在麻城讲学，在鄂东、湖北乃至全国的影响都非常大。因为李贽是一个指标性的人物，是十六世纪继王阳明之后中国文化界的思想领袖，而这个思想领袖就住在麻城。当时的“公安三袁”是大文豪，他们分别到麻城来看他，并拜他为师。类似的很多全国这种指标性的人物都纷纷到麻城来看他。这样一来，以鄂东麻城为中心的理学、心学的研究被推上了一个高峰。如果说在唐宋时期，鄂东人文精神的培养主要在文学方面，那么明清时自从李贽来了之后，这里的整个人文精神便开始侧重在哲学上了。这样的风气一直延续到民国，鄂东一直是中国的思想库。就这一点来说，李贽和耿氏三兄弟功不可没。李贽的几部主要著作《焚书》《续焚书》《藏书》《续藏书》，全部是在麻城整理出来的，就像苏东坡最重要的作品是在黄州写出来的一样，特别是继王阳明的“知行合一”学说之后，他提出的“童心说”，对当时中国的思想界产生了极大的冲击力。他说，人之初是婴儿，心之初是童心，童心的核心观点就是一切都是本体，都是透明的，一个人只有保持童心说真话，才能保持良心，绝不相信一个假话连篇的人能够做大事，能够为天地立心，为生命立命。这是李贽针对当时官场假话连篇、虚伪横行于世这一现象的犀利批判。“童心说”今天读来依然令人感到振聋发聩。在这个阶段，整个鄂东的讲学逐步从文学转到哲学，开始由客家文化转化为本土文化与客家文化的互动。