元中叶之后，中国数学急剧衰落，元末的几部著作只是对乘除捷算法有所改进。明永乐年间(公元1403—1425年)修《永乐大典》，将前此的中国数学著作按起源、各种数学方法及音义、纂类等分类抄录。汉唐宋元数学著作在明代大都散佚，清中叶修《四库全书》，中国古算书多赖此重新面世。

明代八股取士，思想禁锢严重，学者们很少留心数学。顾应祥、唐顺之是明代数学大家，全然不懂天元术和增乘开方法。景泰元年(公元1450年)吴敬撰《九章算法比类大全》十卷，收集历代应用题，亦抛弃了增乘开方法和天元术。元明之后，随着筹算捷算法的完备，珠算术产生并得到普及，明朝出现了一批有关珠算的著作。其最著者为程大位的《算法统宗》(公元1592年)，凡17卷，595问。此书适应商业发展的需要，以珠算为主要计算工具，并载有珠算开方法。此书在以后二、三百年问被多次翻刻、改编，流传之广是罕见的。程大位，字汝思，号渠宾，休宁(今黄山市屯溪区)人，曾在长江中下游地区经商，注意收集算经和数学问题，晚年撰成此书。

16世纪末，利玛窦等欧洲传教士来华，与徐光启等一起翻译《几何原本》等著作。后来，传教士们又引入了三角学、对数等西方初等数学，从此，中国数学开始了中西会通的阶段。清朝260余年，留下数学著作极多，都在不同程度上融会中西数学。

清宣城梅文鼎(公元1633—1721年)潜心于中西数学研究，著述甚多，其孙梅瑴成将他的著作编辑成《梅氏丛书辑要》60卷，其中数学著作13种40卷，内容遍及当时中国数学的各个门类，对清朝数学影响极大。

康熙皇帝爱好数学，他御定由梅瑴成、何国宗、明安图、陈厚耀等编纂的《数理精蕴》53卷，全面系统地介绍了当时传入的西方数学知识。上编立纲明体，为数理本源、几何原本、算术原本等五卷；下编分条致用，为实用数学和借根方比例，以及对数、三角函数等40卷，表4种8卷，同样对清朝数学产生了巨大影响。此书于雍正元年(公元1723年)印行。

1723年，雍正帝即位，认为传教士不利于自己的统治，除少数供职于钦天监者外，将传教士悉数赶到澳门。此后，西学的传入遂告一段落，中国数学家一方面消化前此传入的数学知识，一方面忙于整理中国古典数学著作。

1773年乾隆帝决定修《四库全书》，戴震(公元1724—1777年)从《永乐大典》中辑出《周髀算经》、《九章算术》、《海岛算经》、《孙子算经》、《五曹算经》、《五经算术》以及赝本《夏侯阳算经》等七部汉唐算经，并加校勘，《数书九章》、《测圆海镜》、《四元玉鉴》等久佚的宋元算书也陆续辑出或发现，从此掀起了乾嘉时期(公元1736—1820年)研究整理中国古典数学的热潮。古书注释以李潢(？—公元1812年)《九章算术细草图说》、罗士琳(公元1789—1853年)《四元玉鉴细草》影响较大。而开创性的研究则以焦循(公元1763—1820年)《里堂学算记》、汪莱(公元1768—1813年)《衡斋算学》、李锐(公元1768—1817年)《李氏算学遗书》最为有名。

18世纪初，法人杜德美(公元1668—1720年)传入牛顿、格雷果里创造的三个三角函数的级数展开式。后来，三角函数和对数函数展开式的研究成为中国数学家的重要课题。明安图(17世纪末至18世纪60年代)、董祐诚(公元1791—1823年)、项名达(公元1789—1850年)、戴煦(公元1805—1860年)等都作出了杰出贡献。李善兰(公元1811—1882年)的《方圆阐幽》、《弧矢启秘》、《对数探源》(公元1845年)在三角函数与对数函数的研究上取得了更大的成就。他创造的尖锥术提出了几个相当于定积分的公式，在接触西方微积分思想之前独立地接近了微积分学。李善兰，字壬叔，号秋纫，浙江海宁人。幼年即嗜好数学，30余岁即获创造性成果。

1840年，列强用大炮轰开了清朝闭关自守的大门，中国逐渐沦为半封建半殖民地社会。西方数学以前所未有的规模大量传入。1852年李善兰到上海，与英国传教士伟烈亚力(公元1815—1887年)合译《几何原本》后九卷、《代数学》13卷、《代微积拾级》18卷等许多西方数学著作，后者是中国第一部微积分学译著。后来，华衡芳(公元1833—1902年)与英人傅兰雅合译了《代数术》、《微积溯源》、《三角数理》、《决疑数学》等书，后者是中国第一部概率论译著。他们创造的许多术语至今还在使用。李善兰还融会中西，著述颇丰。《椭圆正术解》等四种是关于圆锥曲线的研究，《级数回求》等是关于幂级数的研究，而《垛积比类》则在朱世杰基础上系统解决了高阶等差级数求和问题，并提出了著名的李善兰恒等式。1872年撰《考数根法》，证明了费尔马小定理，提出了素数判定法则。他的著作汇集为《则古昔斋算学》，包括14种科学著作。李善兰是开展现代数学研究的第一位中国数学家。然而，总的说来，时处清末，经济衰落，社会动荡，有志于现代数学的人没有与现代工程技术结合的条件，不可能有大量可观的成果，而士大夫阶层更多的人抱有西学为我中华所固有的偏见，不求甚解。此后不久，尤其是维新变法和新文化运动之后，中国古代数学传统基本中断，中国数学研究纳入了统一的现代数学。20世纪是中国数学复兴的世纪，人们期待，在下个世纪中国将重新取得数学大国的地位。