中国古代算书最早出现于何时，需要经考古不断明确。现经发现的最早算书是1983年12月在湖北江陵张家山出土的一本抄于西汉初年约公元前2世纪的竹简算书——《算数书》。既然是抄本，原本的成书时间应该更早，大约在战国时期。这是一部比较完整的数学专著，全书采用问题集形式，共有60多个小标题，90多个题目，包括整数和分数的四则运算、比例问题、面积和体积问题等。将算题归类并注以标题的做法，反映了著述者对数学知识进行系统整理的尝试，也可以说是理论建设的开始。
这一理论建设的实际进程后来受到数学教育的影响。前面谈到中国数学教育素有传统，早在西周时期，数学就作为“六艺”（礼、乐、射、御、书、数）之一被列入教育的内容。据《礼记·内则》篇记载，按周朝的制度是“六年（即6岁）教之数与方名……九年教之数目，十年出就外傅（教师），居宿于外，学书计”。《汉书·食货志》也说：“八岁入小学，学六甲、五方、书计之事。”说明数学在当时教育中已经受到相当的重视。为了加强对贵族子弟的教育，国家还设有专门官员“保氏”，“以养国子（官家子弟）以道”。显然，这样的教育不是随随便便进行的，它不仅要求有教材，还要求教材具有针对性和可接受性。因此，所教的“六艺”，即六门功课都制订了细目。其中数学的细目有九个，称为九数。九数具体包括些什么内容，《周礼》没有记载，但据东汉末经学家们注解，九数包括：方田、粟米、差分、少广、商功、均输、方程、赢不足、旁要等。这些细目与后来《九章算术》的要目相差无几，这说明《九章算术》与早期数学教育的内容存在着源流关系。事实上，后来刘徽为《九章算术》作序时，特意强调了“周公制礼而有九数，九数之流则《九章》是矣。”九章既是周礼九数的演变，自然也就证明了数学教育对中国数学理论建设的重要影响。从“九数”到《九章算术》期间还曾出现过一些算书，只是书缺有间，史料不多，有关的情况很难详考。据《汉书·艺文志》术数类著录，有《许商算术》26卷和《杜忠算术》16卷。这两部书约成书于公元前1世纪后半期，可惜书均已失传，难详其情。但从“算术”这一专门名称的出现，说明关于推算之术已受关注，并被列入教育计划。
公元前成书的算书还有《周髀算经》。这部书写成大约是公元前100年前后，或在更晚的年代。它原是宣传盖天说的天文学书，但天文学离不开数学，所以书中涉及不少数学内容。其中包括复杂分数运算和勾股定理的应用。唐朝选定数学课本时，也把它作为算书列入“算经十书”之一，另署名为《周髀算经》。
总之，从数学知识的早期积累到中国数学系统理论的奠定，期间经过一个逐步完善的过程。促使这一过程发展的因素，除了数学知识的进一步充实之外，数学教育的需要起了很大作用。数学是当时唯一被列入教育内容的自然科学。尽管从整个社会来说，数学教育的普及面是不广的，但作为中国人所擅长的科目，受到历代的重视也是事实。
数学被作为六艺之一列入教育内容，说明当时把数学看作一门技艺，这种技艺主要体现在算法上，因此中国数学在进行理论建设的时候，把算法作为考虑问题的基本出发点，力图建立以题解为中心的算法体系。
