三味书屋塾师寿镜吾次子寿洙邻曾解释说：“三味是以三种味道来形象地比喻读诗书、诸子百家等古籍的滋味。幼时听父兄言，读经味如稻粱，读史味如肴馔，读诸子百家味如醯醢(xīhǎi）（醢系肉或鱼剁的酱）。但此典出于何处，已难查找。”后来有探究到宋代李淑《邯郸书目》所言：“诗书味之太羹，史为折俎，子为醯醢，是为三味。”，认为“三味”可能出自与此。鲁迅读书的“三味书屋”两旁屋柱上有一副抱对，上书：“至乐无声唯孝悌，太羹有味是诗书”，可见“三味书屋”中的“三味”应该用的就是这个意思。但仍有不少人对此持质疑态度：像寿镜吾这样一位饱学秀才——“本城中极方正、质朴、博学的人”（见鲁迅《从百草园到三味书屋》一文），怎么会用“肴馔”、“肉酱”之类来形容读书？，如果是饭馆或酒馆的匾还说得过去，用作书屋之匾，这解释似乎牵强了。
同时，寿镜吾之孙寿宇先生认为：“这样的解释淡化了祖先对清王朝的反叛精神。”他在所著文章中讲道：“我不止一次地从我祖父寿镜吾的口中，听到解释三味书屋的含义。祖父对‘三味书屋’含义的解释是‘布衣暖，菜根香，诗书滋味长’。”，“布衣”就是老百姓，“布衣暖”就是甘当老百姓，不去当官做老爷；“菜根香”就是满足于粗茶淡饭，不羡慕、不向往于山珍海味的享受；“诗书滋味长”就是认真体会诗书的深奥内容，从而获得深长的滋味。“这第一点‘布衣暖’非常重要，这是我祖先峰岚公、韵樵公的思想核心，产业的失败，使他们看清了清王朝的腐朽本质，他们认为在祸国殃民的清王朝当官就是为虎作伥，是害人害己。于是，把三味书屋的办学方向也作为子孙的人生指南，不许自己的子孙去应考做官，要甘于布衣暖，菜根香，品尝诗书的滋味。”寿宇说，寿镜吾生前曾对他说：“这三味的含义不能对外人说，也不能见诸文字，这是祖先韵樵公定的一个家规，因为‘三味’精神有明显的反清倾向，一旦传出去可能要招来杀身之祸。”
此外，有人认为是借用了佛教语言，“三味”即“三昧”，是梵文samadhi的音译，原指诵读佛经、领悟经义的三重境界：一为“定”，二为“正受”，三为“等持”，意思是说，诵经之前要止息杂念，做到神思安定专注；领悟经义态度必须端正，具有百般恭敬的虔诚；学习过程中要专心致志，保持始终如一的精神。随着佛教思想与汉民族文化的融合，“三昧”逐渐引申为对事物本质精神意义的概括，有“个中三昧”，“得其三昧”等说法，用来比喻领悟学问的精确与深刻。
也有人认为是《三国志·董遇传》中的三余：“冬者岁之余，夜者日之余，阴雨者时之余也。”后来改成了“三味”，也有考证“三余”为“公余、饭余、茶余”的，但此种假说也质疑不断。
