钱仓风景秀丽，自古是南雁荡山风景区的一部分，当地凤山及其西边的青华山有很多奇石与岩洞，冬温夏凉。史伯璿隐居在青华山读书著书，研究理学，诗文集为《牖岩丛稿》，后来散落，后人重新编辑，取名为《青华集》。

　　他在青华山中过着清苦的日子，读书著书，带些学生，还要服侍白发苍苍的老母亲。朋友周觉(字天民)问他：先生读圣贤书，又对当代事务很内行，却在这里隐居养亲，不追求名誉和地位，难道坚持这样，是为了沽名钓誉？还是以独善其身为乐，向来就没有求取功名、发财致富的志向？然而终身局限在一屋之内，没有到各地游览，见多识广，恐怕你的见识有限，跟不上你从书本上等处学来的学识，怎么办？

　　史伯璿回答：读书人都有自己的志向，不可强求一律。我年纪已大，家中又有老母，对功名、做官不再抱侥幸心理。你现在刚好壮年，国家又逢盛世，应当到全国各地走走……哪一天你从外面回来了，我还没有死，我就向你请教，用来丰富我的所见所闻，不是很好吗？

　　他明确提出了自己读书是为了修身，不是为了做官，坚决不出山。

　　据史伯璿《四书管窥·大学管窥》中“先师郑冰壶”，他师从郑冰壶。有人说冰壶就是林景熙好友郑朴翁孙子郑如圭，后者对《尚书》等很有研究，也住在钱仓。他的师友还有鳌江蓝田人陈刚、昆阳人章仕尧，黄宗羲《宋元学案》把他们三人列入《木钟学案》中。他的学生有黄岩人、明朝兵部右侍郎徐宗实，金华人李一中，本县的“横阳先生”徐兴祖(曾任温州府学训导)、陶公任、章廷瑞，徐宗实弟子有大学士黄淮，徐兴祖弟子有翰林院庶吉士张文选，黄张两人作为史氏再传弟子，用自己从老师那里学来的学问施政，在明朝政坛上发挥了巨大作用。当时平阳已升为州，知州岳祖义非常看重史伯璿的学问和品格，也曾亲自登门拜访，向他请教赋役、盐法等问题。