曾祖父少年时帮地主放牛糊口，青年时因无田地可耕，又不愿做地主家长工，所以整天除了练武之外，就游手好闲混日子，但从不偷抢。十几岁就行走江湖，因天生异禀，加上行侠仗义，自然结识到一些江湖奇人，在武功上又得到他们的不少指点，这对他以后的人生起到决定性的作用。

　　仅管他从不仗力欺人，方圆四周的人还是怕惹他，对他敬而远之。过去土匪活动猖獗，且流行“抢亲”，因有他在'护村'，倒也太平。所以有时他又是村里人的精神支柱。于是就有很多趣事发生，例如，某夜忽然碾坊的一千多斤重碾磙子“飞”到大树杈上去了，或者飞到池塘里去了，别人是搬不下来或捞不起来的。妇女们只好去求他帮忙，他当然很乐意，但有条件，就是要让他吃饱才有力气。女人们都知道他的饭量，一顿要吃一脸盆饭！没关系，大家齐供伙食。当然这些事主要发生在那些有钱的大户人家。大家心里都明镜似的，这是潘老大的谋生方式，也不点破。反正有几千户人家，养着一个“闲人”也无所谓。何况他黑白两道通吃，弄不好还是地方的保护神呢。后来有个不成文的规定，谁家遇到像这类为难之事，或者有天大的麻烦，大家都自动带几升米去请他出面，几乎没有办不好的事。