牛皋十三四岁的时候，牛皋的父亲就得了重病，到处求医问药不见好转，古人都迷信，于是请大仙、道士、算命先生测算后，均说是需要牛皋娶妻来冲喜即可康复。
牛皋就在父母的安排下娶了媳妇，第二年就有了孩子，十四岁的牛皋就成了牛通的父亲，牛皋的父亲也暂时恢复了健康状态。
没过几个月，牛皋的父亲的病症却是再度复发，还是因病去世了，生活的重担就全压在了牛皋的身上。
牛皋每天忙完地里的农活后，就到山里砍柴到集市上卖。由于他天生神力，挑得动一两千斤的柴火，每次打完柴，他都能比常人多几倍的收入。
牛皋也经常去山中打猎，用自己的神箭术给家里再增加一份收入。在他的辛勤和努力之下，家里的生活也越来越好。
可惜好景不长，牛皋有一次在集镇上发卖猎物时，却是遇到有官府亲属背景的一泼皮懒汉，带领着十几个狐朋狗友，酒后仗势欺凌牛皋，被牛皋一不小心推倒在地，好巧不巧，石头磕到了头部，竟然当场一命呜呼！
牛皋不想就这么稀里糊涂丢了自己的性命，就先后逃到附近的尧山（今平顶山市石人山景区，有多部知名影视剧到此处取外景）和天龙山上落草为寇，逐渐聚敛了一百多人，都是被逼无奈、官逼民反的乡邻，逐渐成了当地有名的山匪路霸，却只是挑那些为富不仁不义之徒杀富济贫，从不欺凌祸害贫苦百姓，也从不杀官造反！被称为“义匪”！
当地官府也是无力剿匪，欺上瞒下，睁一只眼闭一只眼，倒是相安无事！
没过多久，北宋都城东京城第一次被金军围城，牛皋就竖起“替天行道”的大旗招纳抗金义士。由于牛皋此时武艺高强，精通射箭之术又胆大心细颇有谋略，四方志士纷纷来投。
北宋末年，金军经常入侵中原，劫掠中原的人口和生活物品。
在国家危难之际，牛皋同意被北宋官府招安，加入了抗金队伍，为此北宋官府还统一行文发过通告，作为招安的表率予以表彰，以便吸收更多的不良土匪投诚抵抗金军入侵。
牛皋率领部众浴血奋战了几个月，打跑了金军之后，牛皋被封为管理五百骑军的都统制职位，谁料冤家路窄，又遇到了那误伤致死的泼皮家属成为了自己的顶头上司，处处受到那狗官的欺凌和穿小鞋，一怒之下就杀了那狗官，带领了原来尧山一起投诚的一些部众，一起逃亡到了这牛头山上，又剿灭了一些附近的不良土匪，成为了本地最大的一股山匪，自号“公道大王”！
牛皋虽然是又再次做回了土匪，却依然是约束好自己的部众，专挑那些为富不仁的不良富户，杀富济贫，筹集军资。但决不欺压良善百姓，真正是盗亦有道，替天行道，远比水浒传里的水泊梁山好汉要仁义的多！
所以“公道大王”在鹤山一带当真是声名赫赫，鼎鼎有名！