字次耕，号稼堂，潘柽章弟，平望镇溪港人。幼年依兄柽章生活，师事徐枋、顾炎武，博通经史、历算、音学。往来燕赵，与名人雅士相从游。清康熙十七年（1678年），以布衣中博学鸿辞科，授翰林院检讨参与纂修《明史》，主纂《食货志》兼订纪传。不久，充任日讲起居注官，纂修《实录》，《圣训》，又任会试考官。名益盛忌者益众，终以浮躁降职。遂南归遍游天台、雁荡、武夷、黄山诸名山，各以诗记。康熙四十二年，康熙皇帝赐复原官，耒坚辞不受。晚年，研究声韵、易象，著《类音》，《遂初堂诗集·文集·别集》，还刻顾炎武所著《日知录》及遗书数种传世。