吴与弼的先祖吴兢为唐朝汴州人，唐睿宗时为朝廷议大夫,吴兢的七世孙吴宣，迁居抚州,吴与弼的高祖吴景南，擅长诗赋，元代理学大儒吴澄曾为其诗集作序,曾祖吴审，“博学、诗藻清丽”,祖父吴泾，迁居崇仁,父亲吴溥，官到国子监司业，著有《古崖集》,出生于这样的家庭，对吴与弼的教育成长有着重要的影响,