吴芮属吴征生这一支，父亲自楚迁居庐山。秦朝时，吴芮以才能出众，当上了番阳(今江西鄱阳东)县令。他为政深得民心，百姓尊为“番君”。秦末农民起义。吴芮纵观天下大势，知秦必亡，遂率领当地越人起兵响应。后转战西北，与项羽等入关破秦，立下汗马功劳，项羽封他做衡山王。汉朝一统天下，分封功臣，吴芮被封为长沙王，建都临湘(今湖南长沙市)，食邑3千户。自此，吴姓宗族中吴芮一支又自江西迁到湖南。可惜命不长，吴芮做长沙王还不到一年，就于当年6月过早地去世，葬在临湘，谥号为“文王”(传见班固《后汉书》卷三十四)。

《广东通志》说，吴霸后裔兴旺，五岭以南，特别是广东一带的吴氏大部分是吴霸的后代。