据《通志》载：“柴氏，姜姓。齐文公子高之后。高氏傒，以王父字为氏。十世孙高柴，仲尼弟子。柴孙举，又以王父字为柴氏。汉有棘蒲侯柴武。裔孙守礼。五代周太子无子，以守礼子荣为嗣，是为周世宗。”《姓考》载：“齐大夫高张食采于柴，因氏。”又《千家姓》载：“平阳郡。”焦作柴氏为明初平阳郡洪洞柴家垣（庄）移民。

源于鲜卑族，出自东汉时期鲜卑吐谷浑部，属于汉化改姓为氏。东汉初期的鲜卑吐谷浑部，汉史中亦称阿柴虏、赀虏。