因县内产灵寿木而得其名。《史记·赵世家》索隐引《世本》称:“中山武公居顾,桓公徙灵寿。”今县因古灵寿为名。灵寿木,枝条上有明显的枝节,很像竹子,但比竹子的结节光滑,木质很是坚硬。
《山海经》载,灵寿木为远古一种奇树,似木类竹,长有枝节,长不过八九尺,围三四寸,顶端自曲,自然合杖制,不用加工即可做杖之用。老者以此杖助步,竟能敏思捷行(灵)、祛病延寿(寿),因名"灵寿木"。