源于蒙古族，属于汉化改姓为氏。据史籍《清朝通志·氏族略·附载蒙古八旗姓》记载： 明朝时期蒙古族都尔哈氏，世居喀喇沁(今内蒙古喀喇沁旗)。元末明初，迁居长葛郡(今河南许昌长葛)，世代相传至今，族人众多。”哈永森，就是原蒙古族都尔哈氏族人的后代。
