Norris nació en Ryan, Oklahoma el 10 de marzo de 1940,​ hijo de Ray Norris y de Wilma Scarberry. Norris ha declarado que tiene raíces irlandesas y cheroquis. Su nombre lo tiene en honor al ministro de su padre, Carlos Berry. Tiene dos hermanos más jóvenes, Wieland (1943-1970; muerto en Vietnam) y Aaron (1951-, productor de Hollywood). Cuando Norris tenía dieciséis años, sus padres se divorciaron; se trasladó más tarde con su madre y hermanos a Prairie Village, Kansas, y luego a Torrance, California.