刘卫东对记者说，根据风化程度，他判定石像分前后三期。第一期修建于史前文明，不好断代；第二批修建于4000年前，舜帝时代；第三批则建于汉代至元代期间。
刘卫东认为，前两期石像产生的历史时期比较接近，雕刻手法具有极强的汉以前扁平刻的特点。与目前发现的汉以前石刻不同的是，这些石像的头大多是尖的。由于年代久远，许多石像已被风化如太湖石。
至于第三期石像，无论从风化程度还是雕刻方法看，与前两期有着明显的不同。
为祭祀舜帝营造的祭坛
有专家认为，石像是墓葬，刘卫东并不同意这种说法。“如果是墓葬，应该埋得很深，不可能只在地下两米。”刘卫东说。他认为，鬼崽岭是一座人工堆砌的祭坛。石像最早有序地排列于祭坛之上，日久天长，周围的土不断被吹来覆盖在石像上，所以才造成石像既有地上、又有地下的局面。
刘卫东认为，第二期石像可能是为祭祀舜帝所造。
距鬼崽岭35公里处就是著名的九疑山舜帝陵。据司马迁《五帝本纪》记载：“舜南巡狩，崩于苍梧之野，葬于江南九疑”。
鬼崽岭山前两侧曾等距离坐落着白象庙和禹王庙，远处还有娥皇、女英山。刘卫东告诉记者，白象庙中祭拜的白象公，就是舜的弟弟象。《五帝本纪》中有这样的记载：“舜父瞽叟目盲，舜母死，瞽叟娶妻生象。”传说舜死后，象被舜的孝德所感动，曾为舜守灵数年。而娥皇、女英则是舜的两位妻子。鬼崽岭周围祭拜的，都是和舜帝有关的人。
但这两座庙已于“文革”期间遭到毁坏，如今只能看到一些在田野里的建筑石墩。
此外，黄福先告诉记者，陈姓是附近村庄中的大姓，相传陈姓是舜的后裔，他们还有非常完备的族谱。种种因素表明，鬼崽岭很可能是为了祭祀舜帝而人工堆砌的祭台，石像群最初就是摆在祭台上的。
刘卫东大胆地提出，为祭祀舜而营造的石像很可能是第二期石像，即雕刻于4000年前的石像。
至于第一批石像的营造年代则应该更早。刘卫东认为，这处祭祀场地很可能在舜去世前就存在了。舜在附近去世，使得这个原本成型的祭台又赋予了新的含义。但由于文献的缺失，历史出现断层，最初在此处营建祭台的年代和用途，目前很难说清。
第三期石像为替罪石人
刘卫东认为前两期的石像主要用于祭祀，而第三期石像则另有用途。
“曾经有一位广西的文化局长对我说，这些石像是替罪石人，广西山里有很多。”刘卫东解释说，古时候凡遇到家人生病遭灾，人们往往喜欢雕一个石人代他受罪，这就是所谓的替罪石人。
在很多风化程度较轻的石像上，还能看到“舍”字。刘卫东认为，这些刻着“舍”字的石像很有可能是修建于唐代前后的替罪石人。这也就可以解释，为什么石像中还有孕妇、儿童的形象。“任何人都可能生病、遭灾啊！”刘卫东说。
从表面形态上，记者也能看出第三批石人与前两批的不同。这些石人虽然雕工比较粗糙，但大都眉目清晰，身份和年龄特征也比较明显，很多石人背后还刻着“舍”字。