想立我的庶子当太子

我有一个庶子，他小的时候平平淡淡不争宠，我也很少培养他，他的母亲不受宠在他很小的时候就撒手人寰。但是他长大了之后特别帅，能力卓群，我的好东西都赏给他了，好看的魅力高的妃子我也给他了，现在相立他当太子，继承我的春秋伟业。

可是每次都让我立我的丑八怪蠢过天的嫡子为太子，我把他派去封地了，天意弄人又让我立他儿子，我该怎么办