Вкратце - вкусы такие. Сложно вот так в двух словах копнуть в собственную психологию и нарыть там корни.
Предполагаю, это связано с тем, что в мужчинах я ценю в первую очередь такие качества, как ум, забота, надёжность, чувство юмора, сила, способность защитить, выносливость, терпение, четкость итп - словом, все те качества, которые собираются в понятие мужественность.
А тут я вижу парнишку, который больше похож на девушку, соответственно, интуитивно мне кажется, что ничего этого он в себе не может иметь. А будет, напротив, демонстрировать больше женских, мягких, "слабых" черт, жеманности и капризов.
В этом ключе я, видимо, сексист.