可能性として、「数学は他の科目と異なり、問題が解けたか解けてないか自分でわかる」というのが大きいかもしれませんね。自分の出来・不出来を自覚し続けなければならない科目ですから、他の科目よりも「できる」ことの主観的意味が膨らみやすいというか。

これに加えて、学問としての数学の話に触れるときには、ほぼほぼ必ず「天才数学者〇〇の逸話」みたいなパッケージングを目にすることになるわけですよね。そしたら、自分の体感としても、社会的な扱いとしても、「数学ができるのは才能があるからだ」と思ってしまいやすいというか。そういう構図・配置が出来上がっているように思います。

ただ実際のところ、少なくとも高校までの数学については、「才能」というよりは問題演習量比例みたいなところがありますよね。とにかく中学〜高校の教科書に載っている問題を、機械的な暗記でもなんでもいいので、何周も何周もして全部解けるようになること。次にチャート式みたいな、1000題単位で色んな典型問題が載っている問題集を２〜３周して、何も考えなくても全部解けるようになること。要するに、つべこべ言わず2000時間くらい基礎の勉強をすること。

それをしないことには成績が伸びないし、逆にそこまでやり終えたなら、数学で困ることはなくなる。もっと高いレベルを目指すとしても、やりこむべき問題が100〜1000問増えるだけで、まったくもって延長上なわけですよね。

そういうふうに考えると、少なくとも高校までの数学って、才能ってよりは根性論チックというか、鍛錬あるのみ系の科目であるように思います。これは、英文法の知識がズタボロでも、言語的なカンと試験的なカンのみで英検準一級レベルくらいまではどうにかなってしまう英語とは、かなり対照的だなと思います。裏を返せば、英語のほうがよっぽど「才能（ヤマ勘？）だけでもある程度どうにかなってしまう科目」なんだと思います。