堀田隆一:人類言語の本質に関わる，とても興味深い質問だと思います．私自身も考えながらの暫定的な回答にとどまりますが，以下に述べてみます．
まず事実の確認ですが「言語によって音素の数が異なる」はその通りです．各言語の音素の一覧は，採用する音韻理論によっても若干異なりますが，例えば日本語は24音素（5母音音素＋16子音音素＋3特殊音素）程度と少なめですが，英語は44音素（20母音音素＋24子音音素）程度と多めです．
一方，古今東西の言語を見渡すと，私たちの想像を遙かに超える言語があることがわかります．東パプアニューギニアで話される Rotokas
は11音素（5母音音素＋6子音音素）しかもっていません．世界最少の音素数とされ，とりわけ子音の少なさについては1985年のギネスブックに登録されているほどです．
逆に，ボツワナで話される ǃKhong
は112音素あるといわれます．子音音素だけで考えると，最多を誇るのはウビフ語で，80～85個をもつとされます．様々な言語を調べてみると，音素数に関して想像を絶する「猛者」がいるようです（こちらのページが参考になります）．
仮に上記の通りに最少を11個，最多を112個とするならば，言語によってばらつきが大きいことは紛れもない事実のように思われます．最多値については，人間が調音・聴解し分けることのできる能力の限界，すなわち生理的・認知的な限界に迫っているのではないかと疑われます．一方，最少値については，これより少なくすると音素の組み合わせ上，同音異義語があまりに増えてしまい，コミュニケーション上の障害が多発するなどといったように，構造・実用の両面において不都合が生じるのかもしれません．
もし言語においてこれらの諸要因のトレードオフを前提とするならば，上記の最少値や最多値を示す言語は全体として外れ値というべきで，大多数の言語の音素数は，平均の帯に納まるのではないかと予想されます．日本語の24音素と英語の44音素は，この2言語のみを比較すれば差があるようには見えますが，平均の帯のなかでの比較的下の方と上の方，と見てもよいのかもしれません．
私の専門は歴史言語学ですので，個別の言語の歴史的な音韻変化という問題にも言及しておきたいと思います．日本語にせよ英語にせよ，音素の一覧は歴史を通じて変化してきました．音素数が倍増したり半減したりという劇的な変化こそ生じていませんが，2つの音素が1つに融合してしまったり，あるいは逆に1つの音素が2つに分裂してしまったりということは頻繁に起こってきています．その引き金は，音声学的な内的要因であることもあれば，言語接触を含む外的要因であることもあります．特に後者は，場合によっては該当言語の音素一覧に激しい簡略化や複雑化などを引き起こすかもしれません．
このように音素一覧が時間とともに多少なりとも変動してきたという通時的事実をも考慮に入れると，質問の「言語によって音素の数が大きく異なる」という共時的事実の解釈の仕方にも奥行きが出てくるのではないかと思います．回答者によるこちらの記事群も参考にどうぞ．