月夜野:専門家の方の回答が付いたらそちらを参考にして下さい。
*
オランダ人が日本に来るようになった頃にはオランダを含めヨーロッパで絵画がたくさん描かれていたので肖像画を見れば分かると思います。
絵に描かれているのは一部の人だと思うかもしれませんが、それをいうなら日本に来ていたのも一部の人です。
・
しかも、ほとんどの日本人はオランダ人を見る機会など無かったはずですから、たまたま見掛けたオランダ人が赤毛で青い瞳だったからそう呼ばれるようになったのではないでしょうか。
*
また最初はオランダ人を指していたとしても、後に西洋人を指す言葉になったようなので実際に多かったかどうかはあまり関係ないと思います。