ちょうど解説しているサイトがあります。

https://www.windytan.com/2012/11/the-sound-of-dialup-pictured.html

図を拡大すると結構たくさんの情報をやり取りしているようです。

• 「ピーピロピロ」で自己紹介して今後の通信に使える方式を情報交換して決定し

• 「ロロ」でお互い送れる信号の周波数の高さで減衰などの聴き比べを行って上手く通信できそうな速度を決定し

• 「ザーザー」でお互いにノイズを送りあってその状況で「１」という信号を送り合う事でイコライザを調整して受信信号を最適化する

という感じのようです。電気のことは詳しくありませんがkm単位で遠い相手と通信する以上、その経路では様々なノイズや減衰などがありえるので接続の度に注意深く調整をしていたようです。

ダイヤルアップという名前の通り電話回線の上でこの通信を行っていたのですが、電話回線に流しているうるさい通信をそのままユーザーの耳に入れる必然性は全くありません。これに関して諸説あって、最初期のモデムは電話回線直結ではなく電話の受話器に向かってスピーカーとマイクを向けていたので通信中の音が聞こえるのが当たり前過ぎて逆に音を出さないというアイデアがなかったとか、単純に不具合が多かったので検証に便利だったとか、当時の電話網のユーザーはほぼ人間だったので間違えて人間のいる番号に掛けてしまった場合にはザーザー音の代わりに向こうの人の肉声が聞けたので発信側がすぐに間違いに気づけて便利だった、とか言われています。