私は法律の専門家ではないので回答者としては適切ではないと思いますので、事例ベースで説明したいと思います。

以下は、高木浩光氏の講演資料から中日新聞の記事の引用（孫引き）です。

中日新聞 2002年7月4日 相次ぐ個人情報流出 “お寒い”企業の危機管理 警視庁 『道に置くのと同じ』より引用

– (略)ハッカー被害との見方も出たが、背景を探ると多くは「サーバーの設定ミス」（専門家）などで、知識や注意不足が原因。情報技術（ＩＴ）社会のお寒い情報セキュリティー事情が浮かび上がる。

(略)

道端に名簿を置いていたのと同じ－。原哲也警視庁ハイテク犯罪対策総合センター所長の説明は明快だ。一連の流出情報はサーバーの公開部分に置かれ、誰でも見られた。最低限の防御もしていないケースが多く、企業の相談で「法的に不正アクセスと判断できるものはない」という。

https://www2.iisec.ac.jp/images/event/slide_060614-04.pdf

この見解が現在でも有効なのであれば、ディレクトリリスティングから偶然ダウンロードしたのは問題ないことになります。

また、IPA等が連名で公開している「情報セキュリティ早期警戒パートナーシップガイドライン-2024年版」には、「不正アクセス禁止法に抵触しないと推察される行為の例」として以下が紹介されています。

3) アクセス制御による制限を免れる目的ではなく、通常の自由なページ閲覧を目的として、日付やページ番号等を表すと推察される URL 中の数字列を、別の数字に差し替えてアクセスしてみたところ、社会通念上、本来は利用できてはならないはずと推定される結果が、偶発的に起きてしまった場合。（ただし、積極的に多数の数字列を変えて試す行為等は、制限を免れる目的とみなされる可能性があります。）

質問いただいた内容よりも、「数字列を、別の数字に差し替えてアクセスしてみた」方が恣意性が高いような気はしますが、ガイドラインでも「抵触しないと推察される行為」とわざわざ「推察」という語を入れているので、絶対に問題がないとも言い切れないと思います。

実は「別の数字に差し替えてアクセスしてみたところ、社会通念上、本来は利用できてはならないはずと推定される結果が、偶発的に起きてしまった場合」は現実に起こったことがあります。

厚生労働省は2013年1月28日、同省が所管する「国家検定ファイナンシャル・プランニング技能検定試験（FP技能検定試験）」で、27日の試験実施前に試験問題が外部に漏洩していたことを発表した。

【中略】

研究会は「漏洩の原因は当方のミス。外部からの不正アクセスなどの形跡はない」と説明する。研究会の説明によれば、本来なら試験実施後に公開するはずの試験問題のPDFファイルを、前もってWebサーバーにアップロードしていた。アクセス制限はかけておらず、URL（アドレス）さえ分かればインターネットを通じて誰でも閲覧できる状態になっていた。

　しかも、PDFファイルのURLは「過去問」を掲載しているURLの試験日の部分を「20130127」と置き換えただけで、研究会のWebサイト利用者にとっては類推が容易だった（画面2）。URLを置き換えて試験問題を閲覧する方法は、ネット掲示板などを通じて一部受検者に知られていたようだ。

https://xtech.nikkei.com/it/article/NEWS/20130129/452522/

実はこの事故の報道があった際に、私も当該サイトを訪問したところ、ディレクトリリスティングがあって、ファイルの一覧が表示される状態でした。なので、類推すら必要ない状態でした。ただし、ファイルのダウンロードはしていません。私は一覧が表示されている旨を協会にお伝えしました。もし善意の調査を目的とするのであれば、「問題を把握したが何も行動しなかった」では「単に興味本位あるいは悪意があったのでは?」となりかねないので、適切に届け出等をするのが身を守るためにもよいと思います。

以上のように、質問いただいたケースはセーフのように思えますが、現在の警察の捜査実務などにおいて「逮捕されることは絶対にない」と言い切れるものでもないので、不要なアクセスは避けた方が無難かと思います。