多重接続による転送速度低下について

概要

ダウンロードツールなどを使って大きなファイルをダウンロードする際に、転送速度が大幅に低下する場合があります。このページでは、その原因と対策を説明します。

現在の回線状況

当ミラーサイトは、日本国内のインターネットの中心に4系統の高速回線で接続しており、テレホタイムの混雑時間(23:00-2:00)を含めて、1〜2MB超/secの転送速度が出る場合が多くあります。悪くてもその数分の一程度です。(2003年3月現在)

・当ミラーサイトのサーバーが接続するプロバイダーと、ダウンロード利用者が接続するプロバイダーが同じか直接接続(プライベートピアリング)している場合に上記の転送性能が出ます。
・共通のプロバイダー接続サービス(NSPIXP2等)を経由した場合は、転送速度が低下します。
・大手のプロバイダーから回線を購入しているプロバイダーを利用する場合は、転送速度が大きく低下する傾向にあります。
・ダウンロード利用者が接続するプロバイダーの内部速度が遅い場合は、転送速度がさらに低下します。

さらに、不適切な設定による分割ダウンロードや、複数ファイルの同時ダウンロードを実行している場合に、転送速度が大幅に低下することがあります。

分割ダウンロードで転送速度が低下する理由

分割単位が小さすぎる設定で分割ダウンロードを実行すると、転送速度が大幅に低下します。問題が見られるケースでは、10〜60KB単位で分割ダウンロードが実行されています。例えば、50MBのファイルを30KB単位で分割ダウンロードすると、約1,700回のダウンロードが繰り返し大量に行われます。

30KBのダウンロードの実転送時間は0秒に近いごく短いものですが、その前後に「セッションの開始処理と終了処理」に数秒から数十秒かかることがあります(転送時の状況によります)。そのため、実転送時間の数倍〜数十倍以上の時間がかかるのです。

問題はダウンロードのセッションが多いためなので、例えば5MB毎に10回に分割してダウンロードする場合は、そこまで大幅な性能低下は起こらないと考えられます。

海外からこのような操作を行われるとDoS攻撃と同様の効果が生じます。特にアジア向け回線は帯域が細いため、分割単位が自動的に16KBへ小さくなる状況が観察されました(2003年5月現在)。複数の海外サイトから16KBのダウンロードが繰り返されると、例えば50MB/16KBx10サイト=32,000回の転送となり、大きな負荷となります。

同時ダウンロードで転送速度が低下する理由

同時に複数のファイルをダウンロードすると、十分な転送速度が得られない場合が見られます。

2003年3月現在の観測によると、日本国内のネットワークの転送速度の最大のボトルネックはプロバイダー間の接続と思われます。異なるプロバイダー間でファイルを高速転送する場合は、そのボトルネックが転送速度を決定していると見られます。

ですから、同一のサーバーから同時に複数のファイルをダウンロードする場合、全てのセッションが同一の経路を通る場合は最大転送速度の向上は期待できません。単純に個々の転送の速度が低下すると思われます。これは分割ダウンロードを実行した場合にも当てはまります。

問題発生時の被害状況

・上記の問題が発生する以前にダウンロードを開始したユーザーへの影響は小さいと思われます。
・上記の問題を起こしているユーザーは、転送速度が大幅に低下するようです。
・新たにダウンロードを始めようとするユーザーは、ダウンロードが開始するまで数秒から数十秒かかる場合があります。ただし、ダウンロードが開始すれば大幅な性能低下は無いと見られます。

なお、上の問題が発生している間でも、当サイトで昨年夏に一時的に発生した「サーバーのCPU使用率が高負荷になる問題」は発生していません。ただし、海外サイトから大きなアクセスを受けた場合は、同時オープンセッション数が大きくなるため、接続性が大幅に悪くなる現象を確認しました。

対策

ダウンロードツールを使う場合は、分割ダウンロードを無効(または1)に設定してください。また、同時ダウンロード数を1に設定するか、ダウンロードが完了してから次のダウンロードの指定(追加)を実行してください。

以上の設定が分からない場合は、他のダウンロードツールの使用の検討をお薦めします。また、ADSLやCATV等の高速回線を利用している方は、Webブラウザーで手動でダウンロードしても十分な転送速度が得られる場合がありますので、お試しください。

同じ地域でもプロバイダーによってダウンロード速度が異なる場合があります。プロバイダーのバックボーン性能や接続形態については、各プロバイダーにお問い合わせください。

その他の問題と対策

ファイルのダウンロード時にはプロクシーサーバーを指定しないことを推奨します。個人ミラーサイトに掲載されている大型のファイルは、プロクシーサーバーに大きな負荷がかかる場合が多いと考えられます。

一部の状況で、ダウンロードが失敗し続ける場合があります。ツールを使ってダウンロードしても長時間転送が進まない場合は、使用するツールを変更するか、ツールを使わずにWebブラウザーでダウンロードしてください。(416 Requested Range Not Satisfiable エラーが発生しています)