https://github.com/isucon/isucon6-qualify/blob/master/bench/cli.go#L70
ここで scenario 関数を実行するたびに NewSession() していて、

https://github.com/isucon/isucon6-qualify/blob/master/bench/checker/session.go#L46
ここで Session ごとに Transport を作ってしまっているのですが、 Transport はコネクションプールに
なっているので、 Session & Transport を GC 任せに破棄すると、その Transport に
残っている http クライアントのコネクションが開放されずにベンチマーカー終了まで
残ってしまうように見えます。

そのため、アプリ側のチューニングが進むと、ベンチマーカー側が too many open files になったり、
ポートが枯渇したりして、スコアが上がらなくなります。

回避策としては、

1. 一つの大きめの Transport を用意し、全部の Session で共有する
2. どうしても Session 間で Transport を共有したくない場合は、 scenario の終了後 (Transportがもう利用されてない状態で) CloseIdleConnections を呼ぶことで、 keep-alive しているコネクションを開放してやる

Go の想定している使い方としては 1 の方がおすすめですが、それだと１つのTCPコネクションを
通して複数のユーザーのhttpリクエストが送られてくることになるので、多数のブラウザからの
（ロードバランサーなどを介さない）接続をエミュレートしたいなら 2 の方が近くなります。