オリンピック開催見送りとなれば競技場も「多額の損失」に