企業から「私服で」という指示があったのであれば、スーツではなく私服で行って問題ありませんよ。
なぜなら、企業は、応募者の「TPOに合わせる力」や「センス」に注目しているからです。
応募した業界や仕事にマッチした服装になるよう、当日の服装を考えてみましょう。
もし求人に「仕事場で働く社員の写真」が載っているようならば、服装選びの良い手本になると思います。
なお、「面接の服装は自由」と指示する企業もあります。あくまでも「自由」ではあるのですが、この場合にはスーツで向かうのが無難です。今後のご参考にしてくださいね。