そもそもどういう違いがあるのかあまり理解していなかったので調べてみると、こちらのサイトに分かりやすく載っていました。
ネコでもわかる！さくらのVPS講座 〜第一回：VPSてなんだろう？〜これを読んで自分なりの解釈を纏めます。
レンタルサーバーについて
レンタルサーバーは、１つのサーバーの資源をみんなで共有しながら借りている状態。
いわゆるルームシェアみたいなイメージ。
同じ部屋に住んでいて１つの扉で出入りし、キッチンも共同。部屋内に自分専用のスペースはあるけど、他者からの影響はかなり受けやすい。
アプリケーションという名の家具も部屋に入れられないなど、自由度がかなり低い。
ただレンタル料は格安だし、生活必需品がすでに部屋にあるから借りたらすぐに住める状態。
VPSについて
VPSは、１つのサーバー（実際には仮想サーバーだけど）を丸々借りている状態。
レンタルサーバーがルームシェアなら、VPSは賃貸みたいなもの。
部屋には自分しかいないからレンタルサーバーより自由度は高いし、他者の影響は受けにくい。（受けないとは言ってない）
ただVPSは借りただけだと生活必需品がなくて、これから何もかも自分で揃えないといけない。それにセキュリティ対策なんかも必要になってくるから、住むためには知識が必要になってくる。しかもレンタル料はレンタルサーバーよりもお高め。
どっちを選ぶか
どちらにもメリットデメリットはあるので、サーバーを借りて何をしたいかを明確にしてから選んだほうがよさそう。
ただHPを公開したいとか、ファイルを置いときたいだけならレンタルサーバー。
SSH接続してコマンド操作したり、アプリケーションをインストールしたりが必要ならVPS・・・といった感じに。
レンタルサーバーは無料でも借りれたり無料試用期間があるところが多そうなので、それで試しに触ってみるのがいいかもしれないね。