西ローマ帝国を侵略し、ローマ市を略奪したゲルマン系のヴァンダル族にちなんで名づけられた。北アフリカに侵攻してヴァンダル王国を築いたヴァンダル族は、455年にガイセリック王に率いられてイタリアに上陸、ローマを破壊した（455年のローマ略奪）。 ルネサンスから啓蒙主義の時代にかけてローマは理想化されたが、そのローマを破壊したヴァンダル族やゴート族は文明に対する破壊者として負のイメージを持たされるようになった。英国の詩人ジョン・ドライデンは1694年にヴァンダルやゴートによる破壊を描いた『Till Goths, and Vandals, a rude Northern race, Did all the matchless Monuments deface』を書いている。 「ヴァンダリズム」という語は、1794年に、ブロワの司祭アンリ・グレゴワール（Henri Grégoire）が初めて使用した