Sorti en 1996, Murder ballads est un projet à part dans la discographie du groupe. Véritable album concept, les dix chansons qu'il comprend traitent en effet toutes de morts violentes, prenant leurs racines dans l'imaginaire très littéraire de Cave (Song of joy, Lovely creature) et dans le folklore américain (Stagger Lee, Crow Jane). Ambitieux, le disque recèle les deux plus célèbres duos qu'ait chanté l'australien, l'un avec avec PJ Harvey (Henry Lee), l'autre avec Kylie Minogue sur le fameux Where the wild roses grow, chanson aussi romantique que vénéneuse qui connut un grand succès.