Cette chanson est sorti le 15 février 1993 avec "Puss" de Jesus Lizard. L'art de couverture pour le single est une peinture de Malcolm Bucknall appelée "Old Indian and White Poodle". "Puss" / "Oh, the Guilt" a culminé au numéro 12 du classement des singles britanniques; c'était le premier et le seul single de The Jesus Lizard au Royaume-Uni, et le sixième de Nirvana.
"Puss" est apparu pour la première fois sur l'album de 1992, Liar et a été enregistré par Steve Albini, qui enregistrerait plus tard le troisième et dernier album de Nirvana, In Utero.
"Oh, the Guilt" a été enregistré par Barrett Jones le 7 avril 1992 à Seattle, Washington. La chanson a été réédité en 2004 sur le coffret de raretés Nirvana, With the Lights Out, et en 2005 sur l'album de compilation, Sliver: The Best of the Box, bien que sur ces dernières versions, la chanson ait été remixée par Adam Kasper, et n'inclut pas le son des clics plus légers présents sur le mix d'origine.
Oh, the Guilt fut joué pour la première fois en novembre 1990. Le groupe a enregistré une version instrumentale le 31 décembre 1991 avec Craig Montgomery aux Music Source Studios. La version présente sur le single fut enregistrée par Barrett Jones le 7 avril 1992 à Seattle. Une version mixée par Adam Kasper et n'incluant pas le son de briquet présent sur l'original est sortie dans le coffret de Nirvana With the Lights Out de 2004 ainsi que sur la compilation Sliver: The Best of the Box.