Creeping Ritual 이라는 이름으로 잠깐 활동했던 Gun Club은 1980년 로스엔젤레스에서 처음 결성되었다.

Jeffrey Lee Pierce라는 보컬리스트를 중심으로 기타리스트 Kid Congo Powers, 베이스 연주자 Rob Ritter, 드러머 Terry Graham으로 결성된 밴드는 백인블루스와 사이코빌리가 절묘하게 결합된 첫앨범《Fire Of Love》를 발표한다. 이 앨범은 Robert Johnson의 "Preaching The Blues"와 Tommy Johnson의 "Cool Drink of Water"가 수록되어 있는데 데뷰앨범의 호평에도 불구하고 Congo는 또다른 사이코빌리 밴드인 Cramps로 자리를 옮긴다.

《Miami》는 Blondie의 가타리스트인 Chris Stein이 설립한 레이블인 Anima Records의 첫번째 앨범으로 기록된다. 이 앨범은 미국의 '얼터너티브' 신에 강한 영향을 준 앨범으로 기록되었는데 Congo의 그룹재복귀를 포함한 몇번의 멤버교체, 그룹의 리더인 Pierce의 알콜중독으로 인한 자기파괴와 그로 인한 그룹내부의 불화는 그의 솔로탈퇴로 이어진다.

그러나 1986년,《Two Side of The Beast》와 함께 Pierce는 다시 밴드에 합류하고 드러머 Nick Sanderson, 베이스 연주자 Ronnie Moris와 함께 초창기 파워 넘치는 사운드를 다시 재현해 나가기 시작했다.