その後、ロバート・フリップのソロ・アルバム、エクスポージャー に参加のためNYへ渡ったバリー・アンドリュースが、1979年にそのことを契機に脱退を表明。バリー脱退後のXTCは間もなくしてデイヴ・グレゴリー(key, g)を加え活動を再開し、同1979年8月にその布陣による初のアルバム ドラムス・アンド・ワイアーズ(Drums And Wires)を発表。スティーヴ・リリーホワイトのプロデュースによるその斬新なサウンドが好評を得、XTCはその独自のサウンドで人気を決定的なものとした。
1980年2月、アンディ・パートリッジはMr. Partridge名義で、XTCの楽曲をダブやテープ処理で料理した作品 Take Away – The Lure Of Salvage を発表(後にXTCのコンピレーションExplode Togetherに全曲収められた)。その後同年9月にはXTC4作目のアルバム ブラック・シー(Black Sea)を発表。またこの頃からアンディはトーマス・ドルビー、坂本龍一、 ジョーン・アーマトレーディングらのレコーディング・セッションにも参加するなど、活発なソロ活動を見せている。翌1982年2月に5作目のアルバム イングリッシュ・セツルメント English Settlement を発表。さらに11月にシングルA面曲を集めたWax Works – Some Singles 1977-1982 、B面曲集 Beeswax – Some B Sides 1977-1982 という二枚のコンピレーションを発表したXTCだったが、次作レコーディング中の翌1983年の中頃に、テリー・チェンバース脱退、というアクシデントに見舞われてしまう(以降XTCは外部のドラムスを起用しながら3人組として活動していく)。XTCはレコーディングの残りを代役のドラムスを立て乗り切ることになったが、その作品は同1983年8月に ママー(Mummer) として無事発表された。