1957年にはマイルス・ディヴィスのプロデューサーをしていた重鎮、テオ・マセロの指揮によるオーケストラ編成でレコーディングした”A New Sound In Popular Song”でデビューを果たす。コロムビアのA&Rレーベルのミッチ・ミラーがジョニー・マティスの歌声を高く評価し、同年の秋にセッションをする。そこから生まれたのがあのヒット曲”Wonderful Wonderful”や"It's not for Me To Say"。この2曲は1957年のビルボードチャートの上位に食い込むといったビッグ・ヒットとなった。コロムビア・レコードで2年間歌いつづけた1958年、”グレイテスト・ヒッツ”をリリース。このベスト版は、先例のない、何と490週連続でビルボード・チャート上位を独占、という空前の大ヒットを巻き起こした。この記録はギネス・ブックにも掲載されている程。