ヘンダーソンはオハイオ州のリオにて、5人姉妹と9人兄弟の大家族の下に生まれた。音楽は彼の両親と兄のジェームズ.T.から奨められた。(彼はファーストアルバムの「for being so understanding and tolerant」を彼らに捧げている。)最初の頃はドラム、ピアノ、サクソフォーン、作曲などに興味を持っていた。ケニー・ドーハムによると、ヘンダーソンの兄弟が通う学校の2人のピアノ教師、リチャード・パッターソンとドン・ハーレスが彼にピアノを教えた。彼は兄弟のレコードコレクションにひどく夢中になった。これは地元のドラマー、ジョン・ジャレットがヘンダーソンにレスター・ヤング、スタン・ゲッツ、デクスター・ゴードン、チャーリー・パーカーの音楽を聴くようにアドバイスしたのに影響を受けたらしい。彼はフリップ・フィリップスやリー・コニッツ、ジャズ・アット・フィルハーモニックの録音も好んだ。中でもパーカーから最も強いインスピレーションを受けた。彼は、ハイスクールのハーバート・マルフィの指導でサクソフォーンを始めた。この時期に彼はスクールバンドやロックグループのためにいつくかの楽曲を書いている。