1927(昭和2)年に熊本県山鹿市(旧鹿本郡鹿北町)に生まれる。就職した博多の丸善書店で文学と出会い、詩や小説を書くようになる。1944(昭和19)年、陸軍気象部に少年軍属として入隊。南方戦線でマラリアに罹り九死に一生を得る。復員後は後遺症に悩まされ職に就けず、放浪の旅に。農家の日雇いをはじめ、劇団役者、闇市番人、露天商、ドブロク屋などで糊口をしのぎ、福岡県久留米市の詩人・丸山豊の詩誌『母音』で詩作を本格化させる。同人には松永伍一、川崎洋、谷川雁、森崎和江らがいた。
1954(昭和29)年、初の本格的な詩集『夕御飯です』刊行。翌年頃から、ときおり町で立ちん坊や乞食見習い、拾い屋等をしながら、九州の野山をひたすら歩く。この経験が後に『野垂れ死考』『木賃宿に雨が降る』など数々の作品を生む。北九州・八幡の労働下宿で人夫をしていた1963(昭和38)年、雑誌『女性自身』で特集が組まれ、同誌を読んだ女性と結婚し上京。詩人・文筆家としての道を歩んでいく。
1965(昭和40)年、自伝的エッセイ『放浪の唄ーある人生記録』を発表、反響を呼ぶ。以降、『天に近い一本の木』『鼻歌』などの詩集、『人間浮浪考』『人夫考』『あきらめ考』『忍術考』などのエッセイ集を次々と刊行する。
九州一円の放浪(高木は「ぶらぶら歩き」と呼ぶ)や人夫仕事の体験を元に、どん底で生活する人間の哀しみと逞しさ、明るさ、愛しさをユーモアを交えて描いた。〝敢然と用を果たさない〟 高木が放浪の末にたどり着いた思想は、我々の足もとを揺さぶる。自由と反骨の人。2019年、急性心不全のため逝去。享年92歳。
「2022年 『放浪の唄 ある人生記録』 で使われていた紹介文から引用しています。」