1835年10月14日、薩摩喜入の領主・肝付兼善の三男として生まれた小松帯刀は、4歳から学問の才能をあらわし、漢学者の横山安容のもとで儒学の猛勉強を積んでいたが、生来の虚弱な体質のため17歳ごろから病のため床に伏せがちな生活になってしまいました。
しかし、勉強に対する前向きな気持ちは益々高まり、養生のための湯治の場でもその地域の様々な人たちからも知識を吸収するべく努力しました。
また勉学だけでなく、歌道を八田知紀に学び、さらに病気がちではあるものの武術の修練にも精を出し、演武館にて示現流も学んでいました。
1855年の正月になると、21歳で奥小姓・近習番勤めを命じられ、さらに1858年7月に島津斉彬が亡くなり、島津忠義が藩主の座につくと小松は当番頭兼奏者番を拝命し、集成館の管理及び貨幣鋳造に関する職務につくことになりました。
そして1861年には長崎出張を命じられ、オランダ軍艦に乗船して軍艦操作や破裂弾、水雷砲術学などを学び、鹿児島に戻ったのちに忠義の御前にて電気伝導で水雷を爆発させる実演を行ない、そういった一連の功績により藩主の父である、島津久光の側役に抜擢され、さらに久光体制が確立すると、今度は御改革御内用掛に任命され、藩政の改革に着手しました。また1862年の久光の上洛にも随行し、帰国後ついに家老職にまで登りつめることになりました。
そういった中、イギリスの艦隊との薩英戦争において、さきに研究していた水雷を鹿児島湾に配置するなどの働きを見せ、戦後には集成館の再興や蒸気船機械鉄工所の設置に尽力、一方京都にあっては朝廷や幕府及び諸藩との連絡・交渉の役を担い、参与会議等にも陪席していました。
さらに御軍役掛や御勝手掛、蒸気船掛、御改革御内用掛、琉球産物方掛、唐物取締掛などの諸役を兼務し、藩政を一手に引き受け、大久保らとともに洋学校「開成所」を設置するなどの仕事にも従事しました。
その後、長州との戦である禁門の変では、幕府から出兵要請があったものの、終始消極的な態度を示し、勅命を受けると一転にて薩摩藩兵を率い、幕府側の勝利のために働きました。
また小松は在京中に土佐藩の脱藩浪士・坂本龍馬と昵懇となり、亀山社中設立の援助や龍馬の妻の世話もしていました。さらに長州が朝敵の汚名により表だって動けない際には井上馨と伊藤博文を長崎の薩摩藩邸にかくまい、グラバーと引き合わして、その後薩長同盟の交渉にも尽力しました。
そして小松は五代友厚らをイギリスへ密かに留学させ、かつまた英国公使のハリー・パークスを薩摩に招いて、島津久光と引き合わせるなどイギリスと薩摩との友好にも貢献しておいます。
さらに第二次長州征討の際には強力に反対し、1867年の薩土盟約や四侯会議などの諸藩との交渉にも手を砕き、討幕の密勅においても請書に西郷や大久保とともに署名しています。
続いて大政奉還の後には西郷や大久保と共に薩摩に戻り、藩主・島津忠義に兵を引き連れて上洛するよう主張、その献策が通り上洛へ随行するよう指示を受けるが、病のため断念、しかしながら明治維新後は新政府において、総裁局顧問や徴士参与、外国事務掛また外国官副知官事、さらに玄蕃頭などの要職を歴任しています。
1869年に病気により新政府の役職を依願にて退職したあとも、版籍奉還の際には渋る久光を説得し、自らが率先して領地を返上することにより模範を示すなどして範を示すなど、最後まで新政府に協力していましたが、ついに1870年（数え年36歳）に大阪にて天に召されました。