剣豪桂小五郎 と木戸　孝光　そして　「長州藩と坂本龍馬」と幕末の志士たち４６名と言われていますが、その実は幕末の塾の門下生の集合写真のようです。でも夢がありますね！
弘化3年（1846年）、長州藩の師範代である新陰流剣術内藤作兵衛の道場に入門している。
嘉永元年（1848年）、元服して和田小五郎から大組士桂小五郎となり、実父に「もとが武士でない以上、人一倍武士になるよう粉骨精進せねばならぬ」
それ以降、剣術修行に人一倍精を出し、嘉永5年（1852年）、剣術修行を名目とする江戸留学を決意し、藩に許可され、ほか5名の藩費留学生たちと共に江戸に旅立つ。
江戸三大道場の一つ、「力の斎藤」（斎藤弥九郎）の練兵館（九段北三丁目）に入門し、
神道無念流剣術の免許皆伝を得て、入門1年で練兵館塾頭となる。
大柄な小五郎が、得意の上段に竹刀を構えるや否や「その静謐（せいひつ）な気魄（きはく）に周囲が圧倒された」と伝えられる。
小五郎と同時期に免許皆伝を得た大村藩の渡邊昇（後に、長州藩と坂本龍馬を長崎で結びつけた人物）とともに、練兵館の双璧と称えられた。