（疑いがかかるのもよしとしようではないか、大和魂をもつ志士の一人に数えてもらえるのならば）

うき雲のかかるもよしやもののふの

大和心のかずにいりなば

ついに慶応元年（１８6５）福岡藩は勤王活動に加担した疑いのあるすべてのものに処罰を与えた。切腹，斬罪、流罪、その数１４０名余り。望東尼は勤王の志士をかくまった罪で姫島に流された。望東尼60歳の冬のことだった。

福岡県糸島市志摩姫島

望東尼が描いた獄舎の図をもとに復元されていたが、昭和５６年に壊され 現在は御堂がたてられている

部屋は４畳、畳もなく板敷きでござが敷かれているだけだった。冬の寒さをしのぐために着物、風呂敷などを張りめぐらしたむかでやくもの出没に悩まされたり重い病にかかり衰弱状態に陥ったこともあった。
この獄舎での日々を支えたのは島民の暖かい思いやりだった。禁止されていた火をこっそり用立てたり、家族への手紙を届けてくれるものもあった。

暗きよの人やに得たるともしびは

まこと仏の光なりけり

（暗い夜に獄舎の中で得た明りは本当に仏様の光のように有り難い）

この劣悪な状況の下でも望東尼はそれ以前と変わりなく日記を書き続け毎月25日には天神様を拝んだ。また処刑された同志の供養のため萱で指を傷つけその血で麻布に般若心経と歌を綴ったりもした。しかし、家族のことを思い涙がとまらないときもあった。

入獄して１０ヶ月目の慶応２年（１８６６）９月１６日、かつて望東尼にかくまってもらった長州の高杉晋作の計らいで、６名の志士による劇的な望東尼救出劇が演じられた。