即使到了这个时候，段匹磾还是下不了决心要对刘琨怎么样，虽然他杀伐果断，但是杀害刘琨这样一个人，弄不好，影响极坏。
刘琨的庶长子刘遵听说父亲被软禁，恐惧不已，居然将北城城门都关闭起来，开始修筑城墙，准备备战。
刘琨在被软禁当中，突然觉得无力之极，他并没有争雄天下之心，没有谁比他更希望朝廷稳固，百姓安居乐业，而他本身就是个多情公子，相貌第一，才情第一，音律第一，如今混入军履，几临生死，父母被杀，苦不堪言。
于是提笔写了一首诗，附在了寄给好友卢谌的一封信里，信中那句：“何意百炼钢，化为绕指柔”堪称千古绝唱，叹息自己纵横一生，拼尽所有，最后事业未成，志向难酬，读来让人潸然泪下。
何意百炼刚，化为绕指柔！
此句无关乎小儿情长，也没有男女之事，说的都是家国情怀。
这边长史杨桥和刘遵一起，闭门死守，段匹磾一听，敢关城门，这是要反啊，于是下令大军攻城，北城本来很小，又没有多少守军，多半日就被段匹磾拿下了。
刘琨那不是一个人，那是一种高洁的精神，是很多人的精神支柱，这边恼了一个人，代郡太守辟闾嵩，他马上联系后将军韩据，一起偷袭段匹磾，想救出刘琨，可惜事情泄露，还没等起兵，段匹磾大兵到来，瞬间将辟闾嵩、韩据捉获，又罗织罪名，捕获了他们的所谓党徒，连同刘遵，一并处决了。
到了五月份，段匹磾假称奉诏拘捕刘琨，刘琨知道死期将至，问道：“拘捕我？我有何罪啊？”
段匹磾见他笑语盈盈，并没有害怕恐惧之态，仍然翩翩然，如神似仙，禁不住倒吸了口凉气，但是事情已经赶在这里了，没有挽回的余地，道：“你要自立称帝！”
刘琨仰天大笑道：
“功业未及建，
夕阳忽西流。
时哉不我与，
去乎若云浮。”
段匹磾未忍心刀斧相加，命人将刘琨勒死，并杀掉他子侄共四人。
刘琨的好友，也就是接到他临终绝笔的从事中郎卢谌、还有崔悦等闻信儿，一边痛心不已，一边整顿兵马，率领刘琨余部，星夜启程，逃往辽西，段末听闻赶紧派人去接应，这些人暂时依附段末，尊奉刘琨之子刘群为盟主，而其他将佐，见刘琨为晋室呕心沥血一生，居然被判谋逆，最后被冤杀，于是觉得那就索性反了吧，一气之下，投奔石勒。
却说段匹磾擅杀大臣，那是必须得和江东晋元帝说清楚的。