او سرپرست گروهی از نمایندگان حبیب بن متنجب حاکم یمن بود که امیرالمومنین(ع) برای ابقا و بیعت گرفتنش از مردم یمن نامه نگاشته بود؛ میگویند پس از آنکه هیئت یمنى بیعت کردند، حضرت، ابن ملجم را دو مرتبه دیگر خواست و از او بیعت گرفت و این عمل ۳ بار تکرار شد. عرض کرد یاعلى چرا با من اینطور معامله میکنى؟ فرمود زیرا میبینم تو بیعت را نادیده خواهى گرفت و پیمان را خواهى شکست.
ناگهان آرامش مسجد در هم شکست و صدای فریاد وحشیانهای بلند شد و در پی آن برق شمشیری هویدا شد و جهان را به تاریکی فراخواند. شمشیر ابن ملجم فرق عدالت را شکافت و ندای حق برخاست: « فزت و رب الکعبه».