او سرپرست گروهی از نمایندگان حبیب بن متنجب حاکم یمن بود که امیرالمومنین(ع) برای ابقا و بیعت گرفتنش از مردم یمن نامه نگاشته بود؛ میگویند پس از آنکه هیئت یمنى بیعت کردند، حضرت، ابن ملجم را دو مرتبه دیگر خواست و از او بیعت گرفت و این عمل ۳ بار تکرار شد. عرض کرد یاعلى چرا با من اینطور معامله میکنى؟ فرمود زیرا میبینم تو بیعت را نادیده خواهى گرفت و پیمان را خواهى شکست.