当时穆斯林社群中大部分人支持穆罕默德的亲密战友—阿布巴卡(Abu Bakr as-Șiddiq)出任“哈里发”。哈里发意为继承者,是伊斯兰教的政治与社会之最高统治者。大部分穆斯林视阿布巴卡为穆罕默德的政治继承人,而不是宗教精神的继承人。不过,当时有小部分的穆斯林则认为穆罕默德的堂弟兼女婿—阿里.本.阿比.塔利卜(Ali ibn Abi Ṭalib)为穆罕默德的合法继承人,因为穆罕默德已指定阿里为他政治及精神遗产的唯一诠释者,所以应该成为“政教合一”的哈里发。阿布.伯克尔最后还是被推选为第一任哈里发。
阿里最初并没有马上接受阿布巴卡出任哈里发,不过阿里于不久后就改变主意,为了维护新兴伊斯兰国的凝聚力而接受阿布巴卡。阿布巴卡逝世后,他所指定的奥马尔.本.哈达卜(Umar ibn al-Khattab)被推选出任第二位哈里发。四大哈里发中的第三位哈里发奥斯曼.本.阿凡(Uthman ibn 'Affan),则从奥马尔提名的六位候选人当中选出来。
奥斯曼统治时期受委任为叙利亚总督的穆阿维叶一世(Muawiyah I),坚决反对阿里取代其堂叔奥斯曼出任哈里发,甚至还暗示奥斯曼其实是被阿里所害,直接挑战阿里的领导权,于637年爆发“绥芬之战”(Battle of Siffin)。穆阿维叶一世统领的士兵在矛头上悬挂写上古兰经经文的旗帜,充斥着宗教狂热色彩。阿里与他的支持者不忍违抗“真主”也不愿看到穆斯林同胞之间自相残杀,而绥芬之战最终没有决出胜负。阿里和穆阿维叶一世同意通过仲裁方式解决哈里发的争议。
阿里跟穆罕默德女儿法蒂玛(Fatimah)所生的小儿子侯赛因.伊本.阿里(Ḥusayn ibn Ali),也就是什叶派的第三位伊玛目(Imam), 受到库法的人民邀请到那里当他们的领袖。当侯赛因跟他家人和追随者于680年动身从麦地那前往库法途中,遭到耶齐德一世所派出的军队阻拦,在位于今伊拉克境内的卡尔巴拉(Karbala)遇袭。拒绝投降且不愿效忠耶齐德一世的侯赛因和他的随从最后战死。卡尔巴拉之战,是什叶派穆斯林历史上最重要的事件,是什叶派强烈主张殉道精神的历史起源。每年有数以百万计朝圣者造访位于卡尔巴拉的伊玛目侯赛因圣陵,而很多什叶派穆斯林通过象征性的自虐去表现这种殉道精神。侯赛因之死,也标志着什叶派跟逊尼派的彻底决裂。
先知穆罕默德之叔父阿拔斯.伊本.阿卜杜勒.穆塔里卜(Al-‘Abbas ibn ‘Abd al-Muttalib)的后裔阿布.阿拔斯-萨法赫(Abul `Abbas al-Saffaḥ)在得到什叶派及哈瓦利吉派的支持下,通过波斯人阿布.穆斯里姆(Abu Muslim Khorasani)领导的武装斗争,推翻了倭马亚王朝,建立“阿拔斯王朝”(Abbasid Caliphate)。倭马亚家族的其中一支逃亡到安达卢斯,在(位于今西班牙安达卢西亚自治区的)科尔多瓦建立“科尔多瓦酋长国”(756-929年)及后来的“科尔多瓦哈里发国”(929-1031年),被称为“后倭马亚王朝”,是中世纪时期欧洲大陆上最重要的伊斯兰教政权。
什叶派最大的分支是“十二伊玛目派”(又称伊玛目派,Imamiyyah),因尊崇阿里及其后裔等12代伊玛目而得名。什叶派另一重要分支伊斯玛仪派(Ismaili),也叫“七伊玛目派”,跟十二伊玛目派一致尊崇前6任伊玛目,但是在第七任伊玛目人选上跟十二伊玛目派出现分歧。伊斯玛仪派认为第六任伊玛目贾法尔.萨迪克(Ja’far al-Sadiq)指定次子穆萨.卡齐姆(Musa al-Kadhim)为伊玛目继承人是不合法的,主张萨迪克长子伊斯玛仪(Isma'il ibn Jafar)成为伊玛目合法继承人。还有一个宰德派(Zaidiyya),也被称为“五伊玛目派”,在16世纪之前是什叶派中最大的分支。