从唐代开始，伊斯兰教即在留居中国沿海地区的波斯、阿拉伯商人中流行。泉州的“圣友之寺”、扬州的礼拜寺（明代重建，今存）及其创建者补好丁（今译普哈丁）之墓（地在今扬州东关对河），都是两宋时期伊斯兰文化的见证。但迄于两宋，其传播规模一直很有限。蒙元时代，中亚各族居民大批徙居内地，其中有相当部分是伊斯兰教徒。伊斯兰教就是在这个时期传播到全国各地的。
伊斯兰一词最早见于汉籍，似为金代，当时译称为移习览。但该词尚未见于元代汉文史籍。伊斯兰教徒，元代一般音译为木速鲁蛮或木速蛮，汉文史籍经常称他们为回回人。
关于回回的名称，元初王恽曾记录“宋克温说”云：“回鹘，今外五（按即畏兀儿）；回纥，今回回；今人以名不佳，改之”。其实回纥、回鹘在唐代原本是一个概念，只不过使用先后有别。到了宋辽金时代，“回纥”及其另译“回回”被用来专指中亚人。而回鹘则继续指西迁的那一部分回鹘人，即后来的畏兀儿人。
“回纥”（回回）从指回鹘人转为指中亚人，主要是因为宋朝疆土局限于内地，宋人对西域的了解远逊于唐代。而西迁后的回鹘地处中西交通的要冲，所以宋人把途经回鹘入汉地贸易、操与回鹘人类似语言的西域人都视为回鹘人，统称之为“回纥”，即回回。这应是用回回指中亚人的原因。元代中国的版图包括中亚，元人对回鹘人与中亚其他民族的区别甚为清楚，所以“回回”、回纥成为专指西域人的名词，而回鹘、畏兀儿则指唐代西迁天山东部地区的回鹘人的后裔。
在元代，回回主要指伊斯兰教徒，其所遵行的伊斯兰教法律称为回回法；但回回所指也包括其他西域人，如聂思脱里教徒等。犹太人有时被称为“术忽回回”，信奉东正教的阿速人被称为“绿睛回回”，吉普赛人被称为“罗里回回”等。到后来，甚至古希腊人、古罗马人都被称为“回回”。但在大多数场合下，回回人还是指伊斯兰教徒。元代徙居中国各地的回回人，是今回族先民的主体。
元朝境内的回回人主要来源于蒙古西征时从中亚、波斯等地俘掠的工匠或平民，先后签调来的军队，入任于元朝的官员和学者，来中国经商因而留居的商人，也包括前代即已寓居中士的波斯、大食人后裔。回回构成了色目人中的绝大部分，政治上很受蒙古统治者信用，不少人在中央衙门或地方官府担任要职。他们在国内外贸易中势力尤大。其“大贾擅水陆利，天下名城巨邑，必居其津要，专其膏腴”。
中统四年户口登记时，中都（即后来的大都）已有回回人约三千户，多为富商大贾、势要兼并之家。当然，更有大量的回回下层即工匠、平民等被括入官府或诸王贵族的匠局，从事纺织、建筑、兵械、造纸、金玉器皿等各种行业的劳作，例如专造纳失失的荨麻林（今河北张家口西南洗马林）匠局，就是窝阔台时期以回回人匠三千户建置起来的，其中大部分是撒麻耳干人。东来的回回人乐居中土，“皆以中原为家，江南尤多，不复回首故国也”，于是造成“元时回回遍天下”的局面。另一方面，绝大多数回回人都固守伊斯兰教教规，“居中土也，服食中土也，而惟其国俗是泥也”；“虽适殊域，传子孙，累世不敢易焉”。这两方面的因素，再加上元政府的宗教兼容政策，促成了伊斯兰教在全国的传播。按照“教诸色人户各依本俗行者”的原则，元政府在中央设立了回回哈的司，由哈的大师（阿拉伯语Qadi意为法官）领之，依回回法掌本教门的宗教活动、回回人的户婚钱粮等词讼以及部分刑名之事。仁宗即位以后，“罢回回合的（按即哈的）司属”（《元史·仁宗纪一》），下令“外头设立来的衙门，并委付来的人每革罢了者”。
根据上引史料，回回哈的司在“外头”有“设立来的衙门”，也就是说，它曾在各地设有相应的地方机构。它们应当是由各地的回回大师或掌教哈的主持的。皇庆以后，回回哈的司所属各地方机构当在革罢之列，元廷企图收回哈的大师处断回回人刑、民等公事的权力。哈的大师的职掌被限制在“掌教念经”等纯属宗教活动的范围内，到文宗时候，又有“罢回回掌教哈的所”的诏命（《元史·文宗纪一》）。伊斯兰教在元代虽已传播到全国各地，但它基本上限于在回回人中间流行。
此外，出嫁或者被卖给回回人的汉族及其他民族的男女，当亦有一部分信奉了伊斯兰教。元朝移居西北的蒙古人受周围环境的影响先后改宗伊斯兰教，而居于汉地的蒙古诸王贵族中信奉伊斯兰教的则为数不多，其中最著名的是忽必烈之孙阿难答。阿难答是安西王忙哥剌之子。安西王所统的关陇河西地区，是回回人的聚居地。司天少监每年要把推算写造的回回历按时送呈忙哥剌，以使他向封领内的回回人颁布使用。阿难答从小由回回人抚养长大。至元十七年他嗣位为安西王后，使所部15万蒙古军队的大多数人改信伊斯兰教。直到元末明初，回回人“居甘肃者尚多”（《明史·西域传》）。
伊斯兰教很早就分裂为若干派别。现存元代描述内地穆斯林的史料多出自汉人之手，对穆斯林内部的派系似乎注意不多。但如果我们仔细搜寻，仍然能发现一些资料，可反映元朝境内伊斯兰教各派的活动及其相互关系。泉州“圣友之寺”中回历710年（1310—1311）的阿拉伯文题铭提到，愿安拉“宽恕阿里派者，宽恕穆罕默德和他的家属”。这说明泉州有什叶派活动，很可能“圣友之寺”就是一所什叶派清真寺。此外泉州的穆斯林有崇拜灵山圣墓的风俗，与苏菲派教义吻合。根据伊本·拔图塔的叙述，神秘主义和苏菲派在元代业已传入中国。元代穆斯林中常见的术语“迭里威失” （darvish）也是苏菲派所特有的。
从公元十世纪起，波斯语为东部伊斯兰世界文学语言的地位逐步得到确立，到蒙古兴起时代中亚已经普遍使用波斯语了。在蒙古国时期和元代，从西北方面涌入中国境内的回回人中，相当大部分亦来自上述地区。因此元朝境内，尤其是北方伊斯兰教的文献和文物留下了明显的波斯文化痕迹。在哈刺和托回回寺遗址发现的碑文是波斯文，山东曲阜出土的1235年圣旨碑后有一行异域文字，被沙畹认为是八思巴字，实际上也是波斯文。蒙古国故都和林也有一块立于1339年的波斯文碑。元朝政府公文中有关伊斯兰教的专用词汇，亦有相当一部分是波斯语辞，如答失蛮（danishmand，指回回文人）、迭里威失（darvish，指苏菲派托钵僧，与之相应的阿拉伯语为faqir，未见于元代汉籍）、纳麻思（波斯语namaz译言礼拜，相应的阿拉伯语为salat，亦未见于汉文史籍）等。
清真寺是回回人宗教活动的场所，也是穆斯林经济生活和文化水平的反映。入华的回回人很早便开始建寺。元以前的清真寺主要分布于中国沿海地区，入元以后，北方和内地的清真寺才越来越多。目前中国最古的清真寺是广州的怀圣寺。大食人苏莱曼公元九世纪中叶到广州时，已看到那里有清真寺。南宋岳珂10岁居广州时（十二世纪末），怀圣寺已立于珠江边。元至中祥符二年（1009—1010）；据泉州《重立清净寺碑》记载，清净寺始建于南宋绍兴元年（1131）。
元代回回人修建的清真寺很多。至正八年中山府（今河北定县）《重建礼拜记》曰：“今近而京城，远而诸路，其寺万余，俱西向以行拜天之礼。”其辞虽有夸张之处，但也反映了元代伊斯兰教徒的建寺活动遍于全国的事实。上述广州怀圣寺、泉州“圣友之寺”、清净寺在元代都得到维修。元末吴鉴的《重立清净寺碑》提到，“今泉造礼拜寺增为六、七”，现今发现的泉州清真古寺遗迹除了上述“圣友之寺”和“清净寺”以外，还有涂门外津头埔的所谓“宋也门寺”、南门的所谓“元穆罕默德寺”、东门外东头乡的“元纳希德重修寺”和所谓“元无名大寺”等。此外大都（北京）、杭州、扬州、定州、开封等地都有回回人所建的寺院。俄国人柯兹洛夫等人还在元亦集乃路治（哈剌和托，在内蒙额济纳旗东）发现十四世纪的礼拜寺址及波斯文残碑，蒙古国都城和林遗址的1339年的波斯文碑，提到了当地的经学院。这些都证明元代回回人一直在各地进行兴教建寺的活动。
元代从陆路和海路入华的回回人之间有比较明显的区别。自唐宋以来，不少波斯、大食商人从南海坐船来中国贸易，寄居在南方的对外贸易港。入元以来，回回人继续从海路入华，并定居于沿海港市。例如至大年间重修泉州“圣友之寺”的阿合马，即为耶路撒冷人。与从陆路入华的回回人不同，他们的文化更多地体现了阿拉伯色彩。近数十年来在泉州发现了许多元代伊斯兰教文物如回回人墓碑、礼拜寺碑铭等，有相当一部分是阿拉伯文的。在其他地方也发现过阿拉伯文的元代伊斯兰教文物，如广州怀圣寺的元末的阿拉伯文碑铭、扬州的元代阿拉伯文墓碑、北京牛街清真寺内的元代阿拉伯文墓碑等。惟此类文物在泉州尤其集中。
至正年间的泉州《重修清净寺碑记》，提到了清净寺内的四种教职：“摄思廉（shaikhal-Islam），犹华言主教也；益绵（Amin？Imam？），犹言主持也；没塔完里（Mutawalli），犹言都寺也；谟阿津（Mu’azzin），犹言唱拜也。”均为阿拉伯语的音译，与沿陆路入华的回回人习用波斯语明显有异。泉州的“圣友之寺”在建筑上表现出明显的大马士革风格，与中国境内众多的汉式清真寺截然不同。
