徽商指徽州的商帮，徽州指古代安徽的六县：歙县、黟县、休宁、祁门、绩溪、婺源。与其他商帮相比，徽商的家族性最突出。所以，对徽商的认识要从徽州独特的家族文化入手。
徽州的原住民是山越人，但形成徽商的主要是来自河南的移民。最早的移民开始于东汉末年，主要的三次移民是西晋、唐末五代和南宋之后。这些移民原来在当地多为名门望族，移民的主要原因是战乱。名门望族不同于贵族。贵族是世袭的，要先有权而后有钱。名门望族是自己奋斗出来的，要先有钱而后才有权。一个家族要能成为名门望族，要靠族中有能力又甚为勤奋者。在任何一个时代，他们都是精英。他们要代代事业成功，有钱或有人作官，并且维系文化传统（所谓书香门第），才能传承下来。作为名门望族不是指某个家庭，而是指许多家庭由同宗的血缘关系为纽带组成的一个团体。每个家族都有自己的家谱、家规、宗庙和义地。移民也往往是整个家族的行为。徽州有54个望族，主要的有程、汪、吴、胡、王、李、方、曹、鲍等。这些家族主要来自河南等北部省份。
这些过去的名门望族由于战乱被迫移民徽州。到这里后，过去的财富和地位都没有了。他们要重振自己的家族地位就必须重新奋斗。移民的艰辛使他们作为家族的凝聚力更强。所以，许多地方的家族都逐渐消失了，而徽州的家族一直保持了下来。徽州这个地方，山多地少，生存与发展条件相当艰难。但此地又盛产茶叶、竹木等，于是这些移民就不得不进入商业。早在东晋时期，徽州人已经开始从商，所以有人认为徽商应该从东晋开始。但更多的学者认为，东晋时已有徽州人从商，但徽商的形成还是在明代中期。明万历年的《歙志》记载，正德以前，民间还是“妇人纺织，男子桑蓬，臧获服劳”。正德末嘉靖初才有“出贾既多，由土不重，操资交葽，起落不常”。嘉靖时徽州人以家族为中心结伙经商已相当普遍，如徽商程君门下有数千人，经商于两广，“其族人无不沾濡者”。这时徽商的主业已为茶叶、木材、典当和盐业。弘治五年（1429年），开中制改为折色制之后，徽商作为一个商帮开始形成。
徽商的家族制特色，体现在他们经商的方方面面，而且决定了徽商不同于其他商帮的特色。
首先是资本的筹集。日本学者藤井宏总结出徽商资本形成有七种方式：劳动资本（白手起家积累）、遗产资本、婚姻资本、官僚资本、援助资本（一个家族内的互相援助）、共同资本（一个家族内各个家庭的合伙制）和委托资本。其中，作为主要筹资方式的遗产资本、婚姻资本、援助资本、共同资本完全是家族式筹资形成。而官僚资本，即用做官赚的钱从事商业活动和委托资本，主要也是在家族内实行。这种家族内筹资的方式，靠家族内的血缘关系来维持，并保证诚信。这就没有其他商帮不同家族之间的合伙制，也没有出现晋商那种股份制。当其他商帮的企业是以家庭为主的家族企业时，徽商的家族企业是真正的家族为主。
其次，徽商在经营管理中都显示了家族的特点，或者说徽商经营管理的特色都是由家族文化决定的。第一，借助家族势力建立商业垄断。这主要是采取两种形式，一是借助家族势力控制某一城镇或地区的全部贸易。如婺源商人程栋最早进入汉口，以后其族人逐渐进入汉口，形成程氏家族对汉口商业的垄断。其他如黟县商人朱承训在江西吴城，徽商许孟洁在正阳镇，都是借助于家族势力，建立了垄断地位。二是借助家族势力控制一个行业，如在各地的典当业都由休宁各个家族的人控制。第二，借助家族势力展开商业竞争。在信息不发达的时代，信息就是金钱。徽商在从事长途贩运贸易中需要及时掌握市场的瞬息变化，于是他们借助于家族关系收集信息，是他们成功的保证。如绩溪商人章必泰就是靠族人提供信息而成功的。徽商极为重视修族谱，这不仅是维护家族统一的必要条件，而且也是获得商业信息和帮助的联络图。而且，家族关系也为徽商贸易中运输、仓储、采购、销售提供了便利条件，从而降低了成本。商业中是需要互相帮助的，这就是胡雪岩所说的“花花轿子人抬人”。徽商中密切的家族关系和各家族之间的联姻，为这种互相帮助提供了可靠的平台。