B
方法一:设第一次为x组,第二次为y组,则党员人数有7x+4=5y+2,积极分子人数为3x=2y,解方程得x=4,y=6,党员人数=人,积极分子人数=3*4=12人,党员比积极分子多32-12=20人。方法二:由题意,总人数除以10余数为4,则总人数减4后能被10整除,总人数除以7余数为2,则总人数减2后能被7整除,故满足要求的总人数最小为44,代入第一次分组情况,可分为4个小组,党员人数=4*7+4=32人,则积极分子人数为12人,代入第二次分组验证,符合条件,故二者相差32-12=20人。故正确答案为B。