第四十二条规定娱乐场所实施本条例第十四条禁止行为的，由县级公安部门没收违法所得和非法财物，责令停业整顿 3 个月至 6 个月；情节严重的，由原发证机关吊销娱乐经营许可证，对直接负责的主管人员和其他直接责任人员处 1 万元以上 2 万元以下的罚款。该条中的“情节严重的”对直接负责的主管人员和其他直接责任人员处 1 万元以上 2 万元以下的罚款的行政处罚，应由哪个部门处罚？是公安机关还是文化部门？