可以。行政处罚和刑事处罚不一样，只是行政处罚不构成犯罪，所以可以开无犯罪记录证明。无犯罪记录证明是指没有犯罪前科即没有因触犯刑法而受到刑事处罚；而行政处罚仅是违反行政法律、法规而进行的行政处罚，受过行政处罚，并不影响出具无犯罪记录证明。
《关于出具公民有无违法犯罪记录证明工作的暂行规定》第一条适用范围：遇有下列情形之一的，且符合本规定申请人范围的单位和公民，可以向被证明对象的户籍地派出所申请出具“公民有无违法犯罪记录证明”：（1）国家机关录用公务员政审；（2）中国共产党组织吸收新党员政审；（3）国家法律、法规、规章规定公民执业必须以“无违法犯罪记录”为前提的；（4）公民向公证机构申请依法办理有无违法犯罪记录公证事项的。征兵政审和军队、警察院校招生政审、公检法司和国家安全等机关对涉嫌刑事犯罪或治安违法人员的案底调查，按原办法执行，不列入本规定“证明”范围。各级纪检监察部门向公安机关了解本单位党政人员在社会上的违法犯罪情况，按有关规定执行，不列入本规定“证明”范围。