内容审核标准评测助力突破产业难题 图片审核

近年来，线上办公、线上娱乐被越来越多的人接受，与此同时，也为互联网内容的监管和治理带来很大的挑战。央广网邀请中国信通院云大所内容科技部工程师陈文弢讲解内容审核发展现状和前沿技术，助力突破产业发展难题。
原文如下：
从全球角度看，社交媒体的快速发展为违法和不良信息的传播，提供了快速传播的渠道。欧盟、美国、新加坡等相继发布一些法律法规、规章制度，规范网民的互联网行为；推特、Meta、Instagram等大型的社交平台，也在积极建设专业的内容审核队伍，比如Meta聘请来自不同文化背景、不同地区的审核员提升全球化的审核需求。
我国也面临网络生态治理难题。国家陆续发布《互联网跟帖评论服务管理规定（修订草案征求意见稿）》等多个规章制度加强互联网内容的治理和监管，对互联网内容生态治理起到了约束和管理的效果，行业内逐渐形成“机器+人工”的内容审核方式。
“机器+人工”的内容审核方式主要基于关键词过滤，为了发展更智能高效的审核方式，业界发展出基于云计算、人工智能和深度学习的审核架构。文本审核中，算法能够识别色情、暴力、违法犯罪、辱骂、广告等内容，除此之外，还可以定制专属内容进行识别。视频审核基于截帧技术，截取视频关键帧生成图像，转换成图片，再对图片进行审核，审核内容包括敏感标识、敏感人物、血腥暴力、色情等。音频审核中，首先将音频转成文字，然后再通过文字模型进行审核。
目前，这种审核技术已经与各个行业出现深度融合的态势，比如新闻行业对错别字、人员排序、职位职称内容的识别，金融行业对是否仿冒他人注册、身份识别等安全问题的审核，教育领域关注的未成年人保护，能否检测吸烟、酗酒等行为。
内容审核技术日趋成熟，但仍面临巨大挑战。首先，审核存在滞后性，某些信息在认定为违规信息前可能已在互联网大肆传播；一些信息现在不是敏感信息，以后可能会变成敏感信息，此外，违法违规信息的“伪装”“变异”技术在不断升级，以躲避检测识别。
为了应对这些困难，中国信通院云大所依托内容科技产业推进方阵开展了一些相关的技术研究和标准制定工作。同时，准备对现有标准进行更新、完善，拟增加深度伪造、特定人物识别，以及安全等专项评测标准，回应社会关切。同时，探索搭建第三方服务平台，满足行业内容审核需求，对审核人员进行培训，通过这些第三方服务，突破违法违规信息发现不及时，信息样本共享难的问题。