抖音升级AI反网暴体系,日均识别潜在风险人群扩大91.5
近期,抖音平台针对网络暴力呈现出的新形态推出了AI反网暴行动,对其治理体系进行了系统性升级。此次升级的核心是上线了AI反网暴智能体,通过让网暴识别模型、研判模型与人工协同工作,并将外呼救助机制进行优化,平台建立了覆盖风险发现、事件研判、主动治理到外呼救助的完整闭环,实现了从“被动等举报”到“主动找风险”的治理模式转变。
这一转变取得了显著的初期效果。系统升级后,平台日均识别出的潜在被网暴风险人群数量相较于升级前扩大了91.5%。
新形态网暴隐蔽性强,传统机制面临挑战
当前的网络暴力已不再是直白的辱骂,而是变得更加隐蔽。例如,通过表情包进行“阴阳怪气”的挖苦、使用谐音梗进行暗讽,或是通过断章取义来“带节奏”,这些行为往往难以被传统的审核机制识别。此外,一些长期、零散的骚扰行为,虽然单次伤害看似不大,但累积起来同样可能对当事人造成巨大的身心压力。
传统的“人工审核+举报处置”模式在应对复杂的网络生态时显得力不从心。这种模式依赖用户举报,但当伤害被发现和处理时,往往已经对当事人造成了实际影响,难以做到提前预警和保护。
每天有数千名用户收到预警后主动开启防网暴功能。
AI智能体协同治理,实现更精准干预
抖音上线的AI反网暴智能体,是一个能执行特定任务的自动化程序。在此次应用场景中,它作为决策核心,协同了识别、研判模型与后台人工团队的工作流程。常规的内容审核通常只能筛查最近数天的内容,容易遗漏那些持续时间长、横跨多轮热点周期的攻击行为。而此次平台的优化,正是为了主动发现这类长期风险。
新体系也能更好地兼顾不同用户群体的心理承受能力差异。对于成年人可能只是“玩梗”的行为,却可能给未成年人或老年人带来巨大的心理压力。平台的新机制在评估风险时,会将这类差异化的因素纳入考量,从而实现更精准的预警和保护。
因风险等级高而被人工外呼援助的受害者数量已增长147%。

抖音升级AI反网暴系统,通过双模型协作与分层机制应对网络暴力
近期,抖音对其AI反网暴系统进行了升级,引入名为“AI反网暴Agent”的机制,通过网暴识别模型与网暴研判模型协同工作,旨在从风险发酵早期介入。该系统建立了分层保护与响应机制,以应对网络暴力问题。
识别模型:关注整体互动与自主学习
升级后的网暴识别模型改变了以往仅关注单条评论关键词的策略,转而监测用户的整体互动情况。当出现评论区涌入大量负面言论、频繁访问特定主页或异常@信息增多等情况时,系统会自动计算“网暴风险得分”。
AI会全天候复盘误判案例,自主学习新的网暴手段,哪怕是刚流行起来的新梗攻击,也能快速识别,防止恶意钻空子。
这里提到的“Agent”在AI领域通常指能够感知环境、自主决策并执行行动以达成目标的智能体。在此系统中,它负责协调识别、研判与响应流程。
研判模型:全局分析与特殊群体保护
网暴研判模型则从事件维度进行全局分析。它会整合用户近30天内的文字、图片、视频、音频等互动数据,以还原完整的事件脉络,目标是精准区分正常观点讨论和恶意攻击。
- 针对未成年人、老年人等特殊群体,模型设置了梯度化识别标准,适当提高风险敏感度。
- 模型会输出包含事件经过、风险来源、关键证据的结论,辅助人工研判专家快速了解情况。
这种对特殊群体提高保护标准的做法,意味着系统在识别针对这些用户的言论时,会采用更严格的阈值,以提供额外的防护。
分层保护机制:根据风险等级差异化响应
基于AI系统的识别与研判结果,抖音建立了分层的用户保护机制。该机制依据风险等级采取不同的响应措施。
- 对于低风险用户,平台会通过App端内提醒,引导其一键开启防护工具,如一键防护、评论过滤、陌生人私信限制等。
- 对于风险较高或属于特殊保护群体的用户,平台会主动通过智能外呼联系,安排专人提供一对一帮助,并同步排查隐私泄漏风险。
这种从早期风险识别到差异化干预的全链路设计,旨在提升平台内容生态的治理效率与响应精准度,直接影响平台用户的安全体验与社区氛围。

抖音公布AI大模型加持反网暴体系功能进展 上线专属“防网暴专区”
近日,抖音宣布其AI反网暴系统已升级至由大模型驱动的第三代版本。该系统通过风险提示、主动提醒、一键防暴等功能,为面临潜在网络暴力风险的用户提供干预与保护。数据显示,每日约有15万用户收到平台主动推送的防网暴风险提示。
“抖音小安”干预与AI大模型主动拦截
作为反网暴体系中的重要角色,AI助手“抖音小安”已上线相关功能。当系统识别用户可能成为网暴对象的潜在风险时,“抖音小安”会主动进行干预,引导用户采取措施。升级后的AI模型,可以在网暴发生时进行主动识别与拦截。据披露,该系统的自动拦截准确率已提升至96%,每日主动拦截超过1.3万条具有人身攻击动机的言论。
平台持续迭代AI反网暴系统的技术能力,提升主动保护效果。
上线防网暴专区 强化事后处置与人文关怀
为便于用户快速求助与操作,抖音产品内业已上线专属的“防网暴专区”。用户在抖音搜索“网暴”关键词后,即可看到并进入该专区。据了解,这是针对网络暴力问题设立的集中入口,方便用户获取相关保护和功能。
施暴者面临梯度化平台处置
对于实施网暴行为的施暴者,平台将采取严厉的处置措施。根据情节轻重,平台会采取包括下架违规内容、限制互动功能、直至永久封禁账号的梯度化处置。对于情节恶劣的跨账号持续骚扰行为,平台会酌情升级处置力度。若行为涉嫌违法犯罪,平台将主动配合公安机关,依法追究其法律责任。
- 情节较轻:下架违规内容。
- 情节较重:限制互动功能。
- 情节严重:永久封禁账号。
治理网络生态需要长期坚持
在解释何为梯度化处置时,可以理解为平台根据用户违规行为的严重程度,设定不同阶梯的惩罚措施,从轻微警告到最严厉的封号,形成一套逐步加重的管理系统。对于生态治理的复杂性,抖音相关负责人在回应时指出,网络生态治理是一项长期且复杂的工作,并无一劳永逸的解决方案。这意味着平台的治理行为需要持续投入与动态调整。
平台未来将持续迭代“抖音小安”的陪伴功能,并推出更具人文关怀性的产品功能。这一系列举措的直接目的,是为用户提供更有效的保护,净化网络讨论环境。负责人最后呼吁广大网民文明理性发言,共同维护清朗、友善的网络空间。
