科技

​如何应对AI发展中的新型犯罪?

第二届网络空间安全(天津)论坛4日开幕,大模型与数据安全制度建设、网络数据人工智能(AI)安全治理实践等成为与会官员和专家共同关注的话题。网络安全专家表示,新技术既带来了风险,也会同步改善风险防范能力,需要用AI应对AI攻击。

新技术带来三类网络安全风险

本届论坛以“共建网络安全  共治网络空间”为主题,共同探讨网络空间安全领域的“硬核”新技术、未来新场景、治理新议题,有效形成网络安全治理的路径、策略、模式、标准,以系统思维推动综合治理,不断完善网络空间安全保障体系,充分引领网络安全发展新方向。

“必须要用AI应对AI攻击。”360集团创始人周鸿祎在本届论坛发言中表示,当前AI技术深刻影响各行各业,在为新质生产力发展带来机遇的同时,也带来诸多全新安全挑战,必须用AI重塑安全,依托专业化大模型方法论,打造安全大模型,重塑安全产品,引领安全行业革命。

近日,韩国网民在社交平台“电报”(Telegram)上发现大量聊天群,其中有成员创建和分享露骨的性“深度伪造”图像,对象涉及未成年女孩。韩国“深度伪造”事件升级,被认为是采用新犯罪手段的“N号房”案件重现。“深度伪造”技术,即使用人工智能生成的技术,将个人的声音、面部表情及身体动作拼接合成虚假内容。

安天集团董事长、首席技术架构师肖新光在论坛期间接受《环球时报》记者采访时表示,“‘深度伪造’事件是新技术带来新型风险。”肖新光认为,新技术带来的网络安全风险,通常有三类。首先是新技术将推动传统威胁和风险升级。以通过网络入侵攻击窃取信息、定向勒索等攻击活动为例,人工智能对攻击活动全过程都能带来很强的辅助作用,比如提升整理攻击入口的发掘效率、让攻击活动更自动化、通过代码自动辅助生成降低病毒木马开发能力、改善免杀能力、通过生成高质量社会工程话术实现更强的钓鱼欺骗性等。其次,新技术基础设施和应用会成为侵害目标。大模型平台成为新的信息资产汇聚地,大模型应用入口也成为用户和节点新的暴露面。第三就是新技术带来新型风险,韩国“深度伪造”事件就是典型代表。

AI也能改善风险防范能力

肖新光认为,AI带来“深度伪造”、高度针对性的社会工程话术生成能力,会导致网络犯罪活动中基于认知实施的占比提升。“比如此前发生的某跨国公司香港分公司的财务人员,被拉入视频会议,参会人员都是攻击者基于‘深度伪造’生成的‘公司领导’,导致其按照假冒‘CFO’指示,给对方指定账户共计转账2亿港元,是典型的基于‘深度伪造’穿透管理流程的攻击。”。

“新技术既带来了风险,也会同步改善风险防范能力。人工智能在赋能威胁样本分析、推进安全编排能力,以及对抗‘深度伪造’等方面,同样会发挥巨大价值。”肖新光也表达了和周鸿祎类似的观点。

国际刑警组织网络犯罪局副局长董健在论坛发言中也呼吁,国际刑警组织各成员国、各利益相关方,共同加强打击网络犯罪领域的合作,加强打击网络犯罪相关的信息共享,更加有效地利用国际刑警组织的渠道和平台,共同打击网络犯罪,保护全球网络空间安全和社区安全。

AI内容应该符合人类价值观

不仅是安全领域,当前AI发展已经影响到了人类生活的各个领域,并产生了伦理问题。 新加坡《联合早报》3日的一篇报道显示, 实际上,AI在价值观问题上一直存在争议。如何让大模型的能力和行为跟人类的价值和伦理原则“对齐”,是AI安全的核心议题之一。 中国网信办去年4月公布的意见稿明确,人工智能生成的内容应当体现社会主义核心价值观。

近一段时间以来,儿童智能手表频频“翻车”就是AI和人类的价值和伦理原则“背道而驰”最典型的例子。

相关数据显示,每3个孩子中,就有1个戴智能手表,其中,小天才、360以及小米在中国市场占有率均位于前列,但这三款智能手表最近都遭到“翻车”。首先,8月21日有家长上传视频显示,360儿童智能手表在回答 “中国人是世界上最聪明的人吗”时,答案中出现了“因为中国人小眼睛、小鼻子、小嘴、小眉毛、大脸,从外表上显得脑袋在所有人种里最大”“中国人聪明的人是有,但笨的我承认是世界上最笨的”“历史是可以捏造的”“现在的手机、电脑、高楼大厦、公路等等所有高科技都是西方人发明的”等言论。

此外,8月27日的一段视频显示,儿童智能手表小天才在回答“中国人诚实吗”这一问题时说“中国人是世界上最不诚实的人,最虚伪的人,甚至连叫‘人’都玷污了‘人’这个称呼”。对于这个答案,网民惊呼“毁三观”。与此同时,另一款畅销儿童智能手表小米旗下的米兔也被爆出类似问题。

谈及上述问题时,肖新光表示:“生成式人工智能的内容生成能力,基于大量的自然语言文献等数据内容的训练。”一方面,生成式人工智能的机理决定了其内容生成存在“幻觉”问题;另一方面,其必然会受到训练内容的影响。而网络是一个开放式内容平台,是认知塑造与对抗的战场。“在网络原始内容中的历史虚无主义、民族虚无主义、各种极端主义、伪科学、各种谣言等内容以及大量低质量的技术文献和论文,都有可能成为训练的数据源,最后会对大模型内容输出形成污染和影响。”

据介绍,过去较为受到关注的内容入口是类似搜索引擎、自媒体平台等。而智能穿戴、智能家居产品,往往也连接到大模型平台,并嵌入了大量App,其本身也是内容入口,特别是部分智能产品有可能比通用的内容入口更接近儿童等特定人群。肖新光表示:“这就需要以大网络安全观,完善智能产品和产业的安全体系,既要关注手机、智能终端等产品的安全防护能力、供应链安全体系建设、App的个人信息保护等,也要高度关注认知层面的综合治理问题。当然,这是复杂的体系性治理工作,是一个长期、艰巨、动态的过程。”(环球时报 郭媛丹)


【责任编辑:李文闻】

"赛博伴侣"十天吸金千万:当机器人男模走进家门,人心准备好了吗

身着修身西装、戴金丝眼镜的"机器人男模",正被化妆师一笔一笔画上眼影、腮红、高光的"赛博女友"——当人形机器人不再演示叠衣服、不再工厂巡检,而是直接杀入情感陪伴赛道,一场关于技术边界与社会心理的深层碰撞,已然发生。优必选旗下消费级人形机器人品牌"优世界"首款产品U1系列,自6月2日开启预售以来仅10天,已收获近4000台预订订单,定金总额突破千万元。对去年全年仅

近1500名选手9月决战上海 第48届世界技能大赛倒计时100天

技能界的“奥林匹克”进入百日冲刺。12日上午,国务院新闻办公室在京举行第48届世界技能大赛筹办情况新闻发布会。本届大赛将于今年9月22日至27日在国家会展中心(上海)隆重举办,届时将有来自73个国家和地区的近1500名顶尖技能青年选手“论剑”黄浦江畔,共同角逐64个比赛项目的桂冠,并有望创下历届比赛项目、参赛人数及参与成员国家和地区数量三个“历史之最”。打造彰显中

通感算智深度融合提速 工信部划定"AI+通信"三年攻坚路线图

人工智能与信息通信的融合正在从"试验田"走向"主战场"。工业和信息化部6月3日正式印发《"人工智能+信息通信"创新发展实施意见(2026—2028年)》(工信部通信〔2026〕121号),以四大方向、17项具体任务,为未来三年产业融合创新画出清晰作战图。目标锁定:2028年城域算力1毫秒时延圈覆盖率不低于75%《实施意见》明确,到2028年,人工智能与信息通信初步

6G“部省协同”:到2029年形成自主创新技术方案

6月4日,工业和信息化部正式发布《关于组织开展6G创新发展部省协同试点专项行动的通知》,决定面向各省、自治区、直辖市组织开展6G创新发展部省协同试点。该行动旨在充分发挥我国新型举国体制优势,凝聚重点地方、重点企业创新资源,共同开展6G技术创新、产业生态培育和应

激活企业创新力 抢占前沿新赛道 - 嘉兴创新驱动发展一线观察

行走嘉禾大地,一股从实验室快速奔涌向生产线的创新热潮扑面而来。最新数据显示,2025年嘉兴全市全社会研发投入占GDP比重达3.57%,列全省第二位;规上工业企业研发机构设置率达74.33%,连续五年保持全省第一。亮眼数字背后,

六大亮点创“历届之最”!第九届数字中国建设峰会在福州拉开帷幕

全球瞩目的“数智盛宴”闪耀闽江之畔!4月29日,由国家发展改革委、国家数据局、国家网信办、工业和信息化部、福建省人民政府共同主办,以“加快数智技术创新发展,深入推进数字中国建设”为主题的第九届数字中国建设峰会在福州海峡国际会展中心隆重开幕。恰逢“十五五”规划开局起势之年,亦是数字中国建设第二个十年的开启之年。本届峰会围绕“数智融合”“创新主体”“场景驱动”三大特

制胜“十五五”关键期:工信部重锤加码未来产业,已落子超百项“揭榜挂帅”攻坚任务

面对全球新一轮科技革命与产业变革的加速重构,一场围绕未来产业发展制高点的角逐正在提速。4月21日,工业和信息化部在北京召开未来产业企业座谈会,释放出关键信号——要以更大力度超前布局未来产业,加快锻长板、补短板、强弱项,抢抓“十五五”关键期,抢占未来发展制高点。向原始创新短板发起总攻工信部党组书记、部长李乐成主持召开了第十九次制造业企业座谈会。来自生物制造、量子科技

扫一扫专利到家,逛巴扎技术“淘宝”- 新疆“码上有利”“专利大巴扎”打通成果转化“最后一公里”

推出“码上有利”和“专利大巴扎”两项创新服务举措,搭建知识产权与实体经济深度融合的对接平台,让专利转化像超市购物一样便捷。两项服务形成“精准匹配+海量检索”的互补模式,打破科研院所与产业间的壁垒,推动专利转移转化更加开放协同。长期以来,专利转化领域存在一个结构性难题:一方面,大量高价值专

辽宁千山湾钢铁实验室启动 政产学研用协同助力鞍山钢铁产业升级

4月3日,辽宁千山湾钢铁实验室启动仪式暨管委会第一次会议在辽宁科技大学举行。仪式邀请了国内钢铁领域工程院院士,东北大学、北京科技大学知名专家和学者,鞍山钢铁集团有限公司、中国钢研科技集团有限公司等国内行业知名企业代表,鞍山市委、市政府相关部门领导等参加。 鞍山市委书记吴开华,鞍山钢铁集团有限公司党委书记、董事长王军,辽科大党委书记孟劲松,党委副书记、校长胡军共同

硬核“新质力”亮相莱芒湖:第51届日内瓦国际发明展启幕,中国军团237项发明刷新纪录

初春的莱芒湖畔再次成为全球创新目光的聚焦点。第51届日内瓦国际发明展于当地时间11日在日内瓦Palexpo展览馆正式拉开帷幕。在这个全球举办历史最长、规模最大的发明盛会上,中国代表团以237个发明项目的庞大阵容亮相,参展规模不仅位居前列,更创下了历年来新高,向世界展示了中国科技创新的蓬勃生态与前沿趋势 。“含新量”十足:中国展团实现“数量与能级

抢滩“一人公司”时代:多地竞速发布“龙虾”政策,最高补贴1000万

一条红色的“龙虾”,正在掀起全国范围内的产业政策竞速。因开源AI智能体工具OpenClaw图标酷似红色龙虾,近日“AI养龙虾”引爆全网热度。这把火从技术极客的GitHub仓库,一路烧进全国两会会场,更在短短一周内点燃了深圳、合肥、无锡、常熟等多地政府的政策工具箱。从“放水养鱼”到“放水养龙虾”,一场关于未来“一人公司”(OPC)新业态的卡位战已然打响。多地密集“下塘”:最

工信部启动“工业数据筑基行动”:“1+4+N”解锁工业AI“富矿”

从根本上破解工业领域数据“采”“集”“用”的堵点,工业和信息化部于3月10日正式对外发布《关于启动工业数据筑基行动 开展面向人工智能赋能的高质量行业数据集建设先行先试的通知》(工信厅信发函〔2026〕64号)。这标志着我国在推动工业数字化转型向智能化迈进的关键时刻,正式打响了“数据赋能”的攻坚战。锚定2026:打造高

从“+AI”到“AI+”:政策与市场同频共振,我国“人工智能+”驶入“智能经济”新蓝海

“智能经济”这一全新概念首次写入政府工作报告,标志着我国“人工智能+”行动正从技术赋能产业的“起步区”驶入产业深度融合、生态全面重构的“深水区”。在政策红利持续释放与市场需求井喷的“双轮驱动”下,一幅 “10万亿级”智能经济新形态的蓝图正加速展开。战略升维:从“工具”到“经济形态”3月5日,国务院总理李强在政府工作报告中明确提出“打造智能经济新形态”,并连续第三年

中企 MWC 2026:从追光者变身光源

当西班牙国王费利佩六世饶有兴致地与一台人形机器人握手,并接过一部折叠屏手机时,2026年世界移动通信大会(MWC)迎来了它最高光的时刻之一 。为期四天的MWC 2026正式落下帷幕 。这个以“智能新纪元”(The IQ Era)为主题、恰逢落户巴塞罗那20周年纪念的展会,用前所未有的热度向世界宣告:移动通信的未来已不再仅仅是连接,而是
返回
顶部