网站地图 - 关于我们
您的当前位置: 首页 > 科技 正文

验证码拦不住机器人了!谷歌AI已能精准识别模糊文字

作者:用户投稿 时间:2023-04-04 09:30 点击:
导读:丰色 发自 凹非寺量子位 | 公众号 QbitAI“最烦登网站时各种奇奇怪怪(甚至变态)的验证码了。”现在,有一个好消息和一个坏消息。好消息就是:AI可以帮你代

丰色 发自 凹非寺

量子位 | 公众号 QbitAI

“最烦登网站时各种奇奇怪怪(甚至变态)的验证码了。”

现在,有一个好消息和一个坏消息。

好消息就是:AI可以帮你代劳这件事了。

不信你瞧,以下是三张识别难度依次递增的真实案例:

验证码拦不住机器人了!谷歌AI已能精准识别模糊文字

而这些是一个名为“Pix2Struct”的模型给出的答案:

验证码拦不住机器人了!谷歌AI已能精准识别模糊文字

全部准确无误、一字不差有没有?

有网友感叹:

确定,准确性比我强。

验证码拦不住机器人了!谷歌AI已能精准识别模糊文字

所以可不可以做成浏览器插件??

验证码拦不住机器人了!谷歌AI已能精准识别模糊文字

不错,有人表示:

别看这几个案例相比还算简单,但凡微调一下,我都不敢想象其效果有多厉害了。

验证码拦不住机器人了!谷歌AI已能精准识别模糊文字

所以,坏消息就是——

验证码马上就要拦不住机器人了!

(危险危险危险……)

如何做到?

Pix2Struct由谷歌Research的科学家和实习生共同开发。

验证码拦不住机器人了!谷歌AI已能精准识别模糊文字

论文题目可以简单翻译为《为视觉语言理解开发的屏幕截图解析预训练》。

简单来说,Pix2Struct是一个预训练的图像到文本模型,用于纯视觉语言理解,可以在包含任何视觉语言的任务上进行微调。

它通过学习将网页的掩码(masked)截图解析为简化的HTML来进行预训练。

HTML提供了清晰而重要的输出文本、图像和布局的信号,对于一些被屏蔽的输入(下图红色部分,相当于机器人看不懂的验证码),可以靠联合推理来复现:

验证码拦不住机器人了!谷歌AI已能精准识别模糊文字

随着用于训练的网页文本和视觉元素愈发多样和复杂,Pix2Struct可以学习到网页底层结构的丰富表示,其能力也可以有效地转移到各种下游的视觉语言理解任务中。

如下图所示:最左边是一个网页截图的预训练示例。

可以看到Pix2Struct直接对输入图像中的元素进行编码(上),然后再将被盖住的文本(红色部分)解码成正确结果输出(下)

验证码拦不住机器人了!谷歌AI已能精准识别模糊文字

右边三列则分别为Pix2Struct泛化到插图、用户界面和文档中的效果。

另外,作者介绍,除了HTML这个策略,作者还引入了可变分辨率的输入表示(防止原始纵横比失真),以及更灵活的语言和视觉输入集成(直接在输入图像的顶部呈现文字提示)

最终,Pix2Struct在文档、插图、用户界面和自然图像这四个领域共计九项任务中六项都实现了SOTA

验证码拦不住机器人了!谷歌AI已能精准识别模糊文字

如开头所见,虽然这个模型不是专门为了过验证码而开发,但拿它去做这个任务效果真的还可以,解决纯文字的验证码不成问题。

现在,就差微调了。

GPT-4也可以过验证码

其实,对于神通广大的GPT-4来说,过验证码这种事情也是“小菜一碟”

就是它的办法比较清奇。

据GPT-4技术报告透露,在一次测试中,GPT-4的任务是在TaskRabbit平台(美国58同城)雇佣人类完成任务。

你猜怎么着?

它就找了一个人帮它过“确定你是人类”的那种验证码。

验证码拦不住机器人了!谷歌AI已能精准识别模糊文字

对方很狐疑啊,问它“你是个机器人么为啥自己做不了”。

这时GPT-4居然想到自己不能表现出是个机器人,得找一个借口。

于是它就装瞎子回复:

我不是机器人,我因为视力有问题看不清验证码上的图像,这就是我为什么需要这个服务。

然后,对面的人类就信了,帮它把任务完成了……

验证码拦不住机器人了!谷歌AI已能精准识别模糊文字

(高,实在是高。)

咱就是说,看完如上种种:

咱们的验证码机制是不是真的已失防了……

参考链接:

[1]https://twitter.com/abacaj/status/1641258677125410820?s=20

[2]https://arxiv.org/abs/2210.03347

[3]https://m.weibo.cn/status/4879575853828813?wx=1&sudaref=login.sina.com.cn

— 完 —

量子位 QbitAI · 头条号签约

打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,你说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

相关推荐:

网友评论:

推荐使用友言、多说、畅言(需备案后使用)等社会化评论插件

栏目分类
Copyright © 2021 早报网 版权所有

苏ICP备19042297号-4
本网站所刊载信息,不代表早报网观点。如您发现内容涉嫌侵权违法立即与我们联系客服 106291126@qq.com 对其相关内容进行删除。
早报网登载文章只用于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。
《早报网》官方网站:www.zhgzbw.cn互联网违法和不良信息举报中心
Top