小宾软件致力于工具软件系列的研发,在和用户长期沟通时,注意到这样的需求。一部分是主播希望能把其直播过程录制下来,剪辑成短视频在全网推送,然而鉴于抖音的粉丝团灯牌图标,仅能在头条系平台发布,于腾讯系及其他平台则无法通过审核。另一部分用户是从事无人直播的人,他们期望能把录制的直播在其他平台播放,可这些平台均设有检测机制,一旦察觉是录播,轻则限流罚款,重则封号。
如此一来,迅速切除灯牌就成了一种必要需求。往昔的做法只能借助人力来快速查找,可这实际上相当艰难。使用 Potplayer 播放器,最快是 20 倍速播放,即一秒播放 20 秒的内容,就算你毫不分心不走神,眨眼之间,视频就已前行了 2 秒。而我们清楚,抖音的一眼灯牌出现仅有 0.5 秒,所以几乎难以察觉,便会出现漏检的状况。再者还有一个关键之处在于,一个 10 小时的视频,就算 20 倍速快进,也必须全神贯注半个小时才能看完,并且这些工作无法同时进行。没办法同时观看 10 个视频,然后在找到的视频中再导入剪影逐个删除,最后导出。可以说每天处理不了几个视频,而这样的人力成本,对于工作室来说几乎是必须支出的。
那么我们来分析一下这个流程:打开播放器,开始播放视频,长时间观看视频,发觉灯牌并记录位置,导入剪影,按照位置进行剪辑,导出。综合而言就是图像元素的识别。那么我们利用 AI 技术重现这个流程,并用一个软件来完成这个过程不就行了。于是我们开发了小宾灯牌切除器这款软件,它的实现原理就是上方用户的这个过程,首先软件会按照固定时间对视频进行截屏,然后依据图片的顺序检查图片中是否有疑似灯牌的对象,倘若发现就将当下的图片索引记录下来,最后依据这个索引记录,再还原找到灯牌在视频中的位置并切除。
重点是我们要如何明确一张图片里是否含有灯牌图标呢?当下,小宾灯牌切除器会率先在图片当中,依据颜色查找相似的对象,其次是轮廓,最后是考虑连续性,例如每秒截取 1 张的情况下,若前三张都判断有灯牌,按照时间线推断,第四张和第五张有灯牌的机率就相当大。或许还会有用户询问,有些灯牌处于边边角角或者变形了该如何处理,那就需要运用内容联想补充了,我们在可视区外额外增添了空白区域,依据灯牌的外形进行拉伸并补齐灯牌形状,接着再进行对比,如此就达成了灯牌的识别。
这个流程与人眼相较,速度怎样,准确率如何,或许是用户最为关心的问题。根据我们的测试,普通家用电脑在未使用 GPU 加速的条件下,每秒大概是 1 分钟左右的时长(120 张图片),依据视频的内容复杂程度,准确率也会有所不同,比如小杨哥的直播间,人多,背景还有 LED 和各种灯光干扰,准确率在 99%以上,而一些带货的主播、才艺主播,由于相对干扰较小,准确率能达到 99.9%。可能有一些用户会问,为何不是 100%呢?身为一个程序员,我们努力的方向便是如此,但在这个世界上有什么东西是 100%呢,小宾软件工作室和千千万万个软件开发者,包括微软等巨头,都想所有程序无 BUG,别说我们这个小团队了,就是巨头也在不断推出软件补丁来修复 BUG,所以理想很美好,现实非常骨感。当然我们也没有闲着,在不断优化代码和算法的同时,持续增加算法的训练和量级,从而向 100%无限趋近。
小宾灯牌切除器是小宾软件工具系列中,我们投入精力最多的产品,因为这个产品牵涉到的问题极多,目前我们定的策略是,每月算法升级至少 1 次,也期望通过不断地打磨产品,真正解决用户的痛点。也欢迎广大用户给我们提供宝贵的建议和意见。
欢迎大家转发朋友圈,凭转发载图,找客服领取周卡1张。
下载地址:https://www.123pan.com/s/HHISVv-79P23.html
发表回复