人工智能「鉴黄师」
机器如何鉴别黄色图片?
食色性也,在没有分级制度的当下,色情内容鉴别就变得非常重要。
最开始人们会用人工审核解决这一问题,互联网的普及让数据量大幅增加,全部依靠人力审核变成了不可能的事。
机智的人们想到用肤色识别算法过滤掉非黄色图片,余下的内容再进入人工审核,可以大大提升审核效率。
移动互联网时代的到来,视频、直播的爆发,数据量多到这种识别方式也无法承受,于是就有了机器学习「鉴黄师」。
对于机器来说,鉴黄就是让它给出一张图片是黄色图片的概率,再根据这个概率给出答案。
曾经被标记为黄色内容的图片,混合非黄色图片输入机器,通过学习大量标记数据,机器就能给出黄图概率。
再由人类设定阈值,进而给出「是」或「否」。
机器难以判断的图片,也会交由人工审核,确认后再度教给机器,让机器「鉴黄师」越变越聪明。
至于视频、直播,只要截取画面后再进行识别就可以。同样的方法也可以用来识别暴力、血腥内容,帮助减轻人力负担。
机器学习鉴黄师,实际上用到了逻辑回归(LogisticRegression,LR)的技术。
逻辑回归经典的应用场景
逻辑回归是非常经典的二分类算法,做一个简单的转换,也可以应用到多分类问题上。
虽然有很多深度学习,SVM等算法,但是工业场景,70%的分类问题都可以用逻辑回归模型解决。
1、贷款违约情况
会违约/不会违约,这是个经典的LR模型。在金融风控领域,经常用这种模型来判断一个人的信用状况。
比如这个用户年纪比较小,或者之前有一些逾期的记录,或者这个用户的薪资没有达到一定标准的时候,预测他违约的概率较大,我们可以选择拒贷。
在很多银行,或者非银行机构,都会用LR来做预测的问题。
2、广告点击问题--CTR点击率预估
会浏览/不会浏览,会点击/不会点击
很多互联网公司,都是靠广告赚钱的。比如百度、谷歌大部分的收入,都来源于广告。这些广告要做用户行为分析,以便达到精准投放的效果,这样广告的浏览率和点击率会增加,从而给公司带来更多的利润。
3、商品推荐(会购买/不会购买)
在商品推荐过程中,我们很多用矩阵分解,或者协同过滤的算法,但是我们也可以用逻辑回归来做。
4、情感分析(正面/负面)
情感分析是很经典的一个文本分析的算法,它可以判断一篇文章的情感是正面的还是负面的。
我们可以从很多文本里面进行特征提取,提取完之后,放到逻辑回归模型里面,来预测这篇文章拥有正面情感的概率是多大。
特别是在证券领域,我们可以通过这种方法,来判断未来股票的走势。
5、疾病诊断(阴性/阳性)
比如给定一些图片,或者给一些传感器数据,能不能判断这个人有没有患病
6、还有很多问题是基于逻辑回归的... ...
即便最终上线的系统不是基于逻辑回归,但是逻辑回归仍然是非常经典的、而且是非常优秀的baseline,是可以在一天或者两天内实现的一种系统。而且未必比使用深度学习网络,或者更复杂的模型效果差。
IBM提出“万物皆可智能”的概念,而人工智能本质,是通过分类、或者回归,解决预测问题。逻辑回归作为二分类重中之重的算法,可谓是能顶AI半边天了。
所以在机器学习的面试,或者算法工程师的面试过程中,会经常问一些逻辑回归相关的知识点。
比如,怎么推导逻辑回归?什么是逻辑回归的目标函数?怎么使用梯度下降法?怎么搭建逻辑回归的模型?怎么避免过拟合?逻辑回归的目标函数是否是凸函数?为什么?
算法细节对AI从业者的重要性
在当今的人工智能时代,相信大部分人都会关注深度学习技术,但请千万不要忽视对传统机器学习技术的理解。实际上,真正去从事AI工作的时候就会发现,对传统机器学习的依赖还是巨大的。如逻辑回归、随机森林、GBDT、XGBoost、SVM等模型仍然在非常多的应用中占有着不可忽视的地位。
目前AI人才竞争越来越激烈,“调参侠”的时代已慢慢过去!为了帮助想细致了解算法底层的朋友们,李文哲博士和袁源博士联手研发了一门《高阶机器学习》课程。
高阶机器学习
这门课独特的优势
-
新 课程不断迭代,从Word2Vec、ElMo、GPT、Bert到XLNet,GAN、R-CNN、GCN。而且保证不错过任何2周之内出现的重要技术。
-
细 导师全程现场推导,让你学习有清晰的思路,深刻理解算法模型背后推导的每个细节。更重要的是可以清晰看到各种模型之间的关系!帮助你打通六脉!
-
高级 每周1次paper reading session,帮助你复现论文
CRF与Log-Linear模型讲解
如果你对这门课程感兴趣,可以加我了解:git1024
你需要具备的基础
-
编程基础:用python写过工程项目,代码量在5000行以上
-
机器学习:系统学习过机器学习基础,比如学习过《西瓜书》
你所面临的挑战
-
写技术文章: 我们会要求学员在知乎、github、垂直公众号等平台,输出自己的技术文章,老师和助教会帮你优化
-
Project项目:除了文章,算法工程师立命的根本--项目代码,导师更是不会放过的。每次在Gitlab上布置的作业,导师们都会带领助教团队会予以详细的批改和反馈。并逼着你不断的优化!
如果你对这门课程感兴趣,可以加我了解:git1024
你将收获
-
对标阿里P8的工作能力,你现在工作中遇到的问题,也可以请教老师和助教
-
如果你需要出国留学,美国的硕博学位我们可以帮你写推荐信
-
如果你需要发表论文,老师和助教团队可以给你一些帮助
如果这门课程能帮到你,你可以加我:git1024
原文:https://www.cnblogs.com/txkjai/p/12604847.html