AI 建模师 素养手冊(1)

阿里云国内75折 回扣 微信号:monov8
阿里云国际,腾讯云国际,低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号:monov8 飞机:@monov6


<By 高焕堂 / AI 建模师俱乐部会长>


前言

*** 本文摘自 高焕堂 的下列书籍 ***

*** 以及北京【电子世界杂志】连载专栏 ***


一、 AI 是深谙「鉴往知来艺术」的大师

         而当今主流的 AI(人工智能)就是一位深谙「鉴往知来艺术」的大师。 AI 融合了统计(学)回归分析方法、网络普及和计算机高效运算而获得瞬 间洞察能力可以帮助您穿越这层迷雾。

         所谓鉴往知来的艺术就是可以看出眼前或未的情况和 过发生情况的某些相似(特征)点。愈多的经验和专业知识就 愈能看出许多相似情况而在新手菜鸟的眼中每一个情况都是新 颖且独特的情况。这又称为专家直觉Expert intuition。 AI 从大数据的统计分析或人类专家传授的不同途径中获取瞬间洞察点燃了鉴往知来艺术的火花。面对眼前事物的不完全信息、 未来的不确定AI 可以吸取经验、发挥直觉协助您摆脱疑云的纠 缠拥有警醒的双眼冷静洞悉通往成功之路。

        同样地AI 也藉由统计(学)回归分析算法而拥有和专家一样的 辨识事物以及探寻相似性 (Similarity) 并对事物进行分类 (Classification)的能力。换句话说AI 也拥有丰富的专家直觉。 在《科学革命的结构》(The structure of scientific revolution) 一书里作者 Kuhn(孔恩)曾经说道

「直觉不是个人的…直觉是一个成功群体成员经过测试而共同具 有的新手人员可以经由训练(学习)而获得直觉这是他们为成为 这个群体成员所做的准备。」

        同样地AI(机器)也能透过训练(学习)而获得直觉和瞬间洞察的 眼光。这称为机器学习(Machine learning)。尤其在网络时代中 大数据(Big data)呈现出不一致、不确定性让人们更加困扰。因为 几乎所有行为都必须在模糊未明的情况下规划这是普遍的现象 就像迷雾或月光的效果一样常使事物扩大而模糊了它的本质面貌。 那么如何藉由瞬间洞察(Flash of insight)来穿越迷雾呢? 最 有效的途径是吸取经验发挥「鉴往知来的艺术(The art of what works)」。

二、AI 是一门「看」(Seeing)的艺术

        AI(机器学习)是一门「看」(Seeing)的艺术。例如日本著名武 士宫本武藏在他写的《五轮书》里他传授专家直觉的禅道他说

「在策略中你必须能不移动眼珠而观看到两边您无法快速地学会这种能力请照着以下的方法练习在每天的生活中练习使用这 种注视法不论发生什么事都不要改变它。」

        注视眼前的全局征兆以专家直觉衬托出全貌。计算机科学界 诺贝尔奖「图灵奖」得主 Judea Pearl(珀尔)在其 2019 年的新书《因 果革命》里也以图片里的猫头鹰来强调当今主流 AI 的专家直觉及 洞察眼光(Seeing)的艺术。

        以鉴往知来为基础穿越迷雾多方尝试保留最可奏效的方法以 迅速强有力的行动抓住突然降临的好机运。其中的「多方尝试保留奏效 的途径」的 AI(机器学习)模式就称为强化学习(Reinforcement learning)。

三、AI 如何「看」出事物的全貌呢?

        AI 擅于计算相似性并据之分群、分类。我们也一样可以给 AI 归类 然后我发现 AI 与专家直觉两者具极高的相似度。既然这两者属于同一类 别我们就可以发挥〈鉴往知来〉的艺术。藉由我们过〈往〉经验和知识 而衬托出 AI 的全貌并推估它的未〈来〉发展。于是什么是 AI 呢? AI 有什么用呢? 就非常清晰明朗了。

鉴往

         从我们的既有经验中可以看出来最典型的专家直觉就是开车。其 最大特征是直觉反应不假思考。现在AI 和司机是归于同一类意味 着 AI 也具备上述两项特征因而也能推知

         未来发展AI 司机将大量取代人类司机。

         AI 人工智能是不假思索、不经理性逻辑推理的直觉性智能。  AI 的推论结果就没有高度正确性只有准确性。

         AI 人工智能与 IT 信息科技两者并不同类。例如许多学校把 AI 归入信息科技类其实是违背专家直觉的〈非专家见识〉。

        无论是人或 AI都会鉴古手段是拿一堆历史的殊相(资料)归纳 出共相。在人方面采归纳法找出万变不离其宗的恒常性谓之〈道〉。 在 AI 方面采统计学回归分析找出最中庸的回归曲线或面等。        

知来

        刚才说明了 AI 最核心能力是<鉴往知来〉其最亮丽的表现是〈瞬间 洞察〉。道与中庸皆为共相。求道而得道谓之高人、圣人乃专家也。 高人圣人身怀专家直觉就可观察眼前事物的征兆(殊相)然后进行

殊相 + 同类的共相 == 该事物的(推测)全貌

        就能洞悉未来、指点迷津了谓之高人指点。为什么需衬托出〈整体讯 息〉呢 俗语说见微知着。眼前只见到微弱的(特)征兆而依微弱征兆 而分类配上该类事物的历史整体面貌就清晰眼前事物的将来发展的全 貌了。见(眼前)之微鉴古之慧知(未来)之全貌。

AI 也「知道」

        为什么 AI 预测预测没有正确性而只有准确性呢 因为 AI 的预测含 有〈推论〉的内涵也就是有〈见微知着〉的涵意。其观察到眼前的少许 征兆而能推(测而)知其全貌以及未来发展。例如看到有个人擦口红 而推知其很可能也穿高跟鞋、有飘逸长发。为什么能很有把握推测呢因 为阅历多、见识广具有专家直觉。

        然而专家直觉来自〈鉴往〉又称〈考古〉。也就是来自归纳思维的抽 象抽出共同现象共相。然后把共相套用于眼前的殊相上就不一定 100%正确啰。更何况眼前事物只出现一些征兆(非全貌)而已AI 不仅仅 拿眼前的大量数据来处理而依公式计算出结论而已而是先去探索过往 的历史资料(如古代读书人勤读古书经史)而获得共相(道)谓之知道。 在 AI 方面谓之训练(Training)。

        大家常说学以致用。学而知〈道〉然后巧妙地应〈用〉于眼前或 未来的新事物上。AI 的训练就是让 AI〈知道〉而 AI 的预测就是道之用。 这是 AI 的预测的本质。老子有言<反者道之动弱者道之用>。其意味着

         反者道之动返求既往而鉴古道跃然其中动而欲出。

         弱者道之用不费神不费力去思考直觉反应、瞬间洞悉。

大文豪 苏东坡有言<博观而约取厚积而薄发>。其意味着

         鉴古得道之法博观而约取。

         道的致用之法厚积而薄发。亦即与时俱进沉淀成为直觉 轻轻挥洒不假思索。

美妙的组合「道+理」

        刚才说明了AI〈知道〉的能力已经高达 IQ300 (根据日本软银董事 长孙正义 2019 年评估)而人类天才 IQ 为 180。因而有些人担心AI 知道而行道知行合一就超越人类、主宰人类了

        其实是不必担心的因为只有道(归纳得共相)并不足够的。有〈道〉 还要有〈理〉才能有效〈行道〉。如果人或 AI 得道之后而直接行道 常常没有效果、徒劳无功的。

        由于道是经由归纳&抽象思维而找到的〈相关性〉(即共相)只依据鉴 古而得共相智慧(道)很难有效解决眼前现实的殊相问题。所以AI 知道 非常有助于〈瞬间洞察〉但不一定能有效行道(解决眼前问题)。

        道只是相关性的规律它要加上〈理〉溯因推理和演绎推理才能 有效行道。亦即

AI 相关性(道) —— 溯因推理——找出果因——因果演绎

        例如人们常常看到庭院低空有蜻蜓纷飞。也发现很快就下雨了。随 着人生阅历增多这情境履见不鲜就知〈道〉了蜻蜓纷飞与天下雨有 高度的相关性。如果知了这个道而去行道赶快跑去收正晒太阳的衣 服。这是可以的。

         然而从科学角度而言只有道而没有〈理〉常常会掉入科学的迷思 里把〈相关性〉误解为〈因果性〉。亦即

蜻蜓纷飞 ——天将下雨

        这两者只是相关性却误认为是因果性。从科学角度而言人们总是企图 从观察到的〈果〉去探究背后真正的〈因〉然后去调整因而达成愿望 改变〈果〉。例如失眠是果医生探索其因而对症下药(调整因)就 一夜好眠了(改变果)。

        同理AI 知了道蜻蜓纷飞 ——天将下雨但是 AI 也掉入科学的 迷思里把蜻蜓纷飞看成(误解为)而把天将下雨看成。此时 AI 知道且行道(知行合一)拼命把蜻蜓都扑杀光了。却做了白工毫无效 果仍然下雨。因为蜻蜓乱飞不是真正的因。反而被相关性误导了所 谓科学素养就是习惯于溯因推理而能发现不是真正的因 就会再重新溯因而找到〈乌云密布〉才是真正的因。因之

知道(相关性)—— 溯因 ——因果性

才更符合科学素养。

#=============== ============

欢迎加入…

<中国 AI 建模师俱乐部>微信群

微信群 新创期间免入会费

询问misoo.tw@gmail.com Melody 收

*** *** *** *** *** *** *** *** ***

四、从统计回归分析说起

         ML 的主要能力之一就是从复杂的数据里探索潜在的规律。回归分 析就是 AI(机器学习)探索规律的基础技术。

         例如有一堆二维的数据点有一条最具有代表性的直线X * W + B = Y。这条线通称为回归线。

         其中X[]和 Y[]值是已知的而 W 和 B 是未知的。如下图

         所谓就是找寻最棒的 W 和 B 值。就得到这条线了。

         按下<寻找规律>就进行回归分析找出最棒的 W 和 B 值就得到 这条线了。如下图

也输出 W 和 B 值如下

        一样使用线性回归X * W + B = Y。将得出的 Y 值经由 sigmoid() 函数可以计算出条件机率 P(Y/X)值。这是机器学习的二元分类的标准做法。


        例如有 7 瓶水其摄氏温度分别是[-5, -2, -1, 2, 3, 4, 6]。此时人 们常常将之区分为两个类别水与冰。

        就把这 X 值和 P(Y/X)值呈现于 Excel 上 

        其数据的意义是依据人们日常生活中的经验第 1 瓶温度是-5 度 有 95%的概率是属于<冰>类。再如最后一瓶的温度是 6 度有 95% 的概率是属于 95%的概率是属于<水>类。按下<寻找规律>就就进行回归分析找出最棒的 W 和 B 值就得到这条线了。如下图  

        也输出 W 和 B 值如下

         接着按下<Sigmoid>图就由 sigmoid()激活函数转换将直线转 换成为曲线并绘出图形如下

         因为我们在 Excel 里给的是 P(Y=水/X)的条件机率值而 sigmoid() 函数也能线性公式计算出来 Y 值转换成为 P(Y/X)概率值。因此这条 曲线成为上述(Excel 里)数据的最佳代表曲线这称为非线性回归分 析。于是把 7 个瓶子区分为两类了

         AI(机器学习)就是透过这样来一堆数据进行分门别类简称为分类(Classification)。

五、添加 Sigmoid 激活函数

         刚才的回归分析已经找出最棒的 W 和 B 值了也就是找到最具代表性的回归曲线了。

         接下来就能给予新的数据 X如下

         按下<Predict P(Y/X)图>就先计算X*W+B=Y得到了 Y 值。

         再将 Y 值经由 sigmoid()函数计算出 P(Y/X)值然后输出如下

          并且绘出图形

         以上说明了我们先提供 7 笔训练数据(Training Data)按下来进行训练(即回归分析)找出最棒的 W 和 B 值。

         然后拿 5 笔新数据来(Test Data)来进行分类果然完美地分类了。

多项特征的二元分类

         在刚才的水瓶范例里只有一项特征(摄氏温度)。现在来看看两项特 征的范例将玩具区分为和两个类别。

         首先收 4 笔集训练数据如下

         由于这 4 只玩具就在眼前所以 P(Y/X)值为 0 或 1。例如第 1 只玩 具属于<猫>类的概率是 100%。而最后一只玩具属于类的概率 是 100%。

         按下<寻找规律>就进行回归分析找出最棒的 W 和 B 值并输出 下

         经由训练(回归分析)已经找出最棒的 W 和 B 值了。

         接下来就能给予新的数据 X(代表两只新玩具)如下

         按下<Predict>就先计算x0*w0 + x1*w1 + B = Y得到了 Y 值。

         再将 Y 值经由 sigmoid()函数计算出 P(Y/X)值然后输出如下

         于是预测出来了第 1 只玩具属于<兔>类的概率是 0.002所以归为 <猫>类。而第 2 只玩具属于<兔>类的概率是 0.994。

         以上说明了我们先提供 4 笔训练数据(Training Data)按下<寻找规律>来进行训练(即回归分析)找出最棒的 W 和 B 值。

         然后利用上述的 W 和 B 值来对两笔新数据来进行分类果然完 美地分类了。

Sigmoid 激活函数的重要角色 

         在前面的<猫兔>二元分类里sigmoid()函数只输出一个条件概率值 P(Y=兔/X)。由于只有两种类别所以一旦知道了 P(Y=兔/X)也就知 道了 P(Y=猫/X) = 1 - P(Y=兔/X)。

         然而如果分为五个类别(如)时sigmoid() 函数只计算出一个概率值 P(Y=金/X)却无法计算出 P(Y=木/X)、P(Y= 土/X)等概率值。该怎么办呢?

         答案是改用 softmax()函数即可因为 softmax()函数可以输出多个 概率值可以用来区分多个类别。这称为多类分类(Multi-class Classification)。俗称为多元分类。

         现在复习二元分类+Sigmoid 函数

         按下<寻找规律>就进行回归分析找出最棒的 W 和 B 值并输出 如下

         按下<使用规律>就先计算x0*w0 + x1*w1 + B = Y得到了 Y 值。

         再将 Y 值经由 sigmoid()函数计算出 P(Y/X)值然后输出如下

          按下<绘图>就绘出图形

         在这二元分类范例里使用 sigmoid()函数只输出一个概率值所以 表现于一维数在线。

二元分类+Softmax 激活函数

         在上述的<猫兔>二元分类里如果使用 softmax()函数就能同时输 出两个条件概率值P(Y=兔/X)与 P(Y=猫/X)。

         于是在 Excel 上呈现如下

 按下<学习>就进行回归分析找出最棒的 W 和 B 值并输出

         按下<Predict>就先计算 x0*w00 + x1*w10 + b0 = y0 x0*w01 + x1*w11 + b1 = y1

         再将 Y(即[y0, y1])值经由 softmax()函数计算出两个概率值P(Y= 兔/X)和 P(Y=兔/X)然后输出如下

          按下<绘图>就绘出图形

         在这二元分类范例里因为计算出 y0 和 y1 两个值经由 softmax() 转换出两个概率值所以呈现于二维平面上。

简明的表现形式(二元分类)

         熟悉前面从 sigmoid()单一概率值输出扩大到一般化的 softmax() 的多机率输出就能把一些细节隐藏于 Excel 背后让 Excel 画面显 得更为简洁明了。如下图

  按下<学习>就进行训练(即回归分析)一旦找出了最棒的 W 和 B 值就完成训练(学习)了如下

         已经训练完成了。得到最棒的 W 和 B 值了。

         按下<测试>就拿新资料[3.5, 8.75]来测试一下。此时 x0 = 3.5 x1 = 8.75。

        然后进行计算 x0*w00 + x1*w10 + b0 = y0 x0*w01 + x1*w11 + b1 = y1

         再将 Y(即[y0, y1])值经由 softmax()函数计算出两个概率值P(Y= 兔/X)和 P(Y=兔/X)然后输出如下

         其中P(Y=兔/X)值是0.003。而 P(Y=猫/X)值是0.997。

         于是这笔新数据就归为<猫>类。

六、多元分类善用 Softmax()函数

         前面说过了sigmoid()函数只输出一个条件概率值P(Y=兔/X)只 适用于二元分类。而 softmax()函数可以输出多个概率值就适用于 多元分类。例如划拳游戏的规则里每一回合的比赛会有 3 种结 果(类别)如下图

   

         其中1 代表、0 代表、2 代表。Softmax()可 以输出 3 个类别()的条件概率值。

         按下<学习>就进行回归分析找出最棒的 W 和 B 值。

         按下<测试>就读取测试数据进行判断(预测)然后输出 3 个条件 概率值如下

简明的表现形式多元分类

         熟悉前面从 sigmoid()单一概率值输出扩大到一般化的 softmax() 的多机率输出就能把一些细节隐藏于 Excel 背后让 Excel 画面显 得更为简洁明了。如下图

 按下<学习>就进行训练(即回归分析)一旦找出了最棒的 W 和 B 值就完成训练(学习)了。

 按下按下<测试>就读取测试数据([2,1])进行判断(预测)然后输出所 预测的类别

 以上让您更熟悉多元分类与 softmax()函数的用途。

◆◆◆
 

#=============== ============

欢迎加入…

<中国 AI 建模师俱乐部>微信群

微信群 新创期间免入会费

询问misoo.tw@gmail.com Melody 收

*** *** *** *** *** *** *** *** ***

总结

欢迎继续阅读第 2 集

*** *** *** *** *** ***

阿里云国内75折 回扣 微信号:monov8
阿里云国际,腾讯云国际,低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号:monov8 飞机:@monov6