问题详情

简述ID3算法的基本思想及其主算法和建树算法的基本步骤。


时间:2022-03-23 01:05 关键词: 数据挖掘工程师

答案解析

<p> 首先找出最有判别力的因素,然后把数据分成多个子集,每个子集又选择最有判别力的因素进一步划分,一直进行到所有子集仅包含同一类型的数据为止。最后得到一棵决策树,可以用它来对新的样例进行分类。<br> 主算法包括如下几步:<br> ①从训练集中随机选择一个既含正例又含反例的子集(称为窗口);<br> ②用&ldquo;建树算法&rdquo;对当前窗口形成一棵决策树;<br> ③对训练集(窗口除外)中例子用所得决策树进行类别判定,找出错判的例子;<br> ④若存在错判的例子,把它们插入窗口,重复步骤②,否则结束。<br> 建树算法的具体步骤如下:<br> ①对当前例子集合,计算各特征的互信息;<br> ②选择互信息最大的特征A<sub>k</sub>;<br> ③把在A<sub>k</sub>处取值相同的例子归于同一子集,A<sub>k</sub>取几个值就得几个子集;<br> ④对既含正例又含反例的子集,递归调用建树算法;<br> ⑤若子集仅含正例或反例,对应分枝标上P或N,返回调用处。</p>