麻省理工学院和别处的研究人员开发了一个交互工具,首次让用户看到并控制自动机学习系统工作方式目的是建立对这些系统的信心并寻找方法改善这些系统
设计机器学习模型某些任务-如图像分类、疾病诊断和股市预测-是一个艰苦耗时过程专家先从多种不同算法中选择构建模型并手动表示高参数-它决定模型的整体结构-模型开始训练前
最近开发的自动化机学习系统迭代测试修改算法和超参数并选择最合适的模型系统操作像黑盒 表示选择技术隐藏用户用户可能不信任结果并难于定制系统以适应搜索需求
ACM CHI计算系统人因子会议论文中, 麻省理工学院、香港理工大学和浙江大学的研究人员描述工具,调用ATMSeer工具输入自定义系统、数据集和用户任务信息后它视觉化搜索过程 用户友好界面 提供深度模型性能信息
联合作者Kalyan Veramachaneni表示, 麻省理工学院信息决策系统实验室首席研究科学家,或使用域名引导系统查找某些模型
研究者发现约85%使用ATMSeer的参与者对系统选择模型有信心几乎所有参与者都表示使用工具使他们舒适到将来使用AutomL系统
电工计算机科学系研究生兼LIDS研究者Micah Smith表示 :
工具ATMSeer生成方便用户界面,显示深度信息显示所选模型性能,并选择可全部调整算法和参数信用:马萨诸塞理工学院
数据可视化有效方法 改善人与机器之间的合作ATMSeer举例说明这个概念,ATMSer大都有益于机器学习实践者,它可以减轻人工选择机器学习算法和调优超参数的痛苦
加入Smith、Veramachaneni和Wang报社有:HKUST全局和浙江大学志华锦
调试模型
新工具核心是自定义自定义系统,称为ATM,2017年由Veramachaneni和其他研究者开发与传统AutomL系统不同,ATM完全编目所有搜索结果
ATM输入所有数据集和编码预测任务系统随机选择算法类-如神经网络、决策树、随机森林和逻辑回归-模型超参数,如决策树大小或神经网络层数
系统比对数据集运行模型,迭代调超参数并测量性能使用它所学到的模型性能选择另一种模型等归根结底,系统输出数高性能模型执行任务
技巧是每种模型基本可处理为数据点并带几个变量:算法、超参数和性能研究者设计出系统 绘制数据点和变量从那里开发出单机技术 并允许实时重构数据Smith说, “技巧是用这些工具,所有能视觉化的东西,你也可以修改。”
相似可视化工具专门分析单机学习模型并允许有限定制搜索空间Wang表示:「因此,反之,ATMSeer支持分析机器学习模型
用户控制与信任
ATMSeer接口由三部分组成控制面板允许用户上传数据集和AutomL系统并启动或暂停搜索过程下图概述板显示基本统计-例如算法数和超参数搜索-并按下降顺序显示顶级性能模型的“头板”。Veeramachanei表示:「这也许是你最感兴趣的视图,
ATMSeer中包含一个Automl剖面程序,配有深度算法和超参数信息面板,全可调整一组表示算法类直方图-条形图显示算法性能分数分布单面板显示分布图,可视化性能取舍不同超参数和算法类
与机学习专家的案例研究没有自动ML经验显示用户控制确实帮助提高自动ML选择性能和效率用户学习与13名研究生不同科学领域-例如生物学和金融- 都发人深省结果显示三大因素-算法搜索数、系统运行时间和发现顶级性能模型-确定用户如何定制自动ML搜索研究者表示,信息可用于定制系统面向用户
Veramachaneni表示:「我们才刚开始看到人们使用这些系统并选择之道的起始点”。这是因为现在信息都在一个地方, 人们可以看到幕后发生的事情 并拥有控制它的力量
文件基础:技术+产品,学生程序,素材-高级
