机器学习(ML)涵盖的实验必须考虑评估模型性能的两个重要方面:数据集和算法。需要强大的基准来评估最佳分类器。为此,可以采用公共存储库中提供的金标准基准。但是,常常不考虑在评估时考虑数据集的复杂性。这项工作提出了一种基于物品响应理论(IRT)和GLICKO-2的组合的新评估方法,该方法通常采用了评估参与者的强度(例如,国际象棋)。对于基准测试中的每个数据集,IRT用于估计分类器的能力,良好的分类器对最困难的测试实例具有良好的预测。然后为每对分类器运行锦标赛,以便GLICKO-2更新每个分类器等额定值,评级偏差和波动等性能信息。在此进行了一个案例研究,该研究通过了OpenML-CC18基准作为数据集的集合和各种分类算法的池进行评估。并非所有数据集都被观察到对评估算法非常有用,其中只有10%被认为是非常困难的。此外,验证了仅包含50%的OpenML-CC18的50%的子集的存在,其同样有用于算法评估。关于算法,本文提出的方法将随机林识别为具有最佳天生能力的算法。
translated by 谷歌翻译
ICECUBE是一种用于检测1 GEV和1 PEV之间大气和天体中微子的光学传感器的立方公斤阵列,该阵列已部署1.45 km至2.45 km的南极的冰盖表面以下1.45 km至2.45 km。来自ICE探测器的事件的分类和重建在ICeCube数据分析中起着核心作用。重建和分类事件是一个挑战,这是由于探测器的几何形状,不均匀的散射和冰中光的吸收,并且低于100 GEV的光,每个事件产生的信号光子数量相对较少。为了应对这一挑战,可以将ICECUBE事件表示为点云图形,并将图形神经网络(GNN)作为分类和重建方法。 GNN能够将中微子事件与宇宙射线背景区分开,对不同的中微子事件类型进行分类,并重建沉积的能量,方向和相互作用顶点。基于仿真,我们提供了1-100 GEV能量范围的比较与当前ICECUBE分析中使用的当前最新最大似然技术,包括已知系统不确定性的影响。对于中微子事件分类,与当前的IceCube方法相比,GNN以固定的假阳性速率(FPR)提高了信号效率的18%。另外,GNN在固定信号效率下将FPR的降低超过8(低于半百分比)。对于能源,方向和相互作用顶点的重建,与当前最大似然技术相比,分辨率平均提高了13%-20%。当在GPU上运行时,GNN能够以几乎是2.7 kHz的中位数ICECUBE触发速率的速率处理ICECUBE事件,这打开了在在线搜索瞬态事件中使用低能量中微子的可能性。
translated by 谷歌翻译
Dataset scaling, also known as normalization, is an essential preprocessing step in a machine learning pipeline. It is aimed at adjusting attributes scales in a way that they all vary within the same range. This transformation is known to improve the performance of classification models, but there are several scaling techniques to choose from, and this choice is not generally done carefully. In this paper, we execute a broad experiment comparing the impact of 5 scaling techniques on the performances of 20 classification algorithms among monolithic and ensemble models, applying them to 82 publicly available datasets with varying imbalance ratios. Results show that the choice of scaling technique matters for classification performance, and the performance difference between the best and the worst scaling technique is relevant and statistically significant in most cases. They also indicate that choosing an inadequate technique can be more detrimental to classification performance than not scaling the data at all. We also show how the performance variation of an ensemble model, considering different scaling techniques, tends to be dictated by that of its base model. Finally, we discuss the relationship between a model's sensitivity to the choice of scaling technique and its performance and provide insights into its applicability on different model deployment scenarios. Full results and source code for the experiments in this paper are available in a GitHub repository.\footnote{https://github.com/amorimlb/scaling\_matters}
translated by 谷歌翻译
Point-of-Care Ultrasound (POCUS) refers to clinician-performed and interpreted ultrasonography at the patient's bedside. Interpreting these images requires a high level of expertise, which may not be available during emergencies. In this paper, we support POCUS by developing classifiers that can aid medical professionals by diagnosing whether or not a patient has pneumothorax. We decomposed the task into multiple steps, using YOLOv4 to extract relevant regions of the video and a 3D sparse coding model to represent video features. Given the difficulty in acquiring positive training videos, we trained a small-data classifier with a maximum of 15 positive and 32 negative examples. To counteract this limitation, we leveraged subject matter expert (SME) knowledge to limit the hypothesis space, thus reducing the cost of data collection. We present results using two lung ultrasound datasets and demonstrate that our model is capable of achieving performance on par with SMEs in pneumothorax identification. We then developed an iOS application that runs our full system in less than 4 seconds on an iPad Pro, and less than 8 seconds on an iPhone 13 Pro, labeling key regions in the lung sonogram to provide interpretable diagnoses.
translated by 谷歌翻译
我们介绍了IST和Unmabel对WMT 2022关于质量估计(QE)的共享任务的共同贡献。我们的团队参与了所有三个子任务:(i)句子和单词级质量预测;(ii)可解释的量化宽松;(iii)关键错误检测。对于所有任务,我们在彗星框架之上构建,将其与OpenKIWI的预测估计架构连接,并为其配备单词级序列标记器和解释提取器。我们的结果表明,在预处理过程中合并参考可以改善下游任务上多种语言对的性能,并且通过句子和单词级别的目标共同培训可以进一步提高。此外,将注意力和梯度信息结合在一起被证明是提取句子级量化量化宽松模型的良好解释的首要策略。总体而言,我们的意见书在几乎所有语言对的所有三个任务中都取得了最佳的结果。
translated by 谷歌翻译
在本研究说明中,我在收购驱动的框架内得出了针对语言的显式动力系统(Niyogi \&Berwick,1997; Niyogi,2006年),假设儿童/学习者遵守公差原则(Yang,2016年),以确定规则是否是规则在语言获取过程中的生产力。我考虑了不同的理论参数,例如人口大小(有限与无限)以及为学习者提供数据的前几代人数。准备此处获得的动力学的多个模拟,并准备了变音语言数据的应用程序,因此未包括在第一个音符中。
translated by 谷歌翻译
本文研究了红外(IR)成像在乳房疾病检测中的潜在贡献。它比较了使用一些算法检测恶性乳房状况(例如支持向量机(SVM))在应用于公共数据时的一致性的结果。此外,为了利用实际IR成像的能力作为临床试验的补充,并使用高分辨率IR成像促进研究,我们认为使用了由自信训练的乳房医生修订的公共数据库是必不可少的。在我们的工作中,只有静态获取协议才被考虑。我们使用了来自Pro Engenharia(Proeng)公共数据库的LO2 IR单乳房图像(54个正常和48个发现)。这些图像是从联邦De Pernambuco大学(UFPE)大学医院收集的。我们采用了作者提出的相同功能,该功能使用顺序最小优化(SMO)分类器,获得了最佳结果,并获得了61.7%的准确性,而Youden指数为0.24。
translated by 谷歌翻译
当使用基于视觉的方法对被占用和空的空地之间的单个停车位进行分类时,人类专家通常需要注释位置,并标记包含目标停车场中收集的图像的训练集,以微调系统。我们建议研究三种注释类型(多边形,边界框和固定尺寸的正方形),提供停车位的不同数据表示。理由是阐明手工艺注释精度和模型性能之间的最佳权衡。我们还调查了在目标停车场微调预训练型号所需的带注释的停车位数。使用PKLOT数据集使用的实验表明,使用低精度注释(例如固定尺寸的正方形),可以将模型用少于1,000个标记的样品微调到目标停车场。
translated by 谷歌翻译
阶级失衡是一种以使学习对分类模型更具挑战性的特征,因为它们可能最终会偏向多数级别。在不平衡学习的背景下,基于整体的方法中的一种有希望的方法是动态选择(DS)。 DS技术根据整体中的分类器的一个子集,根据其在查询周围区域中的估计能力标记每个给定的样本。由于在选择方案中只考虑了一个小区域,因此全球类别不成比例可能对系统的性能产生较小的影响。但是,本地类重叠的存在可能会严重阻碍DS技术的性能,而不是分布不平衡,因为它不仅加剧了代表不足的影响,而且还引入了能力估计过程中模棱两可且可能不可靠的样本。因此,在这项工作中,我们提出了一种DS技术,该技术试图最大程度地减少分类器选择过程中本地类别重叠的影响。所提出的方法迭代从目标区域中删除了实例被认为是最难分类的实例,直到分类器被认为有能力标记查询样品为止。使用实例硬度度量量化本地类重叠的实例硬度度量来表征已知样品。实验结果表明,该提出的技术可以显着胜过基线以及其他几种DS技术,这表明其适合处理类别不足的班级和重叠的适用性。此外,当使用标记的集合的重新采样,重叠版本较少的版本时,该技术仍会产生竞争结果,特别是在重叠区域中少数少数族类样本的问题上。可在https://github.com/marianaasouza/lords上找到代码。
translated by 谷歌翻译
Delimiting salt inclusions from migrated images is a time-consuming activity that relies on highly human-curated analysis and is subject to interpretation errors or limitations of the methods available. We propose to use migrated images produced from an inaccurate velocity model (with a reasonable approximation of sediment velocity, but without salt inclusions) to predict the correct salt inclusions shape using a Convolutional Neural Network (CNN). Our approach relies on subsurface Common Image Gathers to focus the sediments' reflections around the zero offset and to spread the energy of salt reflections over large offsets. Using synthetic data, we trained a U-Net to use common-offset subsurface images as input channels for the CNN and the correct salt-masks as network output. The network learned to predict the salt inclusions masks with high accuracy; moreover, it also performed well when applied to synthetic benchmark data sets that were not previously introduced. Our training process tuned the U-Net to successfully learn the shape of complex salt bodies from partially focused subsurface offset images.
translated by 谷歌翻译