机器人的共同适应一直是一项长期的研究努力，其目的是将系统的身体和行为适应给定的任务，灵感来自动物的自然演变。共同适应有可能消除昂贵的手动硬件工程，并提高系统性能。共同适应的标准方法是使用奖励功能来优化行为和形态。但是，众所周知，定义和构建这种奖励功能是困难的，并且通常是一项重大的工程工作。本文介绍了关于共同适应问题的新观点，我们称之为共同构图：寻找形态和政策，使模仿者可以紧密匹配演示者的行为。为此，我们提出了一种通过匹配示威者的状态分布来适应行为和形态的共同模拟方法。具体而言，我们专注于两种代理之间的状态和动作空间不匹配的挑战性情况。我们发现，共同映射会增加各种任务和设置的行为相似性，并通过将人的步行，慢跑和踢到模拟的人形生物转移来证明共同映射。
translated by 谷歌翻译
物理模拟器在安全，不受约束的环境中方便学习加强学习政策表现出了巨大的希望。但是，由于现实差距，将获得的知识转移到现实世界可能会具有挑战性。为此，最近已经提出了几种方法来自动调整具有后验分布的实际数据，以在训练时与域随机化一起使用。这些方法已被证明在不同的设置和假设下适用于各种机器人任务。然而，现有文献缺乏对转移性能和实际数据效率的现有自适应域随机方法的详尽比较。在这项工作中，我们为离线和在线方法（Simopt，Bayrn，Droid，Dropo）提供了一个开放的基准，以阐明最适合每个设置和手头的任务。我们发现，在线方法受到下一次迭代的当前学会策略的质量受到限制，而离线方法有时可能会在使用开环命令中模拟中重播轨迹时失败。所使用的代码将在https://github.com/gabrieletiboni/adr-benchmark上发布。
translated by 谷歌翻译
The automated segmentation and tracking of macrophages during their migration are challenging tasks due to their dynamically changing shapes and motions. This paper proposes a new algorithm to achieve automatic cell tracking in time-lapse microscopy macrophage data. First, we design a segmentation method employing space-time filtering, local Otsu's thresholding, and the SUBSURF (subjective surface segmentation) method. Next, the partial trajectories for cells overlapping in the temporal direction are extracted in the segmented images. Finally, the extracted trajectories are linked by considering their direction of movement. The segmented images and the obtained trajectories from the proposed method are compared with those of the semi-automatic segmentation and manual tracking. The proposed tracking achieved 97.4% of accuracy for macrophage data under challenging situations, feeble fluorescent intensity, irregular shapes, and motion of macrophages. We expect that the automatically extracted trajectories of macrophages can provide pieces of evidence of how macrophages migrate depending on their polarization modes in the situation, such as during wound healing.
translated by 谷歌翻译
By transferring knowledge from large, diverse, task-agnostic datasets, modern machine learning models can solve specific downstream tasks either zero-shot or with small task-specific datasets to a high level of performance. While this capability has been demonstrated in other fields such as computer vision, natural language processing or speech recognition, it remains to be shown in robotics, where the generalization capabilities of the models are particularly critical due to the difficulty of collecting real-world robotic data. We argue that one of the keys to the success of such general robotic models lies with open-ended task-agnostic training, combined with high-capacity architectures that can absorb all of the diverse, robotic data. In this paper, we present a model class, dubbed Robotics Transformer, that exhibits promising scalable model properties. We verify our conclusions in a study of different model classes and their ability to generalize as a function of the data size, model size, and data diversity based on a large-scale data collection on real robots performing real-world tasks. The project's website and videos can be found at robotics-transformer.github.io
translated by 谷歌翻译
Tumor segmentation in histopathology images is often complicated by its composition of different histological subtypes and class imbalance. Oversampling subtypes with low prevalence features is not a satisfactory solution since it eventually leads to overfitting. We propose to create synthetic images with semantically-conditioned deep generative networks and to combine subtype-balanced synthetic images with the original dataset to achieve better segmentation performance. We show the suitability of Generative Adversarial Networks (GANs) and especially diffusion models to create realistic images based on subtype-conditioning for the use case of HER2-stained histopathology. Additionally, we show the capability of diffusion models to conditionally inpaint HER2 tumor areas with modified subtypes. Combining the original dataset with the same amount of diffusion-generated images increased the tumor Dice score from 0.833 to 0.854 and almost halved the variance between the HER2 subtype recalls. These results create the basis for more reliable automatic HER2 analysis with lower performance variance between individual HER2 subtypes.
translated by 谷歌翻译
已经证明，经过代码完成培训的大型语言模型（LLMS）能够合成DocStrings的简单Python程序[1]。我们发现这些代码编写的LLM可以被重新使用以编写机器人策略代码，给定自然语言命令。具体而言，策略代码可以表达处理感知输出的功能或反馈循环（例如，从对象检测器[2]，[3]）并参数化控制原始API。当作为输入提供了几个示例命令（格式为注释）后，然后是相应的策略代码（通过少量提示），LLMS可以接收新命令并自主重新编写API调用以分别生成新的策略代码。通过链接经典的逻辑结构并引用第三方库（例如，numpy，shapely）执行算术，以这种方式使用的LLM可以编写（i）（i）表现出空间几何推理的机器人策略，（ii）（ii）将其推广到新的说明和新指令和新指令和（iii）根据上下文（即行为常识）规定模棱两可的描述（例如“更快”）的精确值（例如，速度）。本文将代码作为策略介绍：语言模型生成程序的以机器人为中心的形式化（LMP），该程序可以代表反应性策略（例如阻抗控制器），以及基于Waypoint的策略（基于远见的选择，基于轨迹，基于轨迹，控制），在多个真实的机器人平台上展示。我们方法的核心是促使层次代码 - 代码（递归定义未定义的功能），该代码可以编写更复杂的代码，还可以改善最新的代码，以解决HOMANEVAL [1]基准中的39.8％的问题。代码和视频可从https://code-as-policies.github.io获得。
translated by 谷歌翻译
本文介绍了有关开发的原型的研究，以服务公共政策设计的定量研究。政治学的这种子学科着重于确定参与者，之间的关系以及在健康，环境，经济和其他政策方面可以使用的工具。我们的系统旨在自动化收集法律文件，用机构语法注释它们的过程，并使用超图来分析关键实体之间的相互关系。我们的系统经过了《联合国教科文组织公约》的保护，以保护2003年的无形文化遗产，这是一份法律文件，该文件规定了确保文化遗产的国际关系的基本方面。
translated by 谷歌翻译
在胸部计算机断层扫描（CT）扫描中，自动分割地面玻璃的不透明和固结可以在高资源利用时期减轻放射科医生的负担。但是，由于分布（OOD）数据默默失败，深度学习模型在临床常规中不受信任。我们提出了一种轻巧的OOD检测方法，该方法利用特征空间中的Mahalanobis距离，并无缝集成到最新的分割管道中。简单的方法甚至可以增加具有临床相关的不确定性定量的预训练模型。我们在四个胸部CT分布偏移和两个磁共振成像应用中验证我们的方法，即海马和前列腺的分割。我们的结果表明，所提出的方法在所有探索场景中有效地检测到遥远和近型样品。
translated by 谷歌翻译
腿部机器人可以穿越各种各样的地形，其中一些可能对轮式机器人（例如楼梯或高度不平衡的表面）具有挑战性。然而，四倍的机器人面临湿滑表面上的稳定挑战。可以通过切换到更保守和稳定的运动模式，例如爬网模式（始终与地面三英尺接触）或安排模式（一只脚一次接触）来防止这种方法来解决这一问题。潜在跌落。为了应对这些挑战，我们提出了一种从过去的机器人体验中学习模型的方法，以预测潜在的失败。因此，我们仅基于本体感受的感觉信息触发步态切换。为了学习这种预测模型，我们提出了一个半监督的过程，用于在两个阶段中检测和注释地面真相滑移事件：我们首先在步态数据的时间序列序列中使用无可教力的异常检测器检测到异常发生，然后，然后，然后检测到异常情况。在重播模拟中，通过人类知识进行了验证，以断言滑移事件。这些注释的滑移事件随后用作地面真理示例，以训练整体决策者，以预测跨地形的滑移概率以进行遍历。我们分析了由腿部机器人在具有湿滑地形的多个站点上记录的数据分析模型。我们证明，潜在的滑移事件可以预测在潜在跌倒之前的720毫秒之前，平均精度大于0.95，平均F评分为0.82。最后，我们通过将其在腿部机器人上部署并根据滑移事件检测切换其步态模式来实时验证我们的方法。
translated by 谷歌翻译
利用许多离线机器人数据来源需要努力处理此类数据的异质性。在本文中，我们关注异质性的一个特定方面：从不同控制频率收集的离线数据学习。在整个实验室中，控制器的离散化，传感器的采样率以及对目标任务的需求可能会有所不同，从而导致聚合数据集中的频率混合在一起。我们研究离线增强学习（RL）算法如何在训练过程中使用频率混合的数据。我们观察到，$ Q $价值以不同的离散率以不同的速度传播，从而导致了离线RL的许多学习挑战。我们提出了一个简单而有效的解决方案，该解决方案可以在$ Q $值更新的速率上执行一致性，以稳定学习。通过缩放$ n $ n $ n $步骤的$ n $的价值，并具有离散化的大小，我们有效地平衡了$ q $ - 价值传播，从而导致更稳定的收敛性。在三个模拟的机器人控制问题上，我们从经验上发现，这种简单的方法的平均混合量超过50％。
translated by 谷歌翻译