From smoothly pursuing moving objects to rapidly shifting gazes during visual search, humans employ a wide variety of eye movement strategies in different contexts. While eye movements provide a rich window into mental processes, building generative models of eye movements is notoriously difficult, and to date the computational objectives guiding eye movements remain largely a mystery. In this work, we tackled these problems in the context of a canonical spatial planning task, maze-solving. We collected eye movement data from human subjects and built deep generative models of eye movements using a novel differentiable architecture for gaze fixations and gaze shifts. We found that human eye movements are best predicted by a model that is optimized not to perform the task as efficiently as possible but instead to run an internal simulation of an object traversing the maze. This not only provides a generative model of eye movements in this task but also suggests a computational theory for how humans solve the task, namely that humans use mental simulation.

我们展示了一个新的数据集和基准，其目的是在大脑活动和眼球运动的交叉口中推进研究。我们的数据集EEGEYENET包括从三种不同实验范式中收集的356个不同受试者的同时脑电图（EEG）和眼睛跟踪（ET）录像。使用此数据集，我们还提出了一种评估EEG测量的凝视预测的基准。基准由三个任务组成，难度越来越高：左右，角度幅度和绝对位置。我们在该基准测试中运行大量实验，以便根据经典机器学习模型和大型神经网络提供实心基线。我们释放了我们的完整代码和数据，并提供了一种简单且易于使用的界面来评估新方法。

关于人类阅读的研究长期以来一直记录在阅读行为表明特定于任务的效果，但是建立一个通用模型来预测人类在给定任务中将显示什么的通用模型。我们介绍了Neat，这是人类阅读中注意力分配的计算模型，基于人类阅读优化了一项任务中关注经济和成功之间的权衡。我们的模型是使用当代神经网络建模技术实施的，并对注意力分配的分配方式在不同任务中如何变化做出明确的测试预测。我们在一项针对阅读理解任务的两个版本的眼影研究中对此进行了测试，发现我们的模型成功说明了整个任务的阅读行为。因此，我们的工作提供了证据表明，任务效果可以建模为对任务需求的最佳适应。

视觉搜索是几乎任何日常人类目标与环境的目标互动的重要组成部分。如今，几种算法能够在简单的观察期间预测凝视位置，但是很少有模型试图在自然场景中视觉搜索期间模拟人类行为。此外，这些模型在其设计中差异很大，并且在评估它们的数据集和度量标准中展示了不同的差异。因此，需要一个参考点，每个模型可以测试，并且可以从哪里导出潜在的改进。在目前的工作中，我们在自然场景中选择公开的最先进的视觉搜索模型，并在不同的数据集中评估它们，采用相同的指标来估算其与人类受试者的效率和相似性。特别是，我们通过与基于神经网络的视觉搜索模型的组合来提出对理想贝叶斯搜索者的改进，使其能够概括到其他数据集。目前的工作揭示了当前模型的局限性以及如何通过组合方法来实现潜在的改进。此外，它向前移动了为迫切需要基准测试数据和指标的解决方案，以支持更多一般人类视觉搜索计算模型的开发。

生物视觉系统的神经基础在实验上研究很具有挑战性，特别是因为相对于视觉输入，神经元活性变得越来越非线性。人工神经网络（ANN）可以为改善我们对这一复杂系统的理解提供各种目标，不仅充当硅中新假设产生的感觉皮层的预测数字双胞胎，而且还融合了生物启发的建筑主题，以逐步桥接桥梁生物和机器视觉之间的差距。该鼠标最近已成为研究视觉信息处理的流行模型系统，但是尚未确定识别鼠标视觉系统最新模型的标准化大规模基准。为了填补这一空白，我们提出了感官基准竞赛。我们从小鼠初级视觉皮层中收集了一个大规模数据集，其中包含七个小鼠的28,000多个神经元的反应，并通过数千个自然图像刺激，以及同时的行为测量，包括跑步速度，瞳孔扩张和眼动。基准挑战将基于固定测试集​​中神经元响应的预测性能对模型进行对模型，其中包括两个模型输入的轨道，仅限于刺激（感觉到）或刺激加行为（感觉符号+）。我们提供一个起始套件，以降低进入障碍的障碍，包括教程，预训练的基线模型以及带有一条线命令以进行数据加载和提交的API。我们希望将其视为定期挑战和数据发布的起点，也是衡量鼠标视觉系统及其他大规模神经系统识别模型中进度的标准工具。

神经记录的进展现在在前所未有的细节中研究神经活动的机会。潜在的变量模型（LVMS）是用于分析各种神经系统和行为的丰富活动的有希望的工具，因为LVM不依赖于活动与外部实验变量之间的已知关系。然而，目前缺乏标准化目前阻碍了对神经元群体活性的LVM进行的进展，导致采用临时方式进行和比较方法。为协调这些建模工作，我们为神经人群活动的潜在变量建模介绍了基准套件。我们从认知，感官和机动领域策划了四种神经尖峰活动的数据集，以促进适用于这些地区各地的各种活动的模型。我们将无监督的评估视为用于评估数据集的模型的共同框架，并应用几个显示基准多样性的基线。我们通过评估释放此基准。 http://neurallatents.github.io.

在人类机器人的相互作用中，眼球运动在非语言交流中起着重要作用。但是，控制机器人眼的动作表现出与人眼动物系统相似的性能仍然是一个重大挑战。在本文中，我们研究了如何使用电缆驱动的驱动系统来控制人眼的现实模型，该系统模仿了六个眼外肌肉的自由度。仿生设计引入了解决新的挑战，最值得注意的是，需要控制每种肌肉的支撑，以防止运动过程中的紧张感损失，这将导致电缆松弛和缺乏控制。我们构建了一个机器人原型，并开发了一个非线性模拟器和两个控制器。在第一种方法中，我们使用局部衍生技术线性化了非线性模型，并设计了线性 - 季度最佳控制器，以优化计算准确性，能量消耗和运动持续时间的成本函数。第二种方法使用复发性神经网络，该神经网络从系统的样本轨迹中学习非线性系统动力学，以及一个非线性轨迹优化求解器，可最大程度地减少相似的成本函数。我们专注于具有完全不受限制的运动学的快速saccadic眼球运动，以及六根电缆的控制信号的生成，这些电缆同时满足了几个动态优化标准。该模型忠实地模仿了人类扫视观察到的三维旋转运动学和动力学。我们的实验结果表明，尽管两种方法都产生了相似的结果，但非线性方法对于未来改进该模型的方法更加灵活，该模型的计算是线性化模型的位置依赖性偏向和局部衍生物的计算变得特别乏味。

Recent progress in artificial intelligence (AI) has renewed interest in building systems that learn and think like people. Many advances have come from using deep neural networks trained end-to-end in tasks such as object recognition, video games, and board games, achieving performance that equals or even beats humans in some respects. Despite their biological inspiration and performance achievements, these systems differ from human intelligence in crucial ways. We review progress in cognitive science suggesting that truly human-like learning and thinking machines will have to reach beyond current engineering trends in both what they learn, and how they learn it. Specifically, we argue that these machines should (a) build causal models of the world that support explanation and understanding, rather than merely solving pattern recognition problems; (b) ground learning in intuitive theories of physics and psychology, to support and enrich the knowledge that is learned; and (c) harness compositionality and learning-to-learn to rapidly acquire and generalize knowledge to new tasks and situations. We suggest concrete challenges and promising routes towards these goals that can combine the strengths of recent neural network advances with more structured cognitive models.

视觉搜索是一项普遍存在的，通常挑战日常任务，是通过寻找家中的汽车钥匙或在人群中的朋友。一些经典搜索任务的有趣性属性是一种不对称性，使得在分散的人B中找到目标A可以比找到A中的B.为了阐明对视觉搜索中的不对称负责的机制，我们提出了一种占据目标的计算模型和将搜索图像作为输入，并在找到目标之前产生一系列眼睛移动。该模型将偏心依赖性视觉识别与目标相关的自上而下的提示集成在一起。我们将六种范式搜索任务中的人类行为与人类显示不对称的案式进行比较。如果没有先前接触刺激或任务特定的培训，则该模型提供了搜索不对称的合理机制。我们假设搜索不对称的极性来自自然环境的经验。我们通过培训模型在想象中的增强版本的模型进行测试，其中自然图像的偏差被移除或逆转。根据训练协议，搜索不对称的极性消失或被改变。本研究强调了神经网络模型可以出现古典感知特性如何，而无需特定于任务培训，而是由于馈送到模型的发育饮食的统计特性。所有源代码和数据都在https://github.com/kreimanlab/visualsearchaseSearmmetry上公开使用。

眼目光信息的收集为人类认知，健康和行为的许多关键方面提供了一个窗口。此外，许多神经科学研究补充了从眼睛跟踪中获得的行为信息，以及脑电图（EEG）提供的高时间分辨率和神经生理学标记。必不可少的眼睛跟踪软件处理步骤之一是将连续数据流的分割为与扫视，固定和眨眼等眼睛跟踪应用程序相关的事件。在这里，我们介绍了Detrtime，这是一个新颖的时间序列分割框架，该框架创建了不需要额外记录的眼睛跟踪模式并仅依靠脑电图数据的眼部事件检测器。我们的端到端基于深度学习的框架将计算机视觉的最新进展带到了脑电图数据的《时代》系列分割的最前沿。 Detr Time在各种眼睛追踪实验范式上实现眼部事件检测中的最新性能。除此之外，我们还提供了证据表明我们的模型在脑电图阶段分割的任务中很好地概括了。

Applying convolutional neural networks to large images is computationally expensive because the amount of computation scales linearly with the number of image pixels. We present a novel recurrent neural network model that is capable of extracting information from an image or video by adaptively selecting a sequence of regions or locations and only processing the selected regions at high resolution. Like convolutional neural networks, the proposed model has a degree of translation invariance built-in, but the amount of computation it performs can be controlled independently of the input image size. While the model is non-differentiable, it can be trained using reinforcement learning methods to learn task-specific policies. We evaluate our model on several image classification tasks, where it significantly outperforms a convolutional neural network baseline on cluttered images, and on a dynamic visual control problem, where it learns to track a simple object without an explicit training signal for doing so.

阅读和驾驶等日常任务的核心是主动对象识别。目前无法合并时间来阻碍建模此类任务的尝试。人们在速度和准确性之间表现出灵活的权衡，而这种权衡是至关重要的人类技能。深层神经网络已成为预测人类对象识别峰值和神经活动的有前途的候选人。但是，建模时间维度，即速度准确性权衡（SAT），对于它们作为人类如何识别对象的有用计算模型至关重要。为此，我们在这里介绍了第一个大规模（148个观察者，4个神经网络，8个任务）数据集，该数据集是识别Imagenet图像时速度准确性折衷（SAT）。在每个人类试验中，哔哔声表示所需的反应时间，在显示图像后以固定的延迟发出声音，并且观察者的响应仅在哔哔声附近发生时才计算。在一系列块中，我们测试了许多蜂鸣延迟，即反应时间。我们观察到人类的准确性随反应时间的增加而增加，并继续将其特征与能够推理时间自适应计算的几个动态神经网络的行为进行比较。我们将FLOPS作为反应时间的模拟，我们将网络与人类在曲线拟合误差，类别相关性和曲线陡度中进行比较，并得出结论，级联的动态神经网络是对象识别任务中人类反应时间的有希望的模型。

深度神经网络在计算机视觉中的许多任务中设定了最先进的，但它们的概括对象扭曲的能力令人惊讶地是脆弱的。相比之下，哺乳动物视觉系统对广泛的扰动是强大的。最近的工作表明，这种泛化能力可以通过在整个视觉皮层中的视觉刺激的表示中编码的有用的电感偏差来解释。在这里，我们成功利用了多任务学习方法的这些归纳偏差：我们共同训练了深度网络以进行图像分类并预测猕猴初级视觉皮层（V1）中的神经活动。我们通过测试其对图像扭曲的鲁棒性来衡量我们网络的分发广泛性能力。我们发现，尽管在训练期间没有这些扭曲，但猴子V1数据的共同训练导致鲁棒性增加。此外，我们表明，我们的网络的鲁棒性非常接近Oracle网络的稳定性，其中架构的部分在嘈杂的图像上直接培训。我们的结果还表明，随着鲁布利的改善，网络的表示变得更加大脑。使用新颖的约束重建分析，我们调查了我们的大脑正规网络更加强大的原因。与我们仅对图像分类接受培训的基线网络相比，我们的共同训练网络对内容比噪声更敏感。使用深度预测的显着性图，用于想象成像图像，我们发现我们的猴子共同训练的网络对场景中的突出区域倾向更敏感，让人想起V1在对象边界的检测中的作用和自下而上的角色显着性。总体而言，我们的工作扩大了从大脑转移归纳偏见的有前途的研究途径，并为我们转移的影响提供了新的分析。

如何构建理解人类意图的AI，并利用这些知识与人合作？我们描述了用于评估3D电动机动作域中的目标推断模型的计算框架，其接收代理机构的3D坐标，以及可能的目标，以产生预期目标的连续更新的推断。我们在使用新的目标达到任务中评估我们三个行为实验中的框架，其中人类观察者推断出在分散注意力中达到目标的参与者的意图。我们描述了使用贝叶斯逆计划和逆体运动学预测该域中的人类意图推理。我们将模型与三种启发式进行比较，这将使用简单的假设对演员的约束的简单假设来形成最少的原则，而无需使用逆计划。尽管具有更高的计算方式，但是生成的身体运动学模型在某些场景中优于诸如障碍物的环境，并且在actor与预期目标相对远的时候达到动作的开始。启发式在达到动作的后期阶段越来越准确，例如，当预期的目标关闭时，可以通过推断手腕轨迹来推断。我们的结果确定了逆体运动学对意图推理的上下文。我们表明，人类观察者确实依赖于这种情景中的逆体运动学，这表明建模体运动可以提高推理算法的性能。

我们在动态环境中跟踪多个物体的能力使我们能够执行日常任务，例如驾驶，运动运动和在拥挤的购物中心行走。尽管有关多个对象跟踪（MOT）任务的三十年文献，但基本和交织的神经机制仍然知之甚少。在这里，我们研究了脑电图（EEG）神经相关性及其在3D-MOT任务的三个阶段的变化，即识别，跟踪和回忆。我们记录了24名参与者的脑电图活动，而他们执行了3D-MOT任务，其中有1、2或3个目标，其中一些试验被横向进行，有些则没有。我们观察到从跟踪到回忆时，集中注意力与工作记忆过程之间似乎是一种交接。我们的发现表明，在跟踪过程中，从额叶区域的三角洲和theta频率有很强的抑制作用，随后在召回过程中对这些相同频率的激活强烈（重新）激活。我们的结果还显示了在识别阶段和召回阶段的对侧延迟活性（CDA），但在跟踪过程中没有。

Reliable and robust user identification and authentication are important and often necessary requirements for many digital services. It becomes paramount in social virtual reality (VR) to ensure trust, specifically in digital encounters with lifelike realistic-looking avatars as faithful replications of real persons. Recent research has shown that the movements of users in extended reality (XR) systems carry user-specific information and can thus be used to verify their identities. This article compares three different potential encodings of the motion data from head and hands (scene-relative, body-relative, and body-relative velocities), and the performances of five different machine learning architectures (random forest, multi-layer perceptron, fully recurrent neural network, long-short term memory, gated recurrent unit). We use the publicly available dataset "Talking with Hands" and publish all code to allow reproducibility and to provide baselines for future work. After hyperparameter optimization, the combination of a long-short term memory architecture and body-relative data outperformed competing combinations: the model correctly identifies any of the 34 subjects with an accuracy of 100% within 150 seconds. Altogether, our approach provides an effective foundation for behaviometric-based identification and authentication to guide researchers and practitioners. Data and code are published under https://go.uniwue.de/58w1r.

深度卷积神经网络（DCNN）最初是受生物视觉原理的启发，已演变为对象识别的最佳当前计算模型，因此表明在整个与神经图像和神经时间序列数据的比较中，都表明了与腹视觉途径的强大结构和功能并行性。随着深度学习的最新进展似乎降低了这种相似性，计算神经科学面临挑战，以逆转工程，以获得有用模型的生物学合理性。虽然先前的研究表明，生物学启发的体系结构能够扩大模型的人类风格，但在本研究中，我们研究了一种纯粹的数据驱动方法。我们使用人类的眼睛跟踪数据来直接修改训练示例，从而指导模型在自然图像中对象识别期间的视觉注意力朝着或远离人类固定的焦点。我们通过GARGCAM显着性图比较和验证不同的操纵类型（即标准，类人类和非人类的注意力）与人类参与者的眼动数据。我们的结果表明，与人类相比，所提出的指导焦点操作的作用是在负方向上的意图，而非人类样模型则集中在明显不同的图像部分上。观察到的效果是高度类别特异性的，它通过动画和面部的存在增强，仅在完成前馈处理后才开发，并表明对面部检测产生了强烈的影响。然而，使用这种方法，没有发现人类的类似性。讨论了公开视觉注意力在DCNN中的可能应用，并讨论了对面部检测理论的进一步影响。

现代目光跟踪系统中的相机具有基本的带宽和功率限制，实际上将数据采集速度限制为300 Hz。这会阻碍使用移动眼镜手术器的使用，例如低潜伏期预测性渲染，或者在野外使用头部安装的设备来快速而微妙的眼动运动，例如微扫视。在这里，我们提出了一个基于混合框架的近眼凝视跟踪系统，可提供超过10,000 Hz的更新速率，其准确性与在相同条件下评估时相匹配的高端台式机商业跟踪器。我们的系统建立在新兴事件摄像机的基础上，该摄像头同时获得定期采样框架和自适应采样事件。我们开发了一种在线2D学生拟合方法，该方法每一个或几个事件都会更新参数模型。此外，我们提出了一个多项式回归器，用于实时估算参数学生模型的凝视点。使用第一个基于事件的凝视数据集，可在https://github.com/aangelopoulos/event_based_gaze_tracking上获得，我们证明我们的系统可实现0.45度 - 1.75度的准确度，用于从45度到98度的视野。借助这项技术，我们希望能够为虚拟和增强现实提供新一代的超低延迟凝视呈现和展示技术。

苏黎世认知语言处理语料库（Zuco）提供了来自两种读取范例，正常读取和特定任务读数的眼跟踪和脑电图信号。我们分析了机器学习方法是否能够使用眼睛跟踪和EEG功能对这两个任务进行分类。我们使用聚合的句子级别功能以及细粒度的单词级别来实现模型。我们在主题内和交叉对象评估方案中测试模型。所有模型都在Zuco 1.0和Zuco 2.0数据子集上进行测试，其特征在于不同的记录程序，因此允许不同的概括水平。最后，我们提供了一系列的控制实验，以更详细地分析结果。

图像区域的人类优先级可以以显着图或依次使用扫描模型进行时间不变的方式建模。但是，尽管两种类型的模型在几个基准和数据集上都稳步改善，但预测人类凝视仍然存在很大的差距。在这里，我们利用最近的两个发展来减少这一差距：理论分析建立一个原则性的框架，以预测下一个凝视目标和对凝视切换的人为成本的经验测量，而与图像内容无关。我们在顺序决策的框架中介绍了一种算法，该算法将任何静态显着性映射转换为一系列动态历史依赖的值映射序列，在每个注视转移之后都会重新计算。这些地图基于1）任意显着性模型提供的显着性图，2）最近测量的人类成本函数量化了眼动的大小和方向的偏好，以及3）连续探索奖金，随后的每次凝视随着每个探索而变化。该探索奖金的空间范围和时间衰减的参数是从人类凝视数据中估计的。这三个组件的相对贡献在MIT1003数据集上优化了NSS得分，并且足以显着超过NSS上的下一个注视目标的预测，并且在三个图像数据集中，对于五个最神经的显着性模型，对NSS的下一个凝视目标和AUC分数进行了预测。因此，我们提供了人类凝视偏好的实施，可用于改善任意显着性模型的“对人类对人类的预测”的下一个凝视目标。