The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.

We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.

尽管最近通过生成对抗网络（GAN）操纵面部属性最近取得了非常成功的成功，但在明确控制姿势，表达，照明等特征的明确控制方面仍然存在一些挑战。最近的方法通过结合2D生成模型来实现对2D图像的明确控制和3dmm。但是，由于3DMM缺乏现实主义和纹理重建的清晰度，因此合成图像与3DMM的渲染图像之间存在域间隙。由于渲染的3DMM图像仅包含面部区域，因此直接计算这两个域之间的损失是不理想的，因此训练有素的模型将是偏差的。在这项研究中，我们建议通过控制3DMM的参数来明确编辑验证样式的潜在空间。为了解决域间隙问题，我们提出了一个名为“地图和编辑”的新网络，以及一种简单但有效的属性编辑方法，以避免渲染和合成图像之间的直接损失计算。此外，由于我们的模型可以准确地生成多视图的面部图像，而身份保持不变。作为副产品，结合可见性掩模，我们提出的模型还可以生成质地丰富和高分辨率的紫外面部纹理。我们的模型依赖于验证的样式，并且提出的模型以自我监督的方式进行了训练，而无需任何手动注释或数据集训练。

我们研究了Levin（1993）所述的动词交替类的程度和句子级预测任务。我们遵循并扩展了Kann等人的实验。（2019年），旨在探测静态嵌入是否编码动词的框架选择性。在单词和句子级别上，我们发现来自PLM的上下文嵌入不仅超过了非上下文嵌入，而且在大多数交替类中的任务上达到了惊人的高精度。此外，我们发现证据表明，PLM的中间层平均比所有探测任务中的较低层都能取得更好的性能。

我们介绍了一项对自然语言（NL）推理的人类通知，开放域和逻辑上复杂且多样的数据集，配备了一阶逻辑（fol）注释。对开本由1,435个示例（独特的结论）组成，每个示例与487组前提之一搭配，这些场所作为规则，可用于演绎理由，以理解每个结论的有效性。前提和结论的逻辑正确性是通过其平行注释来确保的，这些注释会自动由我们的FOL推理引擎验证。除了主要的NL推理任务外，对开本中的NL-FOL对自动构成了使用FOL作为逻辑形式的新的NL-FOL翻译数据集。我们对广泛的实验系统地评估了对中型语言模型（BERT，ROBERTA）进行微调的FOL推理能力，并且在大型语言模型（GPT-NEOX，OPT，OPT，GPT-3，Codex）上促成了很少的射击。对于NL-FOL翻译，我们尝试使用GPT-3和Codex。我们的结果表明，公开可用的最强大的大语言模型之一（LLM），GPT-3 Davinci，仅比随机结果略好，而在一部分集的一部分中，该模型尤其不好，并且在预测该模型方面尤其不好。纠正虚假和未知结论的真实价值。我们的数据集和代码可在https://github.com/yale-lily/folio上找到。

多年来，2d Gans在影像肖像的一代中取得了巨大的成功。但是，他们在生成过程中缺乏3D理解，因此他们遇到了多视图不一致问题。为了减轻这个问题，已经提出了许多3D感知的甘斯，并显示出显着的结果，但是3D GAN在编辑语义属性方面努力。 3D GAN的可控性和解释性并未得到太多探索。在这项工作中，我们提出了两种解决方案，以克服2D GAN和3D感知gan的这些弱点。我们首先介绍了一种新颖的3D感知gan，Surf-Gan，它能够在训练过程中发现语义属性，并以无监督的方式控制它们。之后，我们将先验的Surf-GAN注入stylegan，以获得高保真3D控制的发电机。与允许隐姿姿势控制的现有基于潜在的方法不同，所提出的3D控制样式gan可实现明确的姿势控制对肖像生成的控制。这种蒸馏允许3D控制与许多基于样式的技术（例如，反转和风格化）之间的直接兼容性，并且在计算资源方面也带来了优势。我们的代码可从https://github.com/jgkwak95/surf-gan获得。

由于合奏数据集的较大尺寸和多元和时间特征，可视化集成模拟的不确定性是具有挑战性的。研究合奏不确定性的一种流行方法是分析水平集的位置不确定性。概率游行立方体是一种对多变量高斯噪声分布​​进行蒙特卡洛采样的技术，以实现位置不确定性可视化水平集。但是，该技术遭受了较高的计算时间，因此无法实现交互式可视化和分析。本文介绍了一种基于深度学习的方法，用于学习具有多元高斯噪声假设的二维集合数据的级别不确定性。我们使用工作流程中的时变集成数据的前几个时间步骤训练模型。我们证明，我们训练的模型可以准确地渗透新的时间步骤的不确定性，并且比具有串行计算的原始概率模型的速度快于170倍，并且比原始平行计算快10倍。

模拟/混合信号电路设计是整个芯片设计过程中最复杂，最耗时的阶段之一。由于芯片制造的各种过程，电压和温度（PVT）变化，模拟电路不可避免地会遭受性能降解。尽管在典型条件下自动化模拟电路设计方面已经有很多工作，但在探索在真实且不可预测的硅变化下探索可靠设计的研究有限。针对变化的自动模拟设计需要过度的计算和时间成本。为了应对挑战，我们提出了RobustanAlog，这是一个强大的电路设计框架，涉及优化过程中的变化信息。具体而言，不同变化下的电路优化被认为是一组任务。任务之间的相似之处是杠杆作用，并且可以缓解竞争以实现样本效率高的多任务培训。此外，Robustanalog根据每次迭代中当前的性能来修剪任务空间，从而导致进一步的模拟成本降低。这样，鲁棒可以迅速产生一组电路参数，这些电路参数满足各种变化的各种约束（例如增益，带宽，噪声...）。我们将Robustanalog与贝叶斯优化，进化算法和深层确定性策略梯度（DDPG）进行了比较，并证明Robustanalog可以将所需的优化时间显着减少14-30次。因此，我们的研究提供了一种处理各种真实硅条件的可行方法。

机器学习和认知科学的最新工作表明，了解因果信息对于智力的发展至关重要。使用``Blicket otter''环境的认知科学的广泛文献表明，孩子们擅长多种因果推理和学习。我们建议将该环境适应机器​​学习代理。当前机器学习算法的关键挑战之一是建模和理解因果关系：关于因果关系集的可转移抽象假设。相比之下，即使是幼儿也会自发学习和使用因果关系。在这项工作中，我们提出了一个新的基准 - 一种灵活的环境，可以评估可变因果溢出物下的现有技术 - 并证明许多现有的最新方法在这种环境中概括了困难。该基准的代码和资源可在https://github.com/cannylab/casual_overhypothess上获得。