原标题：OK-Robot机器人完结零样本算法 可在非结构化环境下完结拾取与放置使命
纽约大学的机器人专家团队与Meta人工智能学院研制人员一起合作开发了一种新式机器人，该机器人具有在非结构化环境下的认知才能，可在生疏房间运用视觉言语模型（VLMs），进行物品的抓取与放置。在论文傍边，该团队具体论述了机器人的编程进程以及其在多个实践环境中的测验体现。
研讨人员指出，视觉言语模型（VLMs）在曩昔几年中获得了很快的前进，在依据言语提示辨认物体方面现已很超卓。此外小组成员也说到现在机器人夹具操控技能也在前进，机器人能轻松的将物体捡起，即便是易碎或柔软资料，也不会将其弄坏。但根据VLMs与机器人结合的相关运用仍旧处于待探究阶段。
该项研讨傍边，科学家们测验运用Hello Robot公司所售的一款机器人来完结这一测验。该机器人具有轮子、杆子以及可弹性手臂，手部设有夹具。研讨团队为其装备了从前经过练习的视觉言语模型（VLMs），并将其命名为OK-Robot。
在实践落地测验方面，研讨团队将OK-Robot别离带入10 个志愿者家中，用iPhone对室内场景进行扫描，运用LangSam和CLIP进行核算，并存储在语义内存中。之后给定一个一定要挑选的目标的言语查询，查询的言语表明与语义记忆相匹配。随后，导航和拾取基元将按次序分步履行，移动到所需夹取的物品前进行拾取，之后在需求放置的方位，将物品放置。实践测验进程傍边，OK-Robot顺畅将架子上粉色的瓶子放置在垃圾桶傍边。
OK-Robot共履行了多达170项抓取与放置测验，使命成功率为58%。但是这种成功率很大一部分受外因影响，比方物品太大，物品出现半透明状况，以及物品太滑难以夹取等方面，研讨团队重新整理空间之后，成功率提升至82%。
研讨团队指出，OK-Robot所搭载的体系是零样本算法，这在某种程度上预示着OK-Robot没有在工作环境中接受过练习，因而所获得这样的成果，证明搭载VLMs功用的机器人是可行的。
