如何开始使用OAK和OAK-D?
连接到OAK的USB-C连接器传输数据和电源。只需打开硬件的盒子,将其连接到计算机并运行一些命令。你的空间AI将在几分钟内运行。
安装DepthAI:DepthAI是Luxonis运行计算机视觉模型的软件库。我们需要安装它来运行我们的模型。安装文档可在DepthAI的安装指南中找到。
对于ubuntu用户连接OAK-D,打开终端并运行这些命令来安装python、DepthAI、DepthAI python需求,并将系统指向OAK设备。
sudo apt install git python3-pip python3-opencv libcurl4 libatlas-base-dev libhdf5-dev libhdf5-serial-dev libatlas-base-dev libjasper-dev libqtgui4 libqt4-test
echo 'SUBSYSTEM=="usb", ATTRS{idVendor}=="03e7", MODE="0666"' | sudo tee /etc/udev/rules.d/80-movidius.rules
sudo udevadm control --reload-rules && sudo udevadm trigger
git clone https://github.com/luxonis/depthai.git
cd depthai
python3 -m pip install -r requirements.txt
安装完所有内容后,运行命令
python3 test.py
现在你可以看到OAK-D运行的对象检测模型可以检测80个常见对象。有了OAK和OAK-D,我们可以使用它们提供的自由神经网络或者我们可以用免费的google colab notebook训练新的神经网络。
OAK系列神经网络;COVID-19掩膜/无掩膜检测,年龄识别情绪识别人脸检测面部标志(如眼角、嘴角、下巴等)一般目标检测(20级)行人检测车辆检测该列表会定期添加。现在,如果我们想训练自己的模型,就在公共数据集上训练模型,并使用OpenVINO将其部署到OAK和OAK-D。OAK-1和OAK-D都支持Linux、macOS和Windows主机,这使得它具有足够的通用性,可以用于任何大小的原型流程。要部署和训练你自己的模型,请遵循本教程:将自定义模型部署到Luxonis OAK-快速入门指南https://blog.roboflow.com/deploy-luxonis-oak/是的,这样就可以插上电源,随时可以使用了。它附带python示例。同时支持C++,因为API是用pybd11编写的,用于Python绑定。基于节点的管道生成器也可用于安排计算机视觉和人工智能工作流,使多步空间人工智能变得简单。这允许你拖放脚本,可以生成一个脚本,作为图像处理管道运行。为了简化原型设计,我可以做的是拖放所需的任务(例如,对象检测),并拖动任何其他转换和参数进行定制。
如何使用空间AI在OAK-D上使用空间AI有两种方法。1) 融合立体深度的单眼神经推理。在这种模式下,神经网络在融合了视差深度结果的单个相机(左/右/RGB)上运行。在这种模式下,物体的边界框将显示在物体的中间,物体的深度将显示。
2) 立体神经推理。在这种情况下,神经网络在OAK-D的左右摄像头上并行运行,直接用神经网络生成3D位置数据。在这两种情况下,都可以使用标准的神经网络。神经网络不需要用三维数据进行。OAK-D在这两种情况下都使用标准的2D网络自动提供3D结果。
在上面的例子中,神经网络在两个摄像机上并行运行。