机器视觉开发套件FS_AICVA

基于人工智能、嵌入式、云台的机器视觉开发套件，从使用多种技术相结合实现图像识别、人脸识别、目标检测、目标跟踪等实际案例。满足高校人工智能基础理论教学、人工智能综合项目案例、嵌入式基础教学等。通过理论加实践的教学方式培养学生创新能力及用工具解决问题的能力。
一.硬件资源
1.12V/4A电源适配器1个
2.实验箱尺寸：480mm*365mm*152mm。
3.嵌入式AI运算单元
CPU：四核ARM的Cortex-A57处理器
GPU：128个NVIDIA的CUDA核心
内存：4GB64位LPDDR4
存储空间：16GBeMMC5.1内存
网络：千兆以太网卡
I/O：1Xsdio/2xSPI/6XI2C/2xI2S/GPIO
4.嵌入式AI控制单元
处理器：Cortex-M3内核的STM32F103系列处理器，最高主频72MHz，LQFP64封装，具有64KB的RAM和512KB的FLASH。主要用于云台控制。
物联网无线传感网络接口：可兼容zigbee、蓝牙、WiFi、IPV6、LORA、NBIoT等网络类型。
云台控制接口：具有云台控制接口，可实现云台的实时操控。
5.平板电脑
外形尺寸：10.1寸
分辨率：1920*1200
触摸类型：电容触摸
6.云台 
尺寸：120mm*120mm*116mm
自由度：2自由度（旋转180°，俯仰180°）
舵机型号：LD-1501MG和LDX-218MG
LD-1501MG参数：重量：61g，尺寸：54*20*45.5mm，产品速度：0.16sec/60°，堵转扭矩：13kg/cm 6V，15kg/cm 6.5V，17kg/cm 7V，额定电压：6V，空载电流：100mA。
LD-218MG参数：重量：56g，尺寸：40*20*51mm，产品速度：0.16sec/60°，堵转扭矩：15kg/cm 6V，17kg/cm 7.4V，额定电压：6V，空载电流：100mA。
7.键盘
键盘标准：69-88键
传输方式：无线
8.工业级USB免驱摄像头
4位图像色彩，MJPEG图像下：输出分辨率1920*1080时31帧成像，输出分辨率1280*720时60帧成像，输出分辨率800*600时60帧成像，输出分辨率640*480时120帧成像，120°广角无畸变。

二.软件资源
1.FS-AI开放平台
1.1 第三方接入
通过接入第三方的AI开放平台（例如百度AI开放平台），实现图像识别功能。
1.2 FastDL
训练完成的模型可发布为设备端SDK、私有服务器部署、软硬一体方案，灵活适配各种使用场景及运行环境。
1.3适配机器视觉开发套件项目
1）手写数字识别
基于摄像头的手写数字识别，学生可以在设备上完成基于深度学习框架的卷积神经网络，并结合摄像头拍摄到的图像以及学习的OpenCV图像预处理的相关知识实现实时的手写数字识别。
2）云台控制
基于云台的控制，可实现两自由度云台角度控制。
3）颜色跟踪
基于云台与摄像头，实现多种颜色全倾斜跟踪，学生通过项目了解图像的颜色空间与多种通信手段。
4）人脸检测
基于深度学习的人脸检测方案，实现单人、多人的人脸检测，基于人脸检测可实现表情包添加、人脸化妆等功能。
5）人脸比对
基于深度学习的人脸对比，可实现双人、多人的1:1人脸对比方案，基于此可进一步实现闸机通行检测、身份校对等功能。
6）人脸识别
基于深度学习的人脸识别，可实现多人人脸同时的1:N识别方案，同时基于此可实现公共安全检测等功能。
7）目标检测（基于平板摄像头）
基于深度学习的目标检测项目，识别率更高，鲁棒性更强，可以在复杂场景中准确地找到目标。
8）目标跟踪（基于设备摄像头）
基于深度学习的目标检测项目，识别率更高，鲁棒性更强，可以在复杂场景中准确地找到目标。
9）目标跟踪
基于云台、摄像头与深度学习的目标跟踪项目，可在复杂场景与多目标中找到目标，实现目标的唯一性跟踪。

2.AI Studio平台
AI Studio平台提供AI Studio平台，无需在计算机上搭建任何环境，平台在使用手册中插入可运行的碎片化代码进行运行处理。

3.《人工智能实验系统》软件
3.1环境搭建
Linux系统：
基于Python-3.5.2，TensorFlow-1.7.0，Qt-5.5的人工智能+显示平台的环境搭建。
Windows系统：
基于Python-3.5.3，TensorFlow-1.7.0的人工智能环境搭建（CPU运算）；
基于Python-3.5.3，CUDA9.0，CUDNN7.0，TensorFlow-1.7.0的人工智能环境搭建（GPU运算）。
3.2 Python基础教程
1)Python基础：
Python基础，Python注释，Python行和缩进，Python标识符，Python关键字，Python输入输出，Python数字类型，Python字符串，Python列表，Python元组，Python字典，Python数据类型转换，Python算术运算符，Python条件语句，Python循环语句
2)Python高级：
Python函数，Python变量，Python面向对象，Python继承，Python多态，Python异常处理，Python模块，Python包，Python模块的发布安装和使用
3)Python项目：
基于Python的飞机大战项目
3.3人工智能开发
1)人工智能基础：
数据集介绍、深度学习简介、TensorFlow简介、TensorFlow入门操作（输出、常量的处理：加减乘除、变量的处理：加减乘除、矩阵的处理：加乘）。
2)基本处理算法：
用于处理分类问题的解决算法：K最近邻算法、逻辑回归算法；
用于处理回归预测问题的解决算法：线性回归算法；
3)神经网络算法：
介绍了在神经网络中常用到的函数以及多种神经网络：
基于前馈人工神经网络模型的多层感知器（MLP）；
基于前馈人工神经网络模型的卷积神经网络（CNN）并在多个数据集上进行了解释；
基于闭合回路的递归神经网络的长短期记忆网络（LSTM）；
基于闭合回路的递归神经网络的双向循环神经网络（Bi-RNN）；
基于反向传播算法的进行空间表征的压缩重构的自编码器（Autoencoder）。
4)TensorFlow的实用技术：
对训练出来的模型进行保存和恢复以进行新的预测，TensorFlow中Graph的可视化以及训练过程中loss的可视化。
5)高级框架TFLearn：
TFLearn常用API的介绍；
基于TFLearn进行回归预测问题的解决算法实现；
基于Fine-tuning实现对原模型的微调以及大型数据集的处理方案。
6)TFLearn视觉网络：
介绍了在计算机视觉中常用到的神经网络：
基于TFLearn实现前馈人工神经网络模型的多层感知器（MLP）；
基于TFLearn实现前馈人工神经网络模型的卷积神经网络（CNN）并在多个数据集上进行了解释；
基于TFLearn实现更为深度的（8个学习层）CNN网络AlexNet；
基于TFLearn实现改进了传统的CNN网络新型网络Network In Network（NIN）；
基于反向传播算法的进行空间表征的压缩重构的自编码器（Autoencoder）。
7)基于百度AI开放平台的人工智能图像识别实验：
通用物体识别、菜品识别、车辆识别、动物识别、植物识别；
8)基于百度AI开放平台的人工智能语音识别实验；
9)基于百度AI开放平台的人工智能人脸识别实验：
人脸检测、添加人脸库、人脸识别、改进人脸返回值；
10)人工智能应用实验：
OpenCV图像采集以及处理、手写数字识别、车牌识别、目标检测、人脸识别、语音识别。投标现场需提供项目演示视频；
3.4人工智能机器视觉开发
1)机器视觉概念与发展
2)OpenCV框架介绍
3)OpenCV图像打开与保存
4)图像色彩空间变换
5)图像阈值分割
6)基于Canny算法的图像边缘检测
7)图像灰度特征提取
8)人脸检测（基于Haar级联分类器）
9)人脸检测（基于AI开放平台）
10)人脸识别（基于对比）
11)人脸识别（基于AI开放平台）
12)人脸识别设备实现（基于face_recognize）