AI+camera, 从分析到实践（计算机视觉）

本人程序员一枚，专注于计算机视觉，现就职于AI独角兽公司。代表产品是一款家居智能摄像头，负责摄像头的移动追踪功能，现产品销量已达百万台。然而我一分钱都没有分到。

看到很多同仁和欲进入这个行业的人想要对此有较为深入的了解，在此我就认真地分享一下，来弥补下我受伤的小心脏。

正文开始

未来,IP camera 主要会向着高分辨率,智能化与低功耗发展而目前在市面 上流行的大多数家用 IP camera 并不具备智能视频分析模块，仍是传统的视频 传输至云端,再在 app 上查看的模式。现在,google nest，360 等少部分公司在 市场上已有一些带有智能分析的产品，但功能大多是关于人脸识别技术的应用。 其中的原因，一是智能分析技术不够商业化,二是部署成本太高。但随着硬件与 算法的优化，未来几年 AI 在视觉类将会有大的爆发。

在智能视频分析中,主要包括人体感知技术,人脸识别技术,物体检测技术,场 景识别技术,空间感知技术。同时，也需要学习智能分析后的数据,这方面的方案 主要应用于企业与政府,比如智慧城市中的人流与车流预警,智能疏通。在家用 中，也可以根据智能分析得到物体出现的时间与空间来帮助用户设置一些配置信 息，学习用户的生活规律。

AI 视频类方案总结

AI 视频类分析模块主要在云端和嵌入式端实现。云端深度学习视觉:深度学 习精度高，精度高，适应光照姿态变化，集中式计算，动态性弱。嵌入式深度学 习视觉:计算发生在设备前端，实时处理，分布式计算，动态性强。

具体方案

1、嵌入式端实现

1）AI芯片视觉类模块

说明：如繁星 AI 芯片视觉模块(sensor+IS P+VPU+ 嵌入式深度学 习视觉算 法),需要调 通视觉模组 与主控芯片

兼容性：需要硬件 的支持,对 于以前的 设备,不能 更新

优点：可以作为独立AI摄像头嵌入到各种设备当中。也可以作为视觉协处理器，支持多种数据接口，真正能够做到即插即用、便捷高效

缺点：目前 AI 视觉类模 块不多,但未来一定会越来越多

2）AI芯片

说明：如瑞芯微RV1108 芯片支持AI 类视觉类分析

兼容性：需要硬件的支持,对于以前的设备,不能更新

优点：芯片厂商已经集成在sdk 中，只需要调用就行

缺点：目前的芯片大多不支持,但未来一定会越来越多

3）软件实现

说明：部分AI 公司提供嵌入式端的人形识别算法,如商汤的PPL

兼容性：需要硬件的支持,对于以前的设备,不能更新

优点：通用性较高

缺点：对硬件的性能会有较高的要求

2、云端实现

1）基于公有云的AI 服务/搭建自己的云端服务

说明：AI 公司在云端提供视频分析的服务

兼容性：对所有的设备都可以更新

优点：兼容性高

缺点：需要一定的反应时间；需要结合设备端来降低成本

人体感知技术

利用深度学习技术，从图像和视频中识别手势动作，检测人体，识别人体行 为，并跟踪人体的特征，帮助机器和智能产品辨识手部指令，判断视频流中是否 有人体出现，识别不同的手部形态，人体姿态，肢体动作，并可实现跟踪人体。

各类技术的简要说明：

有人/无人感知 ：检测/视频流中是否有人体出现，支 持头肩，腿部等人体部分区域检测。

人体追踪 ：在视频流中追踪人体位置的移动，遮挡 终端后，可恢复跟踪

人体姿态检测,行为识别 ：支持在图像/视频流中对站立,行走,坐 立,跌倒,蹲下等不同姿态的检测。

手势识别 ：从视频流中识别并跟踪人手部特征，帮 助机器和智能产品辨别

有人感知/无人感知

人体感知技术是很重要的需求。现在厂商大多使用移动侦测去推告警信息,非常的不准确且针对性不强。使用人体感知技术可以针对人体这个特性,给用户 更好，更准确的推送消息。

应用与方案分析

1、人体感应，推动告警信息

参考方案：PIR。

技术指标：需要硬件的支持,对于以前的设备,不 能更新

2、分析用户对指定区域的兴趣度与分析场景的人数

参考方案1:PV1108

说明：由瑞芯微与阅面科技推 出的 AI 芯片,算法跑在dsp 上

技术指标：检测速度:8~9fps；最大检测距离:8 米+；最大检测数目:10+

参考方案2:阿里云等 AI 公司提供的 公有云服务

说明：可为开发者和企业提供 高性能的在线 API 服务

技术支持：在云端可实时

参考方案3:繁星 AI 芯片视觉模组

说明：繁星 AI 芯片视觉模块由 Sensor+ISP+VPU+嵌 入式深度学习视觉算法 组成，能从芯片端智能输 出结构化数据

技术支持：可实时获取并分析图像或视频流中的人头和人脸信息，进行人数、人群属性以及轨迹分析

人体追踪

在人体检测后,跟踪人体运动记录人体的运动轨迹

应用与方案可行性分析

1、 记录人体的运动轨迹,可进行进出指定区域的人数统计(同时可以释放人体 检测，节约运算资源）

参考方案1:Rv1108

说明：由瑞星微与阅面科技推 出的 AI 芯片,算法跑在dsp 上

技术指标：检测速度:50ms；最大检测距离:4 米 ；追踪精度:98%

参考方案2:繁星 AI 芯片视觉模组

说明：AI 芯片模块

技术指标：可实时记录 15 人运动轨迹及运动 方向，可进行进出指定区域的人数 统计，准确率达 95%。

人体姿态检测，行为识别

通过检测人体的各个节点(头，手臂,腿部等),可以得到人体的姿态(站立,行走,坐立，跌倒)。

应用与方案可行性分析

得到人体姿态属性,对人体行为进行识别。(比如:老人跌倒告警,破坏公 共设施)

手势识别

通过识别一些手势，实现简单的人机交互。

应用与方案可行性分析

手势识别来控制摄像机拍照，通话等

参考方案：繁星 AI 芯片视觉模块

说明：支持掌、拳、V 字手型、伸掌、 握拳、挥手等多种手势 *** 控

行人再识别

行人再识别是通过人体的特征来识别人(如人脸识别),它一直是世界顶级实验室与公司研究的一个较难的模块,目前精度还小于 80%。还达不到大众民用阶段。

应用与方案分析

多摄像机记录人的运动轨迹(主要应用与一些大型的安防场景，如酒店， 机场。)

因为创作不易，呕心沥血，并且干货满满。

将文章设置成了付费模式（只要5块钱），在此只展示全文的1/3。

全文结构如下：

购买链接： AI+camera, 从分析到实践

如果你只是随便看看，没有深入了解的需求，那么

进入面包多： >

视觉传达设计（VisualCommunicationDesign）是为传播特定事物通过可视形式的主动行为。大部分或者部分依赖视觉，并且以标识、排版、绘画、平面设计、插画、色彩及电子设备等二度空间的影像表现。视觉传达设计的过程中发现了一个现象：传播、教育、说服观众的影像伴随以文字会具有更大的影响。

所具有的含义是：以某种目的为先导的，通过可视的艺术形式传达一些特定的信息到被传达对象，并且对被传达对象产生影响的过程。所谓“视觉符号”，顾名思义就是指人类的视觉器官——眼睛所能看到的能表现事物一定性质的符号，如摄影、电视、**、造型艺术、建筑物、各类设计产品、城市建筑以及各种科学、文字，也包括舞台设计、音乐、纹章学、古钱币等都是用眼睛能看到的，它们都属于视觉符号。所谓“传达”，是指信息发送者利用符号向接受者传递信息的过程，它可以是个体内的传达，也可能是个体之间的传达，如所有的生物之间、人与自然、人与环境以及人体内的信息传达等。它包括谁、把什么、向谁传达、效果、影响如何这四个程序。

视觉传达更偏向交互设计，即communicationdesign，注重的是交互体验和交互感受，侧重点是功能性。但也具备平面设计图形和颜色间的搭配，具备视觉美学。

从专业来分析：主要包括标志设计、广告设计、包装设计、店内外环境设计、企业形象设计等方面，由于这些设计都是通过视觉形象传达给消费者的，因此称为\"视觉传达设计\"，它起着沟通企业--商品--消费者桥梁的作用。

该专业要求学生具备扎实的视觉传达设计的基础理论知识和较强的专业技能，还要懂艺术、懂经济、懂市场、懂管理、能创造、会设计，能在事业单位、专业设计部门、科研单位从事视觉传达设计工作。

视觉传达设计是通过视觉媒介表现并传达给观众的设计，体现着设计的时代特征和丰富的内涵，其领域随着科技的进步、新能源的出现和产品材料的开发应用而不断扩大，并与其他领域相互交叉，逐渐形成一个与其他视觉媒介关联并相互协作的设计新领域。其内容包括：印刷设计、书籍设计、展示设计、影像设计、视觉环境设计（即公共生活空间的标志及公共环境的色彩设计）等。

视觉传达设计多是以印刷物为媒介的平面设计，又称装潢设计。从发展的角度来看，视觉传达设计是科学、严谨的概念名称，蕴含着未来设计的趋向。就现阶段的设计状况分析，其视觉传达设计的主要内容依然是GraphicDesign一般专业人士习惯称之为“平面设计”。“视觉传达设计”、“平面设计”两者所包含的设计范畴在现阶段并无大的差异，“视觉传达设计”、“平面设计”在概念范畴上的区分与统一，并不存在着矛盾与对立。

视觉传达设计是为现代商业服务的艺术，主要包括标志设计、广告设计、包装设计、店内外环境设计、企业形象设计等方面，由于这些设计都是通过视觉形象传达给消费者的，因此称为“视觉传达设计”，它起着沟通企业——商品——消费者桥梁的作用。视觉传达设计主要以文字、图形、色彩为基本要素的艺术创作，在精神文化领域以其独特的艺术魅力影响着人们的感情和观念，在人们的日常生活中起着十分重要的作用。

对于每一个开发者而言，开发工具就相当于他们的武器，选择一个合适的工具能够帮助我们在工作时事半功倍，在互联网逐渐发展成熟的今天，越来越多的开发工具供我们选择，但其中总有一些更好用的，如何选择成为了一大难题。

从而颁布了2021年StackShare第八届顶级工具奖，快来看看有没有你青睐的开发工具吧。

年度最佳新兴工具

1FastAPI

FastAPI 是一个使用 Python36+ 构建 Web API 的高性能框架。根据框架创建者的说法，FastAPI 性能与 NodeJS 或 Golang 相当。

2GitHub Copilot

作为一款 AI 结对编程工具，Copilot 的主要定位是提供类似 IntelliSense/IntelliCode 的代码补全与建议功能，但在实际表现上有望超越同样由微软合作伙伴 OpenAI 开发的 Codex AI 系统。

3FiglamFigma

Figma 是一个 基于浏览器 的协作式 UI 设计工具，从推出至今越来越受到 UI 设计师的青睐，也有很多的设计团队投入了Figma 的怀抱，

4Logtail

Logtail是日志服务提供的日志采集Agent，用于采集阿里云ECS、自建IDC、其他云厂商等服务器上的日志。本文介绍Logtail的功能、优势、使用限制及配置流程等信息。

5Coder

开发人员工作区平台·

6Chartscsscss

Chartscss 是用于数据可视化的开源 CSS 框架，帮助用户理解数据，帮助开发人员使用简单的 CSS 类将数据转换为漂亮的图表。·

7Counter

简单并且免费的网络分析·

8React Query

React Query是一个库，可为任何类型的异步数据提供ReactJS状态管理功能。根据他们的官方文件，·

9vscodedev

将VS Code引入浏览器，构建一个可以在浏览器中完全无服务器运行的开发工具。

10BookStack

BookStack 是一个开源的、基于 Laravel + Vuejs 构建的知识管理和服务平台。具有简单但功能强大的所见即所得编辑器，允许团队轻松创建详细且有用的文档。·

11ThunderClient

Thunder Client 为我们提供了一款轻量级、易用、整洁、简单的 Rest API 客户端扩展。·我们可以利用 Thunder Client 在编辑器内快速测试代码库的 API 端点，从而最大限度地减少页面的切换。它可以替代 Postman，作为常用的无脚本测试工具。

12Quod AI

Quod AI Code Search是一个由人工智能驱动的Chrome扩展，可以自动从Git存储库或Jira问题中搜索代码。

它使用问题的标题和描述，并自动在你的Git存储库中找到匹配的内容。

13Dendron

Dendron 是典型的开源社区编程思维的解决方案，虽然初看起来有一点学习曲线，但从根本上是给了使用者最大的自由发挥空间，同时又提供了最强大和最彻底的工具生态支持。·

14Notion API

把概念和你每天使用的工具联系起来·

15Github1s

只需1秒，就可以用VS Code方式来看GitHub代码。·

16Ocean

容器的无服务器基础架构引擎·

17Magic

快速构建应用程序，可定制，无密码登录

·

18Jina

更简单的一种在云上构建神经搜索的方法，

19Focalboard

一款开源、本地存储、免费的类 Notion 应用Focalboard 的自我定位是“Trello、Notion 和 Asana 的开源、自托管替代品”。·

20zx

更好地编写脚本的工具（By Google）

21OpenSearh

OpenSearch是阿里云开放搜索简称，为解决用户结构化数据搜索需求的托管服务，支持数据结构、搜索排序、数据处理自由定制。·

22Querybook

一个可以发现、创建和共享数据分析、查询以及表的大数据IDE（通过Pinterest），

23MangoDB

MongoDB是一款为web应用程序和互联网基础设施设计的数据库管理系统。MongoDB就是数据库，是NoSQL类型的数据库

24TooIJet

Retool的开源替代品·

25Kitemaker

Kitemaker是为团队而非经理创建的超快速问题跟踪器。为远程团队创建的Jira的快速替代方案·

26Appflowy

Appflowy 是一款使用 Flutter 和 Rust 构建的开源笔记软件，它支持Windows、macOS和Linux，可以免费下载使用

27Kubegres

Kubegres 是一个 Kubernetes Operator，用来部署并维护 PostgreSql 集群，提供开箱即用的数据复制和故障转移功能，简化 PostgreSql 集群生命周期管理，降低数据复制的复杂性

28Lightning Web Components

Lightning Web Components,业内简称LWC,是Salesforce于Spring 19发布的一款新型Lightning Component，快速的企业级Web组件基础

29Judo

用无代码构建原生应用体验

30Apache APISIX

Apache APISIX Apache APISIX是一个动态、实时、高性能的API网关。提供了丰富的流量管理功能，如负载均衡、动态上游、canary释放、断路、认证、可观察性等。

31Control

提供免费的加速、自动化安全性以及SOC2合规

32Remix

专注于Web技术和现代 用户体验的框架

33NocoDB

免费并且开源的Airtable替代方案

34JetBrainsQodana

评估你拥有的、合同或购买的代码的完整性

35TabnineAI

只能代码编写

36Coolify

一个开源的，自适应的Heroku和Netlify的替代品

37Penpot

开源设计和原型平台

38Portman

Postman介绍：postman是一个开源的接口测试工具，无论是做单个接口的测试还是整套测试脚本的拨测都非常方便。

39Devops Stack

持续部署Kubernetes环境

40Slidev

面向开发人员的演示幻灯片

41ReScript

ReScript 是一门针对 JavaScript 程序员的新语言，特别是对 TypeScript 和 Flow 的类型安全感兴趣的程序员。ReScript 的语法和 JavaScript 非常相似

42Fig

自定完成终端

43FlutterFlow

Flutterflow 是一个在线低码平台,使人们在视觉上以人们在视觉上构建本机移动应用程序。

44Porter

运行在你自己的云中的Heroku

45SigmaOS

在 SigmaOS 中，你会看到完全不同的浏览器布局，它更像是一个工作台

46VictoeiaMetrics DB

快速、低成本的监控解决方案和时间序列数据库

47CloudflarePages

JAMstack平台为前端开发者提供协作和部署网站的平台

48 Devbook

面向开发者的搜索引擎

49Front Matter

直接在VS Code中管理静态站点

50Supacase UI

用于企业仪表的React组件库

以上可以说是集结了开发行业中的所有“神器”，不仅能助力程序员高效工作，也是今后走向开发岗位小伙伴们的加薪工具。小伙伴可以从中挑选适合自己的工具~

以上就是关于AI+camera, 从分析到实践（计算机视觉）全部的内容，包括:AI+camera, 从分析到实践（计算机视觉）、怎么在vs2022中编译opencvmat类的源码、简述视觉传达设计的功能和过程等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！