|
概述实现内容（我这是拿来做演示的，因此只需实现下面一部分，后面提到的什么google glass、AR、VR，不要在意）： 1、 能识别全尺寸键盘图样上的所有文本、符号内容及全尺寸钢琴键图样上的键位、黑白色； 2、 能捕捉手指动作、区分各个手指； 3、 能根据上述两者判断事件，映射为键盘键入，或仅凭2实现鼠标控制； 4、 能根据上述两者判断事件，映射为虚拟钢琴键入； 5、 能通过安置在摄像头旁的反光镜扩展摄像头拍摄范围，确保上述能够实现； 6、 提供一个简单的程序使用方式，包括提供摄像头型号、反光镜参数、安置方式，供本人还原硬件，以及简单的软件功能调用方式等； （所述内容涉及方法等均已在专利权保护之内，请勿恶意利用。） 鄙人不久前看到谷歌科技挑战赛（描述文本在我的网盘分享里）正在征集阶段，脑中恰有一个不错的想法，但是其实现需要编程，主要是视觉图像分析什么的。我科普了一下，要编写出实际程序需要会用C++，分析程序不可能自建，现有的工具是OpenCV，主要好像基于C++，Java不太清楚，似乎可以用但比较麻烦。 挑战赛是面向全球的。征集早就开始但我知道得太晚了，5.18结束征集，自学编程显然来不及。所以只好向大家求助了，心想大学里高人应该不少。回报就从奖金中分成吧，所以注意，可能没有回报！按照其奖金设定，如果得“大奖”，则回报为伍W，如果得探险者奖、创新者奖、建设者奖或银河先锋者奖，则回报为壹点伍W。如果不获奖，你仍可以拿到2500的基础酬劳。 特殊条件：能在5.13（含）之前完成程序的编写并交付； 通俗说来，就是利用摄像头捕捉视觉图像、手指动作等，对图像中的内容进行分析，结合图像内容和动作来判断事件，然后对智能设备进行控制、输入等。当然这是狭隘的，之后会有说明。 具体而言，我们可以用打印纸打印一键盘图样，平铺于摄像头可捕获的区域内，光学字符识别程序可以识别出其上的字符信息，我们在上面敲击，动作同样会被捕捉，结合这两样能干什么——打字输入。当然了，我们也可以把图样拿掉，仅分析手指动作，这可以实现鼠标操作。还有一个有趣的玩法：用钢琴键图样替代键盘图样，玩虚拟的全尺寸电子钢琴！其实还有很多想象空间，其玩法是多样的。 有趣吗？有用吗？能否实现？ 答案都是肯定的，不过也有个问题——拍摄范围限制。实际上，我们的智能手机并不是都能支在桌子上拍摄离自己较近且面积较大的物体。解决方法之一是将之支得高一点，角度也调整下。但这并不是那么方便。还有一个办法是用反光镜（组合）来扩展智能设备摄像范围，这要结合一些硬件，但使用体验好得多。不过可以想见，这个设想在Google Glass上实现是很有趣的，在GG上就不需要外围设备了。 我们的最终目标是将之应用于移动设备上，但是作为演示，也为了便于调试，暂时只要开发出能结合PC使用的程序就够了。如果不嫌麻烦，希望能得到能直接在智能手机上使用的程序。 以下是更加标准化、术语化的详细描述： 1、在智能终端中植入软件应用程序，该软件应当具有光学识别组件，并对摄像头具有完全的调用权限。设备以一定状态持续拍摄一定范围内的图像，该范围下称视界。多数情况下，视界中应当有图样（如键盘图样）；系统需要确定特定字符在视界中的对应位置及其范围；摄像头同时捕捉并分析手指或其他符合条件的物体在该范围内的动态信息（点击、长按、滑动等），确定输入事件。当然，在不涉及字符的情况下同样能够完成输入。通过分析捕捉到的手指（或其他，下统称指示物）的状态，手及手指的特征，区分出不同的手指，根据定义的映射值，可以实现一系列操作，包括对鼠标指针的控制(位移、滑动、点击)等。 2、所述图样仅代表部分情景中的使用方式，而不是限制，应当理解，视界内一切可识别的文本或非文本信息（不同于视界内静态的背景，区别于所述指示物，下统称反馈物），均可结合指示物状态映射为操作指令，具体而言，使用者可以打印一键盘图样来实现字符键入，也可以打印一黑白钢琴键图样来实现虚拟的弹钢琴操作。 3、所述反馈物的本质是为判断系统和（或）使用者提供物理反馈（光学反馈，即“看到”），为系统和使用者的操作提供依据，反馈物允许虚拟化，即，通过某种手段（VR/AR），在视界中添加虚拟的反馈物，同样的，结合指示物状态，能够映射为操作指令。具体而言，使用者可以使用AR技术在视界内叠加虚拟的键盘图样（如，微软HoloLens），也可以使用VR技术在被直接观察的视觉图像中添加拍摄内容的实时推送窗口，同时添加所需图样至拍摄的视频内容中（如，脸书oculus，需添加前置摄像头）。 4、所述确定特定字符在视界中的对应位置及其范围，其实现通常需要光学字符识别（OCR）才能实现，当OCR组件检测到并识别出视界内的文本内容时，根据摄取的图像中字符的外部附加图像（框/格）或字符间的相对距离，结合图样特征（倾斜情况等），就能够确定字符在视界内的位置、范围，在虚拟化环境中，其位置和范围与添加的图样中的位置和范围对应。 某些情况下，摄像设备的拍摄角度会限制本发明的实施，具体而言，平铺在桌面上的键盘图样可能不在支起的智能手机或平板的摄像范围内，在此公开一种解决方案，如下： 使用反射镜（组合）构建一种特殊的、微型的硬件，所述反射镜用于改变光路，其原理同潜望镜、凸面镜等，通过调整内部的镜片状态，来调整其拍摄范围、角度等。该硬件固定于智能终端摄像头处。由于反射后直接所得的图像可能反转、倾斜，软件的算法程序中应当结合镜片状态等变量加入图像调整、还原程序，这较易实现，在此不作赘述。 所述用于改变光路的反射镜（组合）的状态改变，即摄像范围（角度）的调整，可以手动完成，亦可以加入电动控制装置，通过蓝牙，由智能终端发出指令调整其状态。 最后强调一下，这个程序用来作演示。只需实现开头所述几点功能即可。
| 
发表于 2016-5-6 22:52:21
楼主
