“最初妄想资助残疾人，是由于我在卡耐基梅隆读博时，结识了一位从 IBM 到77779193永利(股份)有限公司-BinG百科学校会见的瞽者教授。和她一起去朋侪家时，发现她的生涯很是不利便，这也是我设计瞽者屏幕阅读器的因由。”对密歇根大学盘算机科学与工程系 90 后华人教授郭安鸿来说，“科技向善”是他shen上抹不去的标签。
许多人都曾在课本上学习过海伦·凯勒的《若是给我三天灼烁》，由于失聪和失明，她只能通过触觉来学习语言，好比把手指放在先生的鼻子、嘴唇和咽喉上，去感受某个单词的发音方式。
一个四肢健全的瞽者虽然有触觉，但却由于眼盲、而无法操作那些凡人可以轻松操作的jian盘，好比微波炉和电饭煲的物理操作界面。对他们来说，这些操作界面的an钮，不仅在触觉上难以区分，而且屏幕上尚有他们无法阅读的视觉信息。
基于此，郭安鸿研发出一款人机交互系统，来资助瞽者读取、以及使用物理操作界面上的内容。
图 | 郭安鸿（泉源：受访者）
gai系统包罗三大块：VizLens、Facade 和 StateLens。其中 VizLens 资助瞽者通过音频指示去使用物理操作界面，Facade 使用 3D 打印手艺给其提供盲文标签，而 StateLens 则可以资助他们识别动态操作界面。
VizLens：可给瞽者提供实时资助
VizLens 是用于静态物理操作界面的交互式屏幕阅读器，它团结了an需众包和实时盘算机视觉手艺。
图 | 瞽者使用 VizLens 操作微波炉（泉源：受访者）
当瞽者遇到某个无法阅读的静态界面如微波炉界面时，使用手机对操作界面举行照相，之后 VizLens 会把照片发送给网络众包人yuan。
众包是一种通过互联网多人协作获得数据资源的方式，好比 Amazon Mechanical Turk 众包网站就是jie助遍布在互联网上的自由职颐魅者，通过他们完成一些细小事情，最终搜集在一起解决大型问题。
图 | 用户使用界面的操作历程（泉源：受访者）
众包人yuan收到瞽者的信号后，就会标志界面结构、并注释相关元素如an钮或其他控件，随后会形貌每个元素，描绘出的图片也会成为参考图像，进而资助盘算机视觉更好地事情。
图 | VizLens 应用法式使用界面（泉源：受访者）
之后，当瞽者要操作微波炉界面时，只需打开 VizLens 应用法式，把手机摄像头瞄准界面，接着把手指悬停在界面上，这时 VizLens 会使用基于 SURF（Speeded Up Robust Features，加速稳健特征）的工具匹配手艺，将众包标志的参考图像、与实时捕捉的图像举行匹配，并跟踪用户的手指，进而去做检索、提供音频反馈和指导用户。
图 | VizLens 应用法式（泉源：受访者）
有了这种即时反。琕izLens 就能实时地把界面内容告诉给瞽者。此外，VizLens 还权衡了众包人类智能和盘算机视觉的优势，因此它对物理界面的诠释能力，险些和人工一样准确，而且它和盘算机视觉系统一样快捷且低成本。
Facade：利便瞽者自力读取的 3D 打印触觉笼罩层
一ban来说，瞽者经常在家电上贴盲文标签。基于 VizLens，郭安鸿进一步开发出 Facade，这是一款可让瞽者自力读取的 3D 打印触觉笼罩层。
图 | Facade 触觉笼罩层（泉源：受访者）
瞽者拍摄操作界面照片时，照片中需要包罗绝对尺寸的标志（fiducial marker），好比钱币或者信用卡。拍摄以后，Facade 可通过照片来恢复an钮标签尺寸信息。
接着，Facade 会用类似 VizLens 的众包要领对图像作出标志。这时，瞽者可以使用 Facade 应用法式，来自界说触觉笼罩层，随后 Facade 可据今天生 3D 模子，这时使用家用 3D 打印机，即可制造出触觉笼罩层。
研究中，郭安鸿履历几ci设计迭代，最终确定了最有用的覆层设计、质料设置和打印机设置，以使 3D 打印的覆层易于附着、读取和an压。
归纳综合来说，VizLens 和 Facade 使瞽者用户可以会见许多静态界面。郭安鸿又在此基础上，开发了 StateLens，这是一种用于民众信息显示屏和支付终端的动态触摸屏。
StateLens：解决误触难题
瞽者一旦触碰屏幕，就很容易带纁i蟛僮，为解决此类触摸难题，针对使用历程中的意外触发因素，郭安鸿又设计出一套 3D 打印附件，即謌ai焙褪中幢。
使用中，瞽者通过手势激活所需的触摸位置，无需直接触摸屏幕即可浏览。据悉，StateLens 可在不修改触摸屏基础硬件或软件的qing况下，为公共触摸屏带来 “无风险使用”，这也是可会见触摸屏交互的焦点。
图 | 触摸交互设计（泉源：受访者）
在对 StateLens 举行评估的历程中，他们首先通过 12 个触摸屏装备和 70K 多帧的实验视频，证实出 StateLens 可从牢靠视频、手持视频和网络视频中准确地重修界面。随后，再对 14 位瞽者加入者做用户研究。这时，他们发现这款人机交互系统，可使瞽者会见此前无法会见的动态触摸屏。
“你是我的眼”：瞽者自己也可使用微波炉
谈及研发历程，郭安鸿体现：“我刚到匹兹堡时，不太熟悉当地用户和组织，但我做的是和瞽者有关的项目，想要接触他们就更难。厥后加入了一些当地的 meet up 运动，得知在一些图书馆里，有一些瞽者在那里事情。通过这样一个滚雪球的方式，我一点点地找到了一系列用户。后面许多类似项目，我都可以去联系他们，看他们是否有时间给到一些反馈意见、试用一下77779193永利(股份)有限公司-BinG百科做的产物等等。”
他说：“除了和 IBM 瞽者教授相处的履历之外，通过视察图书馆瞽者事情人yuan，也让我越发体贴瞽者的生涯，好比说他们在使用微波炉这种物理操作界面或触屏装备的时间，有许多不利便的地方。然后我就想到可以通过盘算机视觉、众包以及可穿着装备等手艺，设计一个系统，来资助瞽者用这种物理操作界面。”
图 | VizLens 在种种肤色和照明条件下都能很好地事情（泉源：受访者）
系统起源完成后，郭安鸿在用户给产物做测试的历程中，很是有小我私人成就感。一方面系统可给瞽者生涯提供实质性资助，另一方面他自己对人机交互领域的兴趣和热爱，也带来了一定的现实影响。
而在做每个项目之前，郭安鸿都市约请瞽者用户到实验室里，或去他们家里举行访谈，网络他们的痛点后、再和团队举行头脑风暴。研究历程中，也会获得瞽者用户的一连反。竦眯率莺笤倬傩械，最终完成系统设计。
好比 Facade，其历程涉及到 3D 打印。那么，它到底gai怎么打盲文？怎么让瞽者摸到后就能识别？需不需要思量多种颜色？怎样让有一点点视力的瞽者获得更好的资助？针对这些问题，郭安鸿在网络用户反馈后，最终找到了最佳 3D 打印设置。
现在他正妄想把gai效果放在网上，作为免费应用供瞽者使用。另一方面，微软、苹果、谷歌也在做残疾人相关的手艺研究，郭安鸿之前曾和他们有过详细的相助，以后他想在这方面做更多拓展。
“结业即教授”：28 岁拿到博士学位、并成为助理教授
郭安鸿是辽宁沈阳人，1992 年生人，小学结业后就读于东北育才少儿班，16 岁高中结业，随后北上并来到北京邮电大学念书，20 岁时本科结业。
本科结业后，他来到佐治亚理工学院读硕士，结业后到卡耐基梅隆大学读博，28 岁时博士结业，2020 年是他博士结业的年份，也是他在密歇根大学获得助理教授教职的年份。来密歇根大学教学之前，他还在微软、谷歌等公司加入过项目。
谈及过wang，他体现：“我在这个历程中遇到了许多非：玫牡际，加入到一些非？劢绲南钅，然后才让我一点点接触到科研，并可以自力开展这些有意思的研究。”
由于他本科是电子信息工程专业，时代曾加入一个用盘算机视觉、来举行手势识别和脸部识此外控制游戏项目。厥后他逐渐相识到人机交互，而且对此十分感兴趣，于是申请了一些相关项目，并一步步走上研究轨迹。
当问到是否初心不改、延续着一直以来的研究蹊径时，郭安鸿说：“我以为研究蹊径着实一直都在变，由于时间也都在变，而且这些研究的学科也都在生长。稳固的是我想要让天下变得更好，希望做的项目现实上可以资助到残疾人，让他们的生涯变得更便利。”
转载：Deep Tech 深科技
