您当前位置:品牌家电网 >> 聚焦

复旦大学团队研发AI大模型助视障者“看见”世界

发布时间 2024-03-04 15:04 -- 来源 人民网 阅读量:16017   
【导读】复旦大学团队研发AI大模型助视障者“看见”世界 只需一枚摄像头和一对耳机,画面能够被转化成语言,描绘场景、提示风险,让视障者出行更安全、生活更便捷……记者2日获悉,在复旦大学自然语言处理实验室(FudanNLP)师生的努力下,基于多模...

复旦大学团队研发AI大模型 助视障者“看见”世界

复旦大学团队研发AI大模型助视障者“看见”世界

只需一枚摄像头和一对耳机,画面能够被转化成语言,描绘场景、提示风险,让视障者出行更安全、生活更便捷……记者2日获悉,在复旦大学自然语言处理实验室(FudanNLP)师生的努力下,基于多模态大模型“复旦·眸思”(MouSi)为视障者量身打造的“听见世界”APP上线,将成为视障人士的生活助手与智能管家。

基于“眸思”,“听见世界”APP为视障者日常生活需求量身打造街道行走模式、自由问答模式和寻物模式。在街道行走模式中,“眸思”如一位忠实的向导。红绿灯、十字路口、障碍物……它能细致扫描道路情况,提示潜在风险,陪伴视障者安全通行“看不见”的漫漫长路。

在自由问答模式中,“眸思”则像一位贴心的朋友,走进博物馆、艺术馆、公园……捕捉四周景象的每个细节,用声音构建丰富的生活场景,传递每一处日常之美。在寻物模式中,“眸思”将成为一名可靠的管家,被移动过的手杖、最爱口味的牛奶……它可以让视障人士找寻日常物件变得轻松。

复旦大学自然语言处理实验室张奇教授说:“人工智能发展日新月异,科技应该要改变更多人的生活,希望‘眸思’能够帮助视障人士走出家门,让他们可以尝试更多工作,为人生书写更多可能。”据介绍,该项目的主导者都是“初出茅庐”的学生们,在组内头脑风暴会上,年轻学子总能提出开创性想法,能够找到另辟蹊径的解决办法。

自去年9月以来,复旦大学自然语言处理实验室围绕GPT4-v复现多模态大模型,对核心关键点开展研究,希望提升单项任务的准确率和强化大模型的学习。为了更好地感受视障者的难处,团队成员模拟真实情境,蒙眼探索视障者“黑暗”世界。他们邀请视障人士加入,进一步摸清真实而具体的需求。

据了解,团队计划与NGO组织、智算中心和硬件厂商等开展合作,致力于让视障者免费使用产品和相关服务。预计今年3月“听见世界”APP将完成第一轮测试,在中国一、二线城市和地区同步开启试点,根据算力部署情况进行推广。

免责声明:该文章系本站转载,旨在为读者提供更多信息资讯。所涉内容不构成投资、消费建议,仅供读者参考。

热门资讯