type
status
date
slug
summary
tags
category
icon
password
Property
我们实验室http://www.mipav.net/的研究方向是医学影像处理与分析,在OCT眼科人工智能诊断方面做的比较出色,也联合生产了比较多的产品和系统平台:
我们也在和很多的医院合作,用AI赋能医疗领域,辅助医生诊断,缓解医疗资源紧缺,力求减少医学上误诊漏诊的的现象
项目背景
儿童眶下壁骨折是我和苏州大学附属儿童医院眼科的一个合作项目:
成人眼眶骨折在临床是容易诊断的,对于儿童而言,由于儿童骨骼尚未发育成熟,骨质弹性大,副鼻窦骨质相对较厚,面颊部富含脂肪垫,同时面部较平,这种解剖结构在一定程度上对眶壁是一种保护,因此在受到外力猛烈撞击时骨折处不会像成人一样发生较大面积的碎裂和坍塌,因此往往医生即使通过CT也不能很好的分辨,所以会有漏诊的现象,超过治疗的黄金时期可能会导致眼部永久性的坏死。
苏大附属儿童医院眼科也发生几起漏诊现象,为此,他们希望我能够用人工智能去辅助诊断,看看能不能发现医生人眼察觉不到的信息。目前国际上没有使用AI去诊断儿童眶下壁骨折的先例,这个项目具有比较大的临床价值和意义的。
项目详情
项目分为了两部分:
- 儿童眶下壁骨折辅助诊断系统,开发客户端和算法,部署AI模型
- 儿童眶下壁骨数据中心,开发一个Web平台,方便数据的收集和管理
儿童眶下壁骨折辅助诊断系统
项目描述:独立给苏大附属儿童医院开发了辅助诊断系统,帮助眼科解决儿童眶下壁骨折漏诊的痛点
- 使用
QT
开发客户端界面,便于医生的使用。用MySQL
和Redis
来实现用户的登录注册和数据管理:
注:为了安全起见,由于客户端注册的主要是医生,所以用户权限比较高,可以在
web
端上传下载删除数据,而在web
端注册的普通用户,只能查看数据。- 实现了图像预处理功能,包括灰度处理、图像锐化、边缘检测、加噪滤波、仿射变化、透射变换等
- 灰度处理
- 图像锐化
- 边缘检测
- 加噪滤波
- 仿射变化、透射变换
- 实现了图像形态学操作
- 膨胀腐蚀
- 开操作闭操作
- 击中与击不中
- 边界提取
- 区域填充
- 连通分量提取
- 凸壳
- 细化
- 粗化
- 骨架
- 实现了图像传统分割算法
- LiveWire
- 阈值分割
- OSTU
- Kittler
- Hough变换
- 分水岭
- 区域分开合并分割
- 区域生长
- 均值移动分割
- Kmeans
- SVM
- 实现了图片的特征处理
- LBP特征
- 直方图检测
- 模版匹配
- 颜色匹配
- Gabor
- SIFT
- ORB
- Haar
- 实现了视频处理和目标检测
- 实现了眶下壁骨折的三维重建算法,支持医生框选出感兴趣区域,更加直观。
- 儿童眶下壁骨折的自动诊断流程:
- CT图的预处理和头部姿势矫正的配准
- 基于三维重建的手动眼眶分割和自动分割(三维点云数据+三角面片光栅化+漫水填充+DBSCAN密度聚类+K-Means聚类)
- 基于对称注意力的分类网络。
- 通过网络通信采集患者的CT数据发送到服务器(通过了伦理审查),扩充数据以供模型训练,实现TensorRT模型部署
- 在医生使用时,出现了同时对同一张数据处理时图片框选卡住的情况,通过加锁解决了在实际应用中的bug
技术栈:C++、QT、OpenCV、MySQL、Redis、Linux、Python、Pytorch、Scikit-Learn
儿童眶下壁骨折数据中心
项目描述:为了方便眶下壁骨折数据的收集和管理,开发一个Web平台。用C++实现了轻量级WebServer部署网站xukai.cloud,提供了文件上传下载功能。为了外网访问,用C++实现实现了TCP穿透。
- 考虑到租一个云服务器的带宽比较小,下载比较慢,同时硬盘容量比较小。考虑到数据和带宽问题,我在在内网组建一个服务器(6核,2T),局域网内带宽1000M,局域网内可以实现1000兆的传输速度,苏大内网地址
10.10.13.0
- 实现了一个
WebServer
提供Web
浏览器请求和响应数据,部署了我的个人网站和数据中心:使用Epoll与线程池实现多线程的Reactor
高并发模型;使用正则与状态机解析HTTP
报文,支持GET
和POST
报文请求;使用无锁队列实现了数据库连接池,实现用户注册、登录、数据管理功能。苏大内网访问地址10.10.13.0:8090/
- 为了方便局域网外访问,借助公网服务器实现了
TCP
穿透服务:公网服务器在内网服务器访问时识别到了服务器发送IP和端口号;公网服务器同样得到局域网外客户端的的IP
和端口;公网服务器将客户端请求消息转发给内网服务器。
公网访问地址xukai.cloud,目前公网服务器选择的美国的VPS(
198.74.115.220
),只有0.5g的内存,配置低,网络延迟高,选择这个服务器主要好处是可以调用ChatGPT的API,因为医院那边希望我可以使用ChatGPT
做一个和患者可以交互的自动问诊服务,之后根据使用情况考虑是否使用国内的服务器作为替代。目前我的个人网站部署了ChatGPT API
项目:- 为了方便数据的采集,实现了一个简单的
WEB
文件服务器,医生可以通过网页上传下载数据
注:为了安全起见,由于客户端注册的主要是医生,所以用户权限比较高,可以在
web
端上传下载删除数据,而在web
端注册的普通用户,只能查看数据。技术栈:C++、MySQL、Redis、Docker、Linux、HTML/CSS,JavaScript