杨志明：多模态大模型在云侧和端侧产品规模化落地

　　2024年服贸会专题论坛之一——“2024中国AIGC创新发展论坛”于9月13日-14日在北京举行。深思考人工智能创始人兼CEO杨志明出席并演讲。

　　杨志明表示，目前，大模型在国内卷的很厉害，无论在技术上还是商业上卷的都非常厉害。这就造成一个局面，即大模型本身投入大，算力集群包括研发投入非常大，但真正研发后落地时是非常困难的，to C场景触达不了C端客户，to B场景又有很多定制化的东西。

　　“动辄上千万的投入，怎么去做落地？”，杨志明认为，这就要实现四化：第一是场景化，先不做通用场景，要先做垂域场景化。第二是垂域化，细分领域具体场景。第三是服务化，云侧大模型是基于服务化，MaaS、SaaS，对B端客户来讲做AI就是（解决刚需）降本增效，第四是产品化，做垂域里面的场景化、服务化、产品化落地。

　　以下为演讲实录：

　　杨志明：尊敬的各位来宾，非常荣幸参加演讲，我来自深思考人工智能，主要分享一下多模态大模型的落地与实践，我的题目是“多模态大模型在云侧和端侧产品规模化落地”。

　　主要分几个部分：第一是大模型的产品介绍，第二是我们在云侧大模型的垂域化落地，第三是在端侧大模型的垂域化落地。

　　简单介绍一下深思考，我们大模型落地的比较早，在2020年底就中标了知名手机品牌的手机AI助手“对话引擎模型”，另外也与“奥林巴斯”公司基于AI显微镜的产品也在规模化落地，比其他企业来讲，我们非常突出的特点是我们在垂直领域已经实现了规模化，商业化落地。我们团队主要来自中科院软件所、中科院自动化所、中科院计算所、清华大学、耶鲁大学。我们团队在AI领域连续四次创业，有着非常丰富的创业经验。

　　我们在2016年开始布局相关多模态AI技术、已经在去年2023年隆重发布“Dongni.ai”多模态大模型，该模型能够理解多模态/跨模态数据，具有可溯源、可解释和可控性等特点。

　　目前我们垂直落地的一个重要场景是“癌症早筛”。我们国家包括全世界癌症早筛都是非常适合AI大模型落地的场景，比如，我们国家在推两癌和五癌的筛查，在我们国家的妇女同胞中，仅针对宫颈癌的筛查项目，适龄妇女的目标筛查人数是4-6亿，但是目前只完成了1.1亿人次。整体差距为什么那么大，主要由于我们国家人口多，医疗资源匮乏和不均衡。现在我们通过传统人类专家去做宫颈癌筛查，痛点是：第一，人类专家每天分析的样本量不能超过100例，因为超过100例以后，敏感性直线下降，这样就限制了人类专家的筛查效率。第二，人类专家在宫颈癌筛查这个检测项目的诊断敏感性不是非常理想。现在用我们的AI做分析，可以做到100%不漏诊（注：LSIL及以上），且拥有很好的排阴率。目前我们服务头部大三甲医院、第三方检验机构、体检中心等等。在宫颈癌筛查领域，我们一年完成近三千万人份的筛查辅助分析工作，是真正实现癌症筛查规模化的的AI企业。目前我们也在积极在海外市场进行布局。

　　目前，我们垂直落地的另外一个重要场景是：智能终端，包括AI PC、AI 手机、AI 显微镜、AI NPU包括AI摄像头，我们把多模态大模型落地多个终端场景，近期会有密集的产品发布。简单来讲是将端侧多模态大模型与智能终端相结合，赋能智能终端。

　　下面，简单分享一下我们在云侧大模型的落地。现在大模型在云侧，有一些场景，比如我们在癌症早筛场景中，做第三方医疗检测机构的癌症早筛的时候，第三方早筛量非常大，例如某个客户，在两癌筛查高峰期，单个所一天的筛查量就会超过一万例，每年做三千万人份的筛查服务，其实这个量是非常大的。我们通过云端的SaaS服务或者MaaS服务，为其提供我们的服务。另外还有其他一些场景，包括智慧营销场景，在这个场景中，客户就是通过我们云端大模型，通过调用来使用我们的服务。

　　我们深耕癌症早筛领域多年，拥有巧思系列和慧眼系列、在细胞学的妇科有宫颈癌辅助筛查分析系统，和非妇的尿液脱落细胞、浆膜腔脱落细胞辅助分析系统、还包括染色体核型分析系统、免疫组化分析系统、甲状腺癌辅助分析系统等，我们已经做到深入客户场景，很好的解决了用户的刚需问题。

　　以宫颈癌辅助筛查分析系统为例，我们的突出优势包括LSIL及以上不漏诊、TBS2014分级、多模态分析等。以前AI在医疗领域落地一直说的是影像的分析，其实我们做的不是影像，我们做的是多模态分析，比如宫颈癌筛查，我们的模型可以结合病人的病例、病史、年龄等多模态信息进行分析，而多模态的分析可以避免一些问题误报。比如妇女同胞超过45岁以上宫颈内模细胞会衰老，如果不使用多模态分析，很容易产生误报，但结合了我们的多模态分析以后，可以做很准确的排查。我们说AI的三驾马车：算法、算力和数据，首先，通过我们的落地模式，进行了大量的筛查之后，会得到一个“马太效应”，很好的建立数据壁垒。另外，真正在产品落地时，我们的可解释性也可以体现在产品上。因为AI在医疗里面很重要的一个问题是，你的AI结果医生是天然不相信的，一旦出现假阴性和过多的假阳性，医生们会苦不堪言，没法建立信任感，但是我们模型的可解释性就很好的解决了这个问题。就像法官判案一样，有一个证据链，这样使得用户根据可解释的证据链可以相信建立一个证据链路的闭环。另外我们还支持一份样本实现TCT和DNA倍体的双筛。

　　2019年，在央视一套《机智过人》栏目专题报道了深思考的产品，给大家稍微看一下。

　　（现场播放视频）

　　在真实场景中，我们的AI非常适合赋能基层医疗机构。发达地区拥有很好的医疗设备和专家资源，但是中国还有非常多的地方没有这么好的医疗资源，尤其在国家重点推行的两癌筛查或者五癌筛查的地区，筛查量是非常大的，对AI的需要是刚需。巧思品牌现在是非常知名的品牌，是深思考癌症早筛平台下的系列产品。目前商业模式是SaaS和Maas服务模式。

　　接下来，讲一下深思考端侧大模型落地，赋能终端侧。我们为什么要去做终端侧多模态大模型？这里面有几个刚需点，其中之一，在用户的AI手机、PC里有一些是用户的隐私信息，例如大家手机相册有很多照片和视频是绝对不能传到云端的，我们的端侧大模型就可以很好的保护用户的隐私信息。再比如，如果你去用国外的软件，甚至云侧大模型时，在传输过程中容易造成信息的泄露。现在我们的AI PC同样具有防泄密的天然刚需，使得我们的AI大模型必须运行在端侧。目前我们已经实现适配多种芯片。

　　我们特别突出的优势在哪里？我们有对大模型的创新的量化方法，包括可以适配多种平台的适配性验证，以及进行端侧大模型的预训练机制。

　　目前我们落地的终端设备有AI手机、AI PC、AI NPU （包含AI摄像头）、AI显微镜等场景。医疗行业很多是端侧的，用户不希望样本的数据泄露。包括安防的AI摄像头，原先AI摄像头是纯视觉分类，现在的技术是可以理解这个场景。比如我们有一个场景，比如耕地被占用或者两个人是不是在打架，这个可以通过端侧大模型实时在端侧进行分析；以往是将这个视频传到云端存储起来，最后检测、分割分类，时间非常长，也不能及时反映实时的场景，而我们的产品适配NPU，可以很好的在端侧运行，可以在安防、汽车等领域大规模落地。端侧大模型商业模式也很简单，通过license授权来进行。

　　总结一下，我们落地的实践，目前大家都知道大模型在国内卷的很厉害，无论在技术上还是商业上卷的都非常厉害，造成一个什么局面？大模型本身投入大，算力集群包括研发投入非常大，但真正研发后落地时是非常困难的，to C场景触达不了C端客户，to B场景又有很多定制化的东西，动辄上千万的投入，怎么去做落地？所以我们的经验是要实现四化：第一是场景化，我们先不做通用场景，我们先做垂域场景化的。比如我们做宫颈癌早筛、甲状腺癌早筛，这都是非常具体的场景化。第二是垂域化，细分领域具体场景。第三是服务化，云侧大模型是基于服务化，MaaS、SaaS，对B端客户来讲做AI就是（解决刚需）降本增效，第四是产品化，我们就是做垂域里面的场景化、服务化、产品化落地。以上是我们大模型在云侧和端侧落地的经验分享。

　　这是我们公司的官微包括我自己的，大家有兴趣的话，会后我们进行探讨，谢谢大家。

　　新浪声明：所有会议实录均为现场速记整理，未经演讲者审阅，新浪网登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。