6月19日,腾讯云在国家科技传播中心召开行业大模型及智能应用技术峰会,首次公布腾讯云行业大模型研发进展,依托腾讯云TI平台打造行业大模型精选商店,为客户提供MaaS(Model-as-a-Service)一站式服务,助力客户构建专属大模型及智能应用。
峰会上,腾讯云副总裁、腾讯云智能负责人、优图实验室负责人吴运声发表《腾讯云MaaS,打造一站式行业大模型精选商店》的主题演讲,分享了腾讯云在行业大模型方面的技术方案,以及产业客户实践、行业大模型标准体系构建的进展。
腾讯云副总裁、腾讯云智能负责人、优图实验室负责人 吴运声
吴运声认为,大模型驱动“智慧涌现”,产业场景已成为最佳练兵场,在智能问答、内容创作、智能决策、智能风控等很多业务场景,具有非常广泛的应用价值。腾讯云希望为客户和伙伴打造一站式的行业大模型精选商店,加速大模型在产业领域的创新实践。
企业在应用大模型时,常常面临计算资源少、数据质量差、投入成本高、专业经验少等挑战,吴运声表示,腾讯云将通过TI平台,面向客户全面输出MaaS能力,可以满足客户模型预训练、模型精调、智能应用开发等多样化需求,让客户可根据自身业务场景需求,定制不同参数、不同规格的专属模型。
峰会现场,吴运声展示了文旅客服大模型场景的精调过程及效果。通过加入文旅行业垂直场景数据、接入文旅客户API接口后,模型不仅可以为用户制订细致的旅行攻略,提供非常人性化的服务体验,也让智能客服系统,实现服务商业化的闭环。而未来随着更多高质量数据的增加,模型的精调效果还会更好。
目前,腾讯云已经携手传媒、文旅、金融、政务、教育等行业的头部企业,在十余个行业探索了超50个行业大模型的应用解决方案。
以下为演讲全文:
尊敬的各位嘉宾、媒体朋友们,大家下午好!
我是腾讯的吴运声,今天我的分享主题是《腾讯云MaaS,打造一站式行业大模型精选商店》。这是我们的定位,也是我们努力的方向。
依托腾讯云的高性能计算、行业大模型能力,以及我们多年深耕产业互联网积累的行业经验,我们希望为客户和伙伴,打造一站式的行业大模型精选商店,加速大模型在产业领域的创新实践。
大模型驱动“智慧涌现”,产业场景已成为最佳练兵场,在智能问答、内容创作、智能决策、智能风控等很多业务场景,具有非常广泛的应用价值。那么,如何将大模型快速应用到自己的业务场景中?怎么才能在新一轮技术浪潮中不掉队?
最近半年多的时间里,我们收到了非常多来自客户的问询。对于很多企业而言,想要用好大模型,确实面临不少挑战。
第一,是计算资源少。大模型的训练和推理对计算资源和存储资源有很高的需求,对很多客户来说门槛太高。
第二,数据质量差。构建大模型是成本极高的系统工程,大模型需要大量的高质量数据进行训练,数据还必须经过清洗和预处理。数据质量差,会导致模型的效果和效率无法得到保障。
第三,投入成本高。为确保业务使用的效果需要投入大量的数据、计算资源来训练,还需要持续的调试和优化。
第四,专业经验少。大模型的部署需要考虑到计算资源、网络带宽等多个方面的问题,大模型的开发和落地需要很多的技术和人力资源。此外,安全、合规,也是企业需要考虑的关键因素。
那么,如何解决产业客户落地大模型,所面临的成本、数据、安全等一系列问题呢?依托腾讯云大模型高性能计算集群和行业大模型能力,我们通过腾讯云TI平台,面向客户全面输出MaaS能力,可以满足客户模型预训练、模型精调、智能应用开发等多样化需求。
腾讯云TI平台行业大模型精调解决方案,具备完整大模型精调工具链,支持客户加入自己独有的场景数据,进行精调训练,客户可根据自身业务场景需求,定制不同参数、不同规格的专属模型。
实际上,在过去一段时间里,我们已经携手一些行业头部企业,探索了多个行业大模型的应用场景。通过演示,我们可以看到在文旅客服大模型场景中,模型不仅给到了不同档次的酒店推荐、介绍,甚至可以直接提供预订链接。给用户提供了非常人性化的服务体验,也让智能客服系统,实现服务商业化的闭环。
当然,现在这个效果,仍有很大提升空间,未来随着更多高质量数据的增加,相信效果会更好。行业大模型有望重塑企业生产力、提升市场竞争力。
腾讯云TI平台行业大模型精调解决方案,具备四大优势,包括高质量的行业大模型、完善的平台工具、成熟的流程方法、全面配套服务,可以为客户提供从模型选择、到落地部署的一站式服务。
首先,基于腾讯云多年深耕产业互联网的经验,腾讯云TI平台内置了多个高质量行业大模型,涵盖金融、传媒、文旅、政务、工业等多个行业场景,同时开放支持客户多模型训练任务,满足个性化需求。比如针对客服等场景中的“对话问答”、“相似问生成”等任务,有较好的优化,使用时仅需少量训练数据,便可达到较好的精调效果。
其次,TI-ONE平台提供完善的大模型工具链,包括数据标注、训练、评估、测试和部署等全套工具,同时具备强大的多机多卡训练加速能力,客户可快速在TI-ONE平台上进行一站式的大模型精调。
其中,大模型训练,算力是基础。腾讯云在大模型算力方面拥有领先优势。早在今年4月,腾讯云便发布了面向大模型训练的新一代HCC高性能计算集群,采用最新一代腾讯云星星海自研服务器,结合多层加速的高性能存储系统,具备3.2Tbps业界最高互联带宽,算力性能提升3倍。
全新升级框架加速能力太极Angel,可以提供更优的训练和推理加速能力。在传统CV、NLP算法模型的基础上,新增了对大模型的训练和推理加速能力,通过异步调度优化、显存优化、计算优化等方式,相比行业常用方案性能提升超过30%。
同时,支持更适合AI运算的向量数据库,将帮助高效处理图像、音频和文本等非结构化数据,支持日处理千亿级的检索,将为客户模型训练提供充沛动力。
针对成本高、落地难的问题,腾讯云TI平台实现针对行业场景的低成本落地。在少量算力的基础上,提升特定任务的效果,比如智能客服场景,训练性能可提升10倍,训练成本下降90%。
我们沉淀了行业大模型全生命周期一体化的完整方法论,覆盖“模型选型-训练共建-部署应用”全流程,保障客户需求的顺利交付。
在配套服务方面,腾讯云提供本地化的训练、落地及陪跑优化服务,为客户扫清落地障碍;针对客户需求,提供私有化部署、公有云托管多种灵活部署方案,助力企业快速创建和部署AI应用。
大模型的应用,安全、合规是前提,腾讯云在这方面有成熟的技术积累和经验。在问题侧、模型侧、答案侧三个层面进行敏感信息的过滤和规避,让最终的答案符合安全、规范的要求。同时,依托腾讯多年的安全经验和天御风控能力,提供AIGC全链路内容合规解决方案,确保大模型可信、可靠、可用。
行业大模型与AI助手的结合,可以快速提升“对话理解”和“智能问答”能力。比如,在学习了汽车场景的数据后,车载语音助手可根据车辆状态、用户状态、历史数据等信息,做主动触达和场景运营,提供更人性化的场景服务。
前段时间,我们推出了腾讯云数智人工厂,内置超过10个AI算法模型。腾讯云MaaS能力,可以让数智人分身复刻缩短至24小时,大幅降低成本。
在文旅领域,我们联合一家线上旅游OTA公司,共同探索了文旅行业大模型的应用。其传统智能客服需要人工进行对话配置,知识维护量大、耗时长,且涉及订单等复杂业务场景,在无配置的情况下,无法通过机器人闭环解决问题。精调后的客户专属模型,无需配置对话流程,即可实现端到端解决业务问题。提升任务完成率,降低整体成本。
在金融领域,我们探索了OCR大模型,在银行单据处理场景中的应用。传统的OCR深度学习模型不具备阅读理解和推理能力、模型指标上限低,不同场景下模型能力无法复制,定制成本高。我们联合一家头部银行,基于OCR大模型,上线了4类票据的自动化识别流程,信息录入准确率提升50%。
在行业大模型标准体系方面,我们正在联合中国信通院,共同构建行业大模型的标准体系及能力架构,包括1套ILMOps方法论、60多项能力建设指标。这个标准体系覆盖多个行业,涵盖模型行业能力、模型工程化性能、模型算力网络、模型安全可靠等方面。