近日，中科创达（300496）软件股份有限公司在“Embedded World 2024”大会上发布了最新研发的软硬一体端侧AI开发套件《Rubik Lite DK》，该套件专为满足大模型在端侧和边缘侧部署需求而设计，通过精选和预装AI Ready的大语言模型和多模态大模型，降低了人工智能开发的难度，加速了端侧智能时代的发展。

　　解决端侧大模型部署“三大痛点”

　　当前，企业在部署端侧大模型时会面临"三大痛点"：

　　痛点一：硬件平台选择难。用户往往不了解不同硬件平台性能与模型能力之间的关系，缺乏针对不同芯片平台选择最适合端侧模型的经验。

　　痛点二：大模型选择难。在众多大模型中做出选择并满足特定场景需求，对用户来说是一大挑战，这成为他们采用人工智能技术的障碍。

　　痛点三：大模型端侧应用开发难。应用开发周期长且性能不达预期，最终效果难以保证，同时缺乏具有模型部署和优化经验的开发人员。

　　为解决这些问题，本次发布的《Rubik Lite DK》产品提供了一整套端侧部署大模型的解决方案。该方案能够在无网络环境下独立运行，也支持与云端大模型结合实现混合AI部署。套件包括了高性能的硬件以及支持多种主流端侧大模型和提供丰富中间件选项的软件SDK。

　　预装优化的端侧语言大模型

　　《Rubik Lite DK》经过专门优化，适配多款主流语言大模型，包括Rubik7B、LLaMa7B、Rubik3B、Dolphin_phi2B、Qwen1.8B等，确保这些模型在各种应用场景下都能展现出卓越的性能和稳定性。它实现了小巧的尺寸与强大的能力相结合，能够满足超过90%的端侧智能应用场景的需求。

　　预装优化的多模态模型

　　《Rubik Lite DK》不仅支持主流的语言大模型，还优化并适配了端侧多模态模型，使开发者能够轻松构建基于图像和视频识别的多模态应用。

　　强大的端侧大模型SDK

　　《Rubik Lite DK》整合了公司研发的一系列大型语言模型（LLM）软件开发工具包（SDK），其中包括了主流模型的预装、核心API的封装，以及知识库的配置。此外，该SDK具备以下三个显著特点：

　　特点一：SDK设计注重轻量化。通过优化内存管理，确保系统在运行时占用更少的内存，从而提升应用的运行效率和稳定性。这一特性特别适合资源有限的设备和环境，为开发者提供了更灵活的端侧大模型部署和使用方式。

　　特点二：SDK提供Android和Linux版本，使开发者可以轻松地将Lite SDK集成到不同的开发环境和平台中。无论是移动应用、Web应用还是服务器端应用，Lite SDK都能提供强大的大模型功能。

　　特点三：SDK包含丰富的示例，如典型的对话应用、助手应用、RAG应用等，这些示例程序可以帮助开发者快速构建商业应用。

　　出色的硬件性能

　　在硬件设计方面，《Rubik Lite DK》支持三种不同级别的处理器。高端选项采用了性能强劲的高通QCS8550芯片，其高达48TOPS的AI计算能力，使其成为端侧部署大模型的理想平台。在追求性价比的同时，该套件还支持QCS6490和QCS5430等芯片，增强了产品的性价比。

　　此外，该套件与公司研发的TurboX AI核心模块套件实现了无缝兼容，采纳了即插即用（Pin-to-Pin）的兼容性设计原则，能够迅速构建涵盖高、中、低端市场的全系列产品线，大幅缩短了产品从研发到上市的时间周期。

　　多元化场景应用

　　当前，在家庭环境中，智能助手和聊天机器人正利用先进的语言模型来提升用户个性化的搜索体验和互动质量。同样，在车辆座舱等场景中，随着端侧大模型应用的深化，它们能够通过实时处理和数据分析，实现更精细的控制与管理功能。这些技术进展不但提升了服务的质量，也为传统行业带来了创新和变革的动力。我们坚信，随着技术的持续发展，端侧大模型在未来的应用将会更加广泛。

　　更多领域和应用：

　　-智慧机器人：自然语言人机交互，自主导航模块，物流机器人，酒店接待机器人等；

　　-智能网联汽车：车载数字人，车载说明书，智能背景生成，端侧智能车控等；

　　-智能硬件：交互智能音箱，玩具机器人，交互数字人等；

　　-智慧家庭：智能NAS，智能料理机，智能路由器，家用数字人等；

　　-智慧办公：接待数字人，智能安防，智能客服，销售助手等；

关注同花顺财经（ths518），获取更多机会