今天，第四范式推出大模型推理端侧解决方案ModelHub AIoT，用户在端侧可轻松部署如DeepSeek R1、Qwen 2.5、Llama 2/3系列等小尺寸蒸馏模型，离线运行，并可灵活在多个模型之间切换，兼顾了模型压缩、推理性能，解决了部署与优化的复杂性。该方案不仅能够满足用户对隐私和实时性的需求，还极大降低了AI大模型推理成本。

优秀的端侧推理框架在端侧算力的支持下，展现出卓越的性能与适配性。模型在本地即时处理请求，提供流畅的用户体验。在网络不稳定或离线环境下，端侧模型仍能正常运行，确保服务的连续性。