复旦大学携手StepFun共创OmniSVG：革新性的全模式矢量图像自动生成系统

在人工智能与图形设计的交界处，一场创新的风暴正由复旦大学与前沿科技公司StepFun共同掀起。他们联合研发的OmniSVG，是一个开创性的端到端多模态矢量图形生成模型，标志着图像生成技术迈入了新的纪元。此模型能够融合多种数据模式，以前所未有的精准度和创造力，将概念直接转化为高质量的矢量图形，彻底改变了传统设计流程。OmniSVG不仅为设计师提供了无限可能的创意工具，更在教育、科研、商业设计等领域展现出巨大的应用潜力，预示着一个更加智能化、高效化的视觉内容创作时代的到来。

　　

omnisvg：全球首个端到端多模态svg生成模型

　　

OmniSVG是由复旦大学和StepFun联合研发的全球首个端到端多模态可缩放矢量图形(SVG)生成模型。它基于预训练视觉语言模型(VLM)，采用创新的SVG标记化方法，将SVG命令和坐标参数化为离散标记，巧妙地解耦了结构逻辑和几何细节，从而高效生成从简单图标到复杂动漫角色等各种高质量SVG图形。

　　

　　

核心功能：

　　多模态输入：支持文本描述、图像参考或角色参考等多种输入模式，生成多样化SVG图形。 　　高效生成与训练：利用预训练VLMQwen-VL和创新的SVG标记化方法，训练效率提升3倍以上，可处理3万个标记的序列，生成细节丰富的复杂SVG。 　　专属数据集与评估标准：发布了包含200万个多模态标注SVG资源的MMSVG-2M数据集，并提出了MMSVG-Bench标准化评估协议。 　　高实用性与可编辑性：生成的SVG文件可无限缩放且完全可编辑，能与adobeIllustrator等专业设计软件无缝衔接。 　　

技术原理详解：

　　

OmniSVG的核心技术在于：

　　预训练VLM：基于Qwen-VL预训练视觉语言模型，实现图像和文本信息的深度融合。 　　创新SVG标记化：将SVG命令和坐标参数化为离散标记，类似自然语言处理，提升训练效率，并保留生成复杂SVG结构的能力。 　　端到端生成框架：支持直接从多种输入生成SVG图形，克服了传统方法的局限性。 　　高效训练与长序列处理：训练速度提升显著，可处理超长序列，生成细节丰富的复杂图形。 　　

项目资源：

　　项目官网： 　　GitHub仓库： 　　HuggingFace模型库： 　　arXiv技术论文： 　　

应用场景：

　　

OmniSVG在多个领域具有广泛的应用前景：

　　品牌标识设计：快速生成品牌图标，节省设计时间。 　　网页前端开发：生成可无损缩放的矢量图标，适应各种分辨率。 　　游戏角色及场景设计：生成游戏素材，提升游戏美术品质。 　　动态角色生成：基于角色参考，生成不同姿势或场景的矢量图形。 　　原型设计：快速生成图标、插图或角色原型，加速创作流程。 　　

以上就是OmniSVG—复旦大学联合StepFun推出端到端多模态矢量图形生成模型的详细内容，更多请关注其它相关文章！