详细看了一下Open AI公布的DALL-E3的论文基本没有写模型训练细节。不过还是有一些有用的细节的比如系统化的AI画图模型评估体系。
各位有训练自己的SD模型的也可以按这个评估一下:
自动评估
首先使用公共的ViT-B/32模型计算CLIP分数。这是Open AI 自己开源的。
然后基于GPT-4V评估模型生成的提示和图像的对应关系,GPT-4V搞这个确实好用。
最后在Huang等人(2023年)开发的T2I-CompBench评估套件的一个子集上进行T2I-CompBench评估(包括颜色绑定、形状绑定和纹理绑定三部分)。
人工评估
评分者被呈现出给予文本到图像模型的完整上采样标题,并被要求“选择哪个图像更符合标题”。
想象一下,你正在使用一款电脑工具,根据一些文字生成图像。选择你在使用这个工具时更喜欢看到的图像。
连贯性:选择哪个图像包含更连贯的物体。所谓“连贯”的物体是指可能存在的物体。
SDXL在人工评估的时候全方位碾压Midjourney我是没想到的。
点击图片查看原图
点击图片查看原图