Chinese_Landscape_Painting_Generating_Lora_Model_based_on_flux.1

模型名称

Chinese Landscape Painting LoRA_FlUX.1

模型简介

该LoRA模型为南京大学智能科学与技术专业大二秋季学期课程人工智能导论的课程项目作业。

这是一个基于FLUX.1-dev微调的LoRA模型。该模型专注于生成 中国山水画 (Chinese Shan Shui) 风格的图像，填补了当前生成中国山水画风格图像的专项模型稀缺的空白。

该模型基于我们自主搭建的数据集训练Chinese_Landscape_Painting，其中包含了1017张局部图片，79张全景图片，均带有精细的严格结构化标注，并全部为高分辨率的高质量图片。数据集全部采样自中国的十大山水名画。

触发词

使用该模型时，请在提示词开头包含”CN_ShanShui“作为触发词。

仓库内容简介

该仓库中，lora文件夹包含了我们所训练完成的模型。v1文件夹中的lora模型为测试版模型，而v2文件夹中的lora模型为最终版。模型名称中带有的数字后缀表示其是第几个epoch后的训练输出(我们总计进行了15个epoch训练)。

工作日志.txt文件中记录了搭建数据集、进行模型训练和测试时所完成的工作、构建数据集的技巧、模型训练的可能问题以及解决方案、对各版本lora模型推荐使用的lora强度以及所使用的测试prompts的测试目的。

test_lora.py文件为我们在进行图片生成测试时所使用的脚本；v1配置.txt、v2配置.txt文件记录了我们进行模型训练时所使用的配置文件;而prompts.txt和poem_translation_prompts.txt文件为我们进行模型测试时使用的提示词输入。它们各自的测试目的参见工作日志.txt文件。

test_results文件夹存放了模型对于测试prompt的输出结果。生成它们所使用的prompt可参见它们所属文件夹中的prompt.txt文件。文件夹的名称标明了使用的模型版本以及guidance、lora参数的设置。所有的测试结果都是在8888固定种子下生成。

请注意，poem_test文件夹中的测试图片的prompt是在讯飞星火llm的翻译下给出的。这是因为，该模型为我们项目作业的一部分。我们的项目作业为构建一个可以处理中文自然语言或是中文诗句输入、并给出相应的山水画输出的系统。从poem_test的输出结果来看，llm准确地处理了中文诗句向英语结构化标注的转译。

我们的项目前后端可以参见IntroAI_Project。

使用方式

下载底模FLUX.1-dev后，请配置FLUX所需的相应环境。然后，你可以编写自己希望使用的prompt，并在test_lora.py脚本中进行相应的prompt路径替换；另外，你可以在lora_path中进行修改，使用你喜欢的lora模型版本。

协议

本项目基于FLUX.1-dev协议发布。

训练细节

Base Model:FlUX.1-dev

Training Method:LoRA

Learning Rate:1e-4

其他具体细节可参见两份配置文件

效果展示

效果对比 (底模与LoRA模型)

以下展示了在相同 Prompt 和 Seed 下，使用原始 FLUX.1-dev 与加载本 LoRA 后的效果对比：

测试参数 (Parameters):

• Prompt: CN_ShanShui, a panoramic horizontal scroll in the style of Blue-and-Green Landscape (Qinglv). Majestic mountains are rendered with heavy mineral pigments of malachite green and azurite blue. The mountain ridges are outlined with fine gold lines (Jiehua), creating a shimmering, opulent effect. A sprawling palace complex with intricate eaves sits nestled in the valley, surrounded by lush, vibrant vegetation. White clouds float between the peaks in a stylized, outlined manner. The atmosphere is grand, mythical, and vibrant, painted on dark silk.
• Seed: 8888

测试参数 (Parameters):

• Prompt: CN_ShanShui, a panoramic view of a vast riverscape with distant mountains fading into the horizon. The core subject is a small, solitary boat drifting gently on calm waters, its occupant seemingly lost in thought. Artistic techniques include soft, flowing "cloud-water" strokes (yunshui cun) to depict the shimmering surface, while misty peaks are rendered with pale, blended ink washes. Antique paper texture enhances the aged, poetic feel, creating an atmosphere of quiet melancholy and serene escape.
• Seed: 8888

多样化生成示例