Chronological classification of ancient paintings using appearance
and shape features
Qin Zou, Yu Cao, Qingquan Li, Chuanhe Huang, Song Wang
Ancient paintings have provided valuable sources for historians and archeologist to study the history and humanity at the corresponding eras. Fig. 1 displays four painting images collected from Mogao Grottoes in Dunhuang, China. These four paintings were created in different eras of China, namely the Wudai dynasty, the Sui dynasty, and the peak Tang dynasty, respectively. From these paintings, we can find a lot of important information in the corresponding eras, e.g., the architecture style in the Wudai dynasty from Fig. 1(a), the musical instruments in the Sui dynasty from Fig. 1(b), the plowing manner of farmers in the peak Tang dynasty from Fig. 1(c), and the costumes in the peak Tang dynasty from Fig. 1(d). Obviously, a very important problem is to correctly determine the era in which a painting was created. Usually it is unreliable to determine the painting era based only on the specific content of the painting, since one same topic may be presented in the paintings in different eras. As widely adopted in art appraisal, people usually determine the era of a painting by examining its painting style, which usually varies with time and shows subtle differences from one era to another. It is usually difficult, if no impossible, for the general people without special training on painting and painting history to identify such subtle variation of the painting style for correctly determining the era of a painting. In this paper, our goal is to develop an automatic, computational approach to address this problem by using both appearance and shape features. Together with a supervised learning, we expect that the proposed approach can implicitly capture the specific painting style in different eras for painting-image classification.
To better capture the painting style implied in the paintings, wefocus on the paintings created in different eras, but presenting thesame topic. An example is shown in Fig. 2, where all 12 paintingimages present the Flying Apsaras, an important theme of thepaintings of Mogao Grottoes in Dunhuang, China. These 12 paint-ings were created in different periods of Dunhuang Art: the infancyperiod (Row 1), the creative period (Row 2), and the mature period(Row 3). From these sample images, we can see that the painting-style difference in these three periods aresubtle and only expertson Chinese classic art may be able to distinguish them. In thispaper, we develop our automatic approach to localize such subtledifference and correctly determine the eras for such paintings.
Flying-Apsaras art, line and curve strokes sketching the scarves are relatively simple and flat, as shown in Fig. 3left). In the creative period, scarves are sketched with small waves, as shown in Fig. 3middle). While in the mature period, scarves as well as clouds are more wavy than in the early periods, as shown in Fig. 3right). In this work, the main hypothesis is that the painting style can be described by the local appearance and shape features extracted from the painting images. This way, the difference of painting styles in different eras can be captured by learning from a set of training image samples. Based on this hypothesis, the proposed approach consists of the following steps: (1) appearance and shape features are extracted using the Scale-Invariant Feature Transform (SIFT) [21] and kAS shape description [7], (2) appearance features are further encoded by a deep-learning algorithm to enhance the representation abstraction ability, (3) visual codebooks are constructed based on the encoded appearance features and shape features, (4) feature histograms are produced for each painting as the input of the classifier, (5) training a classifier in a supervised fashion to determine the era of a painting based on the above feature histogram. In the experiments, we collect 660 Flying-Apsaras paintings from Mogao Grottoes in Dunhuang, China and classify them into either the infancy period, the creative period, or the mature period as shown in Fig. 2. There are two major contributions in this paper. First, we developed a feature detection/combination method that can distinguish the subtle difference of the Dunhuang Flying-Apsaras paintings from different eras. We found that both appearance features and shape features are important for this classification task, which is consistent with the opinions of the art experts on Dunhuang paintings. Second, we proposed to use, in an original way, the combination of a typical set of image features (SIFT, an image-gradient based feature that are scale and rotation invariant) with one of the most effective feature refinement algorithms (deep learning, a specific type of Boltzmann machines). In the experiments, we compared the proposed method to a recent state-of-the-art painting classification method, with a clearly better performance. The remainder of this paper is organized as follows. Section 2 introduces the related work. Section 3 presents our approach for extracting the appearance and shape features. Section 4 reports our experiment results on 660 Flying-Apsaras paintings and Section 5 concludes the paper.
2. Related work As a branch of the image classification/retrieval research, painting classification has attracted more and more attention in the past two decades [26,17,28,29,15,8]. Existing painting-classification researches are usually focused on two applications, classifying Fig. 1. Sample paintings from different eras. (a) A painting in Wudai dynasty (907–960) from Mogao Grottoes 61, (b) a painting in Sui dynasty (581–618) from Mogao Grottoes 285, (c) a painting in peak Tang dynasty (712–762) from Mogao Grottoes 23, (d) a painting in peak Tang dynasty (712–762) from Mogao Grottoes 45. Fig. 2. Sample paintings with the same topic but created in different eras. Row 1: four paintings
剩余内容已隐藏，支付完成后下载完整资料
使用外观的古代绘画按时间顺序分类
和形状特征
秦邹，余曹，李清泉，黄川川 宋王
古代绘画为历史学家和考古学家在相应的时代研究历史和人性提供了宝贵的资料。图。 1显示了中国敦煌从莫高窟收集的四幅绘画。这四幅作品分别在中国的不同时代，分别是五代，隋朝，唐代。从这些画，我们可以在相应的时代找到很多重要的信息，例如图5中的五代十国的建筑风格。 1（a），隋朝的乐器从图1（b），唐代农民的耕种方式。图1（c），唐代的服饰。 1（d）。显然，一个非常重要的问题是正确地确定绘画创作的时代。通常根据绘画的具体内容确定绘画时代是不可靠的，因为在不同时代的绘画中可能会呈现同一个主题。人们通常在艺术鉴定中得到广泛认可，通过检查绘画风格，通常会随着时间的推移而变化，从而形成一个时代的微妙差异。对于没有特别培训的普通民众来说，通常难以确定绘画时代的绘画风格的这种微妙的变化。在本文中，我们的目标是开发一种通过使用外观和形状特征来解决这个问题的自动计算方法。连同监督学习，我们期望提出的方法可以隐含地捕捉不同时代的绘画风格，用于绘画图像分类。
为了更好地捕捉画中暗示的绘画风格，我们专注于在不同时代创作的绘画，但呈现同一主题。一个例子如图1所示。 2，所有12画图像呈现飞天艺术，这是一个重要的主题中国敦煌莫高窟绘画。这12个壁画是在敦煌艺术的不同时期创作的：婴儿期间（第1行），创意期（第2行）和成熟期（第3行）。从这些样本图像，我们可以看到，这三个时期的风格差异是微不足道的，中国古典艺术专家可能能区分出来。在这张，我们开发我们的自动方法来本地化这样微妙区别并正确地确定这些画的时代。
飞天艺术，线条和曲线笔画描绘围巾相对简单平坦，如图所示。在创意时期，围巾用小浪花勾画，如图所示。而在成熟的时期，围巾和云层比早期更波浪，如图1所示。在这项工作中，主要假设是绘画风格可以通过从绘画图像中提取的局部外观和形状特征来描述。这样，通过从一组训练图像样本中学习可以获得不同时代的绘画风格的差异。基于这一假设，提出的方法包括以下步骤：（1）使用尺度不变特征变换（SIFT）[21]和kAS形状描述[7]提取外观和形状特征，（2）外观特征通过深度学习算法进一步编码以增强表示抽象能力，（3）基于编码的外观特征和形状特征构建视觉码本，（4）为每个绘画生成特征直方图作为分类器的输入（ 5）以监督的方式训练分类器，以基于上述特征直方图确定绘画的时代。在实验中，我们从中国敦煌的莫高窟收集了660只飞山鸦片，并将其分为婴儿期，创作期或成熟期，如图1所示。本文有两大贡献。首先，我们开发了一种特征检测/组合方法，可以区分不同时代的敦煌飞鸟画的微妙差异。我们发现外观特征和形状特征对于这个分类任务很重要，这与敦煌画艺术专家的意见一致。其次，我们提出以原始的方式使用典型的一组图像特征（SIFT，尺度和旋转不变的基于图像梯度的特征）与最有效的特征细化算法（深度学习，一种特定类型的玻尔兹曼机器）。在实验中，我们将提出的方法与最新的最先进的绘画分类方法进行了比较，性能明显提高。本文的其余部分安排如下。第2节介绍相关工作。第3节介绍了我们提取外观和形状特征的方法。第4节报告了我们在660飞天绘画上的实验结果，第5节总结了本文。
2.相关工作作为图像分类/检索研究的一个分支，绘画分类在过去二十年中引起越来越多的关注[26,17,28,29,15,8]。现有的绘画分类研究通常集中在两个应用中，分类如图1所示。不同时代的样画。 （a）莫高窟61的五台朝（907-960）绘画，（b）莫高窟285隋朝（581-618）的绘画，（c）唐代唐朝（712-762年）来自莫高窟23号，（d）莫高窟45号高峰唐代（712-762年）的绘画。 2.具有相同主题但在不同时代创作的样品绘画。第一排：在飞天艺术（421-556）的婴儿期创作的四幅作品，第二行：在飞天艺术创作时期创作的四幅画（557-618），第3行：创作了四幅画在飞天艺术的成熟期（619-959）。 邹等人/模式识别字母49（2014）146-154对特定画家的绘画[26,20,19,18,16]，以及对特定艺术运动的分类绘画[12,9,3,3,4,1,5,14， 13]。将绘画归类为画家要将画画归因于某位艺术家，通过结合三种不同级别的信息，颜色，区域形状和画笔笔划的结构，分层结构化分类方案[26]被利用。它利用了绘画肖像缩影的艺术家独特和艺术家独立的特征。这些特征应该表达画笔笔触的风格。通过使用描述绘画颜色内容的调色板描述算法研究了绘画风格的分类[20,19]。通过使用基于小波分解的特征，探索了中国传统绘画的分类，采用二维多分辨率隐马尔可夫模型进行分类[18]。改编了一种袋子方法，将画家分类给不同的画家[16]。它分别使用SIFT描述符[21]和颜色名称描述符[31]来创建特征词汇，并且表明这两种特征的组合导致更好的分类性能。将绘画分类为艺术运动。将绘画分类为不同的艺术运动，例如古典主义，印象派，立体主义和浪漫主义等，通过对图像颜色，渐变和强度应用统计分析，提取了六种不同的特征[12]。 [9]进行了扩展研究，导致了一个原型系统。然而，在这两篇论文中，只有一小部分真实的绘画被用于实验和性能评估。通过使用Fisher-kernel度量表示绘画相似性[23]，基于SIFT特征和局部颜色统计特征构建了一个分类系统[3]，据报道能够发现属于...的画家之间的非明显连接不同的艺术运动。颜色分布在HSI空间中被利用了几个预定义的绘画组，并且基于颜色特征，绘画图像被自动分类用于图像检索的应用[14]。这项工作进一步改进，其中MPEG-7描述符适用于提取较高级别的视觉特征，如主色，边缘和纹理，用于绘画图像分类[13]。 [5]使用3-D颜色直方图和Gabor滤波能量进行艺术描述。与这些相关作品不同，所提出的作品的目标是将画作分类到这些绘画创作的具体时代。具体来说，我们专注于呈现相同主题的绘画，如图中所示的飞鸟。 2，必须从图像分类中识别从一个时代到另一个时代的非常微妙的绘画风格的差异。
我们的方法在本文中，我们从绘画图像中提取局部外观和形状特征，然后使用视觉词（BoV）技术量化和组织所有这些局部特征进行分类。所提出的特征提取方法的流程图如图1所示。以下，详细说明每个步骤。 3.1。外观特征提取局部外观特征的一种流行方式是将输入图像均匀分割成一组补丁，如图所示。 5（a），然后在每个贴片中使用简单的强度/颜色统计作为本地外观特征。然而，使用这种基于补丁的方法提取的特征通常对缩放和旋转变换敏感，这对于绘制图像是非常常见的。在本文中，我们将SIFT（Scale-Invariant Feature Transform，尺度不变特征变换）特征[21]提取为局部外观特征。 SIFT特征提取由两个步骤组成：关键点检测和特征描述符计算。
4.实验结果和讨论在本节中，我们首先介绍我们收集的真实绘画图像数据，以评估所提出的方法。之后，我们描述实验设置。最后，我们报告和分析实验结果。 4.1。数据集在敦煌艺术研究人员的协助下，我们从敦煌莫高窟收集了660套飞蛾绘画。这些图像根据他们创造的时代被标记为三个类别 - 从飞天艺术（421-556）的婴儿期的220张图像，飞天艺术创作时期的220幅图像（557-618） ，以及来自飞天艺术成熟期的220幅图像（619-959）。收集图像的样本如图1所示。 2.对于三个类别中的每一个，采集一半的数据（110张图像）进行训练，剩下的一部分被用于测试。 4.2。实验设置为了充分证明提出的特征提取，我们尝试了以下五种类型的图像分类功能。 1.子图：仅使用基于图像补丁的外观特征，如图1所示。 5（a）。我们在我们的实验中特别设置了补丁大小为28 个28。 SIFT：仅使用基于SIFT的外观特征。 kAS：只使用基于kAS的形状特征。 4. SIFT kAS：结合基于SIFT的外观特征和基于kAS的形状特征，无需对这些功能进行深入学习的细化。 SIFT wi kAS：结合基于SIFT的外观特征和基于kAS的形状特征，其中SIFT特征通过使用深层学习网络的i层输出进行细化。这里SIFT wi kAS是我们提出的方法，我们尝试了四层深刻的SIFT功能的深度学习。对于每种类型的特征，我们使用相同的视觉 - 视觉词技术将其分组到固定维特征直方图中，然后再将其提供给分类器。请注意，原始SIFT描述符的维数为128，kAS为10。 Subimage的尺寸是用于比较的基于图像补丁的特征，为784.深入学习后，SIFT wi的特征向量的维数是深度学习网络第i层中的节点数。对于kAS和SIFT，码本全部包含1024个代码，由K-means聚类得到。在所提出的方法中使用的SIFT wi kAS的码本为512.在我们的实验中，我们使用vlFeat3工具[30]获得SIFT特征和k相邻段检测器4来生成kAS形状特征。如3.2节所述，kAS是由k个线段组成的形状结构。如果k较小，则kAS将更简单，并可用于拟合更多检测到的曲线段。通过使用较小的k，所提取的局部形状结构在特征直方图[32]中更简单并且变得更加频繁。在我们的实验中，我们设置k = 3来检测TAS。
4.4。讨论上述实验结果验证了外观和形状特征对敦煌飞天壁画在年表中的分类是有用的。具体来说，通过仅使用形状特征，我们实现了62.73％的分类精度，远远高于随机猜测的33.33％。这表明这种绘画分类任务的形状特征是有说服力的。我们咨询了敦煌画艺术专家，他们也认为画中高度波浪的曲线不仅反映了飞天艺术的成熟，而且体现了唐代的辉煌历史。从实验中我们也可以看到，敦煌飞天壁画的年表分类是一个非常具有挑战性的问题。主要原因是绘画内容是相同的，即飞天和不同时期的绘画风格的区别是微妙的。最近公布的比较方法[5]达到76.67％的精度，使用最佳设置时，提出的方法达到84.24％的精度。鉴于我们只有三个班级，这不是非常高的准确性。未来，我们计划与艺术专家紧密合作，提取更丰富的功能，进一步提高分类准确性。 5.结论在本文中，我们开发了一种新的监督方法来确定古代绘画创作的时代。在这种方法中，我们使用视觉词技术从绘画图像中提取和量化外观特征和形状特征。具体来说，我们使用SIFT描述符和形状描述符分别提取外观特征和形状特征。此外，我们发现可以使用多层深度学习技术来改进基于SIFT的外观特征，从而提高分类性能。我们对中国敦煌莫高窟660幅真实绘画图像进行了测试，发现提出的方法可以有效地克服
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[26081]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
