Multiresolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns
（section 2）
Timo Ojala, Matti PietikaEgrave; inen, Senior Member, IEEE, and Topi MaEgrave;enpaEgrave;aEgrave;
Abstract：
This paper presents a theoretically very simple, yet efficient, multiresolution approach to gray-scale and rotation invariant texture classification based on local binary patterns and nonparametric discrimination of sample and prototype distributions. The method is based on recognizing that certain local binary patterns, termed “uniform”, are fundamental properties of local image texture and their occurrence histogram is proven to be a very powerful texture feature. We derive a generalized gray-scale and rotation invariant operator presentation that allows for detecting the “uniform” patterns for any quantization of the angular space and for any spatial resolution and presents a method for combining multiple operators for multiresolution analysis. The proposed approach is very robust in terms of gray-scale variations since the operator is, by definition, invariant against any monotonic transformation of the gray scale. Another advantage is computational simplicity as the operator can be realized with a few operations in a small neighborhood and a lookup table. Excellent experimental results obtained in true problems of rotation invariance, where the classifier is trained at one particular rotation angle and tested with samples from other rotation angles, demonstrate that good discrimination can be achieved with the occurrence statistics of simple rotation invariant local binary patterns. These operators characterize the spatial configuration of local image texture and the performance can be further improved by combining them with rotation invariant variance measures that characterize the contrast of local image texture. The joint distributions of these orthogonal measures are shown to be very powerful tools for rotation invariant texture analysis.
Index Terms：Nonparametric, texture analysis, Outex,
Brodatz, distribution, histogram, contrast.
2 GRAY SCALE AND ROTATION INVARIANT LOCAL BINARY PATTERNS
We start the derivation of our gray scale and rotation invariant texture operator by defining texture T in a local neighborhood of a onochrome texture image as the joint distribution of the
gray levels of P (P gt; 1) image pixels:
（1）
where gray value gc corresponds to the gray value of the center pixel of the local neighborhood and （p=0，1hellip;P-1） correspond to the gray values of P equally spaced pixels on a circle of radius R (R gt; 0) that form a circularly symmetric neighbor set.
If the coordinates of are (0,0), then the coordinates of are given by Fig.1 illustrates circularly symmetric neighbor sets for various (P,R). The gray values of neighbors which do not fall exactly in the center of pixels are estimated by interpolation.
2.1 Achieving Gray-Scale Invariance
As the first step toward gray-scale invariance, we subtract,without losing information, the gray value of the center pixel () from the gray values of the circularly symmetric neighborhood （p=0,hellip;hellip;P-1）, giving:
（2）
Next, we assume that differences are independent of , which allows us to factorize (2):
（3）
In practice, an exact independence is not warranted;hence, the factorized distribution is only an approximation of the joint distribution. However, we are willing to accept the possible small loss in information as it allows us to achieve invariance with respect to shifts in gray scale.Namely, the distribution in (3) describes the overall luminance of the image, which is unrelated to local image texture and, consequently, does not provide useful information for texture analysis. Hence, much of the information in the original joint gray level distribution (1) about the textural characteristics is conveyed by the joint difference distribution [1]:
（4）
This is a highly discriminative texture operator. It records the occurrences of various patterns in the neighborhood of each pixel in a P-dimensional histogram. For constant regions, the differences are zero in all directions. On a slowly sloped edge, the operator records the highest difference in the gradient direction and zero values along the edge and, for a spot, the differences are high in all directions.
Signed differences gp-gc are not affected by changes in mean luminance; hence, the joint difference distribution is invariant against gray-scale shifts. We achieve invariance with respect to the scaling of the gray scale by considering just the signs of the differences instead of their exact values:
(5)
where
(6)
By assigning a binomial factor for each sign, we transform (5) into a unique number that characterizes the spatial structure of the local image texture:
(7)
The name aLocal Binary Patterno reflects the functionality of the operator, i.e., a local neighborhood is thresholded at the gray value of the center pixel into a binary pattern. operator is by definition invariant against any monotonic transformation of the gray scale,i.e., as long as the order of the gray values in the image stays the same, the output of the operator remains constant.
If we set (P=8;R=1), we obtain , which is similar to the LBP operator we proposed in [2]. The two differences between and are: 1) The pixels in the neighbor set are indexed so that they form a circular chain and 2) the gray values of the diagonal pixels are determined by interpolation. Both modifications are necessary to obtain the circularly symmetric neighbor set, which allows for deriving a rotation invariant version of .
2.2 Achieving Rotation Invariance
The operator produces dif
剩余内容已隐藏，支付完成后下载完整资料
基于局部二值模式多分辨率的灰度
和旋转不变性的纹理分类
Timo Ojala, Matti Pietikaegrave; inen, Senior Member, IEEE, and Topi Maegrave;enpaegrave;aegrave;
摘要：
本文描述了理论上非常简单但非常有效的，基于局部二值模式的、样图的非参数识别和原型分类的，多分辨率的灰度和旋转不变性的纹理分类方法。此方法是基于结合某种均衡局部二值模式，是局部图像纹理的基本特性，并且已经证明生成的直方图是非常有效的纹理特征。我们获得一个一般灰度和旋转不变的算子，可表达检测有角空间和空间结构的任意量子化的均衡模式，并提出了结合多种算子的多分辨率分析方法。根据定义，该算子在图像灰度发生单一变化时具有不变性，所以所提出的方法在灰度发生变化时是非常强健的。另一个优点是计算简单，算子在小邻域内或同一查找表内只要几个操作就可实现。在旋转不变性的实际问题中得到了良好的实验结果,与来自其他的旋转角度的样品一起以一个特别的旋转角度试验而且测试得到分类, 证明了基于简单旋转的发生统计学的不变性二值模式的分辨是可以达成。这些算子表示局部图像纹理的空间结构的又一特色是，由结合所表示的局部图像纹理的差别的旋转不变量不一致方法，其性能可得到进一步的改良。这些直角的措施共同证明了这是旋转不变性纹理分析的非常有力的工具。
关键词：非参数的，纹理分析，Outex，Brodatz，分类，直方图，对比度
2 灰度和旋转不变性的局部二值模式
我们通过定义单色纹理图像的一个局部邻域的纹理T，如 P（Pgt;1）个象素点的灰度级联合分布，来描述灰度和旋转不变性算子：
（1）
其中，gc为局部邻域中心像素点的灰度值，gp（p=0，1hellip;P-1）为半径R(Rgt;0)的圆形邻域内对称的空间象素点集的灰度值。
图1
如果gc的坐标是（0,0），那么gp的坐标为。图1举例说明了圆形对称邻域集内各种不同的（P,R）。不完全落在中心点邻域内的像素点的灰度值采用插值法估计。
2.1 灰度不变性的达成
作为灰度不变性的第一步，在不丢失任何图像信息的前提下，我们从圆形对称邻域集gp（p=0,hellip;hellip;P-1）中减去中心点（gc）的灰度值，即令：
（2）
然后，我们假设差分独立于，这样我们就可以把式（2）式分解为：
（3）
实际上，严格的独立性是无法达成的，因此，被分解的因式只是联合分布的一个近似值。然而，当我们在旋转中可以保持灰度不变性的话，我们愿意承担丢失一些图像小信息的可能。也就是说，因式在（3）中描述了图像的全局亮度，但并不为纹理分析提供有用信息。因此，原始的联合灰度级因式（1）的许多纹理特征信息可由联合差分因式表达[1]：
（4）
这是一个有高度识别能力的纹理算子，可以算出P空间中各种模式下每个像素点邻域的直方图。对于固定的区域，在各个方向的差别为零。在一个慢慢倾斜的边缘，该算子可算出沿倾斜方向差分最大的点和差分为零的点，对于斑点而言，各个方向的差分都是很大的。
有正负之分的差分不受平均亮度改变的影响，因此，联合差分因式对于灰度变化具有不变性。我们所得到的关于灰度计数不变性只考虑差分符号而非它们的精确值：
(5)
其中，
(6)
通过为每一个的符号赋一个二项式因子，我们把式（5）转换为一个独特的码来刻画局部图像纹理的空间结构的特性：
(7)
Local Binary Patterns这个名字反映了LBP算子的泛函性，即第一个局部邻域点的灰度值是中心像素点进入二值模式的开始。算子是通过对灰度的任何单调变化定义不变量，也就是，只要保持图像灰度值的顺序不变，算子所产生的LBP码就不变。
如果我们设置（P=8,R=1），我们得到这与我们在文献[2]中提到的LBP是类似的。和LBP之间有两个不同点：1)邻域集内的像素点被编入索引以形成一个循环链，2)对角线上像素点的灰度值由插值法确定。两者的修改都必需获得圆形对称邻域集，这考虑到源自的旋转不变式之一。
2.2旋转不变性的达成
由邻域集中P个像素点对应个不同的二值模式，算子会生成个不同的输出值。当图像被旋转时，的灰度值会对应地绕着的四周沿着圆周的边界移动。始终被指定为元素(0,R)的灰度值，而恰恰旋转一个特定的二值模式后自然生成一个不同的值。这不适用于只由0s（或1s）组成的旋转任何角度始终保持不变的模式。为了要消除旋转的影响，也就是，要分配一个独特的标识符给每个旋转不变性的局部二值模式，我们定义：
(8)
其中ROR(x,i) 执行一个循环的位方法的P-位元x i次的变换。就图像像素点而言，式(8)只简单对应于被多次顺时针方向旋转的邻域集，因而最有效位元的一个最大码从启动,为0。
量化了对特定的微特征的个别旋转不变性模式的发生统计学；因此该模式可作为特征检测器。图2举例说明了当P=8时的36种独特的旋转不变二值模式，也就是说，可以有36个不同的值。比如说，图案#0检测到明亮的斑点，#8有暗点和平坦的区域，#4有边缘。如果我们设定 R=1，符合灰度和旋转不变性算子正如我们在[3]中指定了的 LBPROT。
图 2
2.3基于均衡模式改进的旋转不变性和有角空间的更佳量化
然而，我们的实际经验已经显示LBPROT 同样不能提供非常好的识别，这点我们也总结在[3]。这有两个原因：1)LBPROT中36种互相独立的模式联合体的发生频率变化非常大，2)有角空间45°间隔的粗糙量化。
我们已经观测得知，特定的LBP可描述绝大多数的基本纹理特征，有时可描述超过90%的3times;3模式里所有的纹理。这将和实验中用到的图像数据统计学一起在第3节中加以详细阐述。当它们具有一个共同点时，我们称这种基本模式为“均衡模式”，即包含少许空间变换的均衡圆形循环结构。均衡模式的例子如图2的第一行，它们就像模板一样作用于各种微结构，诸如明亮的斑点(0)，平滑区域或者暗色斑点(8)，以及按曲率正负变化的边缘(1-7)等等。
为了要正式定义“均衡”模式，我们引入U值（“模式”），“均衡”模式与U“模式”下的空间变换码（0/1的跳跃）对应。例如，模式和的U值为0，而图2第一列中的其它七种模式的U值为2，即这些模式中最多只有2次0/1的跳跃。类似的，其它27种模式的U值至少为4。我们指定U值不大于2的为“均衡”模式，并提出了替代的基于灰度和旋转不变纹理的算子如下：
(9)
其中
(10)
标在右上角的riu2反映了旋转不变“均衡”模式的用处——U值最大为2。根据定义，P 1“均衡”二值模式可用于P个像素点的圆形对称邻域集。方程式(9)指定了一个独特的标识给这些像素点对应模式（）中的二进制码“1”。图2通过图案把“均衡”模式表示出来了。在实践中，从到的映射有P 2个不同的输出值，是基于个元素的查找表的最佳实现。
纹理分析中最终使用的纹理特征是算子作用在纹理样本之上所得值（即模式标识）的累计直方图。相对于全独立模式的直方图，“均衡”模式的直方图之所以能提供更好的识别力，归结为它们的统计特性的差别。全模式累计直方图中的“非均衡”模式的相关比例很小，因而它们的概率得不到可靠的估计。对样本和模型直方图的相异点分析中的有噪估计会使效果变差。
我们很早就注意到，LBPROT（）的旋转不变性受邻域集内8个像素点所提供的有角空间45°角粗量化的制约。因为有角空间的量化被定义为(360°/P)，所以要使用一个更大的P来直接定位。但是，P的选择还必须考虑一些特定的事项。首先，P和R在某种程度上与给定的R对应的圆形邻域包含的有限的像素点数（例如，9对于R=1），这里引进邻域的非多余取样点的数目上限。其次，包含有个元素的查找表的有效执行，要求为P设定一个实用的上限。本文中，我们探索P值最大为24，这需要一个能由计算机简单处理16MB的查询表。
2.4 局部图像纹理对比度的旋转不变量方差的量度
算子是一个灰度不变性方法，也就是，它的输出值不受任何灰度转化的影响。它是空间模式的优良方法，但根据定义，丢失了对比度。如果灰度不变性不是必需的，而我们又想要合并局部图像纹理的对比度，则可用旋转不变量来衡量局部方差：
(11)
是根据灰度变化不变量定义的，和是互相补充的，它们的联合分布/的数学期望是局部图像纹理旋转不变量强有力的衡量。鉴于此，即使我们在本研究中限制我们自己用到具有相同(P,R)值的和算子，也不会影响我们使用作用于不同邻域的算子的联合分布。
2.5 非参数的分类法则
在分类阶段，我们求出样本和模型直方图的相异值作为拟合度测试，这个值由非参数的统计检验来衡量。通过非参数检验，关于纹理分类的假设，我们可以避免任何可能的错误。有许多众所周知的拟合度统计量，诸如统计量和G（对数似然比）统计量 [4]。本研究中，测试样本S被指派给M模型类，它的极大对数似然统计量为：
(12)
其中，B为bin的数量，和分别对应样本和模型的直方图维值（bin）为b的概率。方程式（12）是G（对数似然比）统计量的直接简化：
(13)
其中，表达式右边的第一项可以忽略地看作是给定的常数S。
L是一个非参数假设，用于衡量样本S的似然度，是来自纹理类别还是基于预分类纹理模型M的准确概率。在联合分布/(12)的情况下，可以直接方式彻底扫描二维直方图。
样本和模型分布藉由通过选择好的算子和扫描纹理样本和原型，把算子输出的分类分解成带有固定维数的直方图。因为有一个离散输出值(0→P 1)的固定集，不需要量化，但算子的输出值直接被累计成P 2 维的直方图。每维都能有效提供一个在纹理样本或原型中遇到的对应模式的概率的估计量。因为只有一个模式小子集可以几乎包含一个给定的模式，所以毗连的邻域之间的空间依存关系是固有地存在于直方图中的。
方差量度有一个连续值的输出，因此，需要特征空间的量化。这可通过在总分类中为每个单独的模型图像都添加一个特征分类来完成，每个特征分类又被分成有相同条目数的B维。因此，直方图的维数的删除数值对应组合数据的百分位（100/B）。从总分布中获得删减值并锁定每维具有相同量的组合数据，以保证最高分辨率的量化用于条目数最大的地方，反之亦然。由于一个低维的直方图不能提供足够的分类识别信息，在特征空间量化中所用到的维数在某种程度上是很重要的。另一方面，因为分类条目数有限，维数太大可能导致稀疏且不稳定的直方图。根据经验方法，统计学文献时常建议平均每维 10个条目应该是足够的。在实验方面，我们设定 B 的数值，以便这一个条件得到满足。
2.6 多分辨率分析
我们已经描述了一般旋转不变算子作用于P像素点以R为半径的圆形对称邻域集内的像素点，来刻画局部图像纹理的空间模式和对比度。通过改变P和R，我们可以了解算子在有角空间的量化和任意空间解析度的作用。多分辨率分析可通过不断变化的（P,R）的多重算子所提供的联合信息来完成。
本研究中，我们通过定义来直接实现多分辨率分析，聚合相异度相当于对应LN算子的对数似然和。LN算子定义如下：
(14)
其中，N为算子数，和分别用算子n（n=1，hellip;，N）提取的对应样本和模型直方图。这个表达式是基于G统计量(13)的特性的叠加，即，几个G检验结果可以归纳出一个有深远意义的结果。如果X和Y是独立随机事件，且，，和分别为S和M的边缘分布，则
[5]
通常，不同纹理特征之间的独立性假设是站不住脚的。然而，由于统计学的偏差以及高维直方图的计算复杂度，精确的联合概率估计是不可行的。例如， ，和的叠加直方图包含4680（10times;18times;26）个单元。为了满足统计可靠性的第一法则，即，平均每单元至少要有10个条目，图像大小至少为（216 2R）(216 2R)个像素。因此，高维直方图只有当真实图像大的时候才可靠，这使之变的不切实际。大的多维直方图的计算在计算速度和内存消耗上也是很可观的。
最近，我们在纹理分割中也成功使用了这种方法，为多分辨率分析中独立直方图的合并做了大量不同选项的比较[6]。本研究中，我们限制至多三个算子的合并。
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[22631]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
