При использовании регрессионного анализа акцент делается на выявлении веса каждого факторного признака, воздействующего на результат, на количественную оценку чистого воздействия данного фактора при элиминировании остальных.

Существует и другой подход к исследованию структуры взаимодействия признаков, развивающийся в рамках факторного анализа. Этот подход основан на представлении о комплексном характере изучаемого явления, выражающемся, в частности, во взаимосвязях и взаимообусловленности отдельных признаков. Акцент в факторном анализе делается на исследовании внутренних причин, формирующих специфику изучаемого явления, на выявлении обобщенных факторов, которые стоят за соответствующими конкретными показателями.

Факторный анализ не требует априорного разделения признаков на зависимые и независимые, так как все признаки в нем рассматриваются как равноправные. Здесь нет допущения о неизменности всех прочих условий, свойственного регрессионно-корреляционному анализу. Цель факторного анализа - сконцентрировать исходную информацию, выражая большое число рассматриваемых признаков через меньшее число более емких внутренних характеристик явления, которые, однако, не поддаются непосредственному измерению (например, уровень аграрного развития). При этом предполагается, что наиболее емкие характеристики окажутся одновременно и наиболее существенными, определяющими⁴⁰. В дальнейшем будем их называть обобщенными факторами (или просто факторами).

Так как описание методов факторного анализа приводится во многих работах⁴¹, рассмотрим только основные методические аспекты этого направления многомерного статистического анализа.

Пусть имеется n объектов, каждый из которых характеризуется набором из т признаков. Обозначим через x_ij значение j-го признака для i-го объекта, тогда исходная информация может быть представлена в виде таблицы, которую называют матрицей данных. Эта таблица имеет п строк (по числу объектов) и m столбцов (по числу признаков). Таким образом, каждая строка таблицы соответствует одному из объектов, а каждый столбец - одному из признаков (таблица 1).

Если все m признаков X₁,…X_m- количественные, то матрицу данных можно обрабатывать с помощью методов факторного анализа, когда выполнен ряд условий. Первый этап обработки связан с вычислением матрицы парных коэффициентов корреляции, которая служит отправной точкой всех методов факторного анализа.

Основные результаты факторного анализа выражаются в наборах факторных нагрузок и факторных весов.

Факторные нагрузки - это значения коэффициентов корреляции каждого из исходных признаков с каждым из выявленных факторов. Чем теснее связь данного признака с рассматриваемым фактором, тем выше значение факторной нагрузки. Положительный знак факторной нагрузки указывает на прямую (а отрицательный знак - на обратную) связь данного признака с фактором. Таблица факторных нагрузок содержит т строк (по числу признаков) и k столбцов (по числу факторов).

Факторными весами называют количественные значения выделенных факторов для каждого из п. имеющихся объектов. Объекту с большим значением факторного веса присуща большая степень проявления свойств, определяемых данным фактором. Для большинства методов факторного анализа факторы определяют как стандартизованные показатели с нулевым средним и единичной дисперсией (см. формулу 2 ). Поэтому положительные факторные веса соответствуют тем объектам, которые обладают степенью проявления свойств больше средней, а отрицательные факторные веса соответствуют тем объектам, для которых степень проявления свойств меньше средней. Таблица факторных весов содержит n строк (по числу объектов) и k столбцов (по числу факторов).

Таким образом, данные о факторных нагрузках позволяют сформулировать выводы о наборе исходных признаков, отражающих тот или иной фактор, и об относительном весе отдельного признака в структуре каждого фактора. В свою очередь, данные о факторных весах определяют ранжировку объектов по каждому фактору. Значения факторных весов можно рассматривать как значения индекса, характеризующего уровень развития объектов в рассматриваемом аспекте.

В основе каждого метода факторного анализа лежит математическая модель, описывающая соотношения между исходными признаками и обобщенными факторами. Перейдем к краткой характеристике этих моделей для основных методов факторного анализа, получивших наибольшее распространение в исторических исследованиях,

Центроидный метод. Этот метод основан на предположении о том, что каждый из исходных признаков  может быть представлен как функция небольшого числа общих факторов F₁,F₂,…,f_k  и характерного фактора U_j. При этом считается, что каждый общий фактор имеет существенное значение для анализа всех исходных признаков, т.е. фактор F_j -общий для всех X₁,X₂,...,X_m. В то же время изменения в характерном факторе U_j воздействуют на значения только соответствующего признака X_j. Таким образом, характерный фактор U_j отражает ту специфику признака X_j, которая не может быть выражена через общие факторы.

Основные предположения факторного анализа связаны с допущением о линейности связи исходных признаков с факторами

Общие факторы F₁,…,F_k в модели (3) предполагаются независимыми стандартизованными показателями, распределенными по нормальному закону; характерные факторы U₁,…,U_m рассматривают как некоррелированные стандартизованные показатели, независящие от общих факторов; числа a_ij  - факторные нагрузки, а числа  оценивают степень влияния характерного фактора U_j на X_j. Исходные признаки также считаются стандартизованными переменными с нормальным распределением. В литературе описаны методы определения факторных нагрузок a_ij⁴²

Задачу факторного анализа можно сформулировать следующим образом: определить минимальное число k таких факторов F₁,…,F_k после учета которых исходная корреляционная матрица “исчерпается”, внедиагональные элементы ее станут близкими к нулю. Другими словами, это значит, что после учета k факторов все остаточные корреляции между исходными признаками должны стать незначимыми.

Метод главных компонент. В основе модели для выражения исходных признаков через факторы здесь лежит предположение о том, что число факторов равно числу исходных признаков (k=m), а характерные факторы вообще отсутствуют:

где величина X_j  и  предполагаются обладающими теми же свойствами, что и в модели (3).

Очевидно, уравнения (4) определяют здесь систему преобразования одних параметров в другие. Поскольку число факторов равно числу исходных параметров, задача искомого преобразования решается однозначно, т.е. факторные нагрузки определяются в этом методе однозначно.

Каждая из переменных F_j называется здесь i-й главной компонентой. Метод главных компонент состоит в построении факторов - главных компонент, каждый из которых представляет линейную комбинацию исходных признаков. Первая главная компонента F₁ определяет такое направление в пространстве исходных признаков, по которому совокупность объектов (точек) имеет наибольший разброс (дисперсию). Вторая главная компонента F₂ строится с таким расчетом, чтобы ее направление было ортогонально направлению F₁ и она объясняла как можно большую часть остаточной дисперсии, и т.д. вплоть до т-й главной компоненты F_m. Так как выделение главных компонент происходит в убывающем порядке с точки зрения доли объясняемой ими дисперсии, то признаки, входящие в первую главную компоненту с большими коэффициентами  оказывают максимальное влияние на дифференциацию изучаемых объектов.

Как и в центроидном методе, достаточное число компонент (факторов) определяется здесь обычно на основе некоторого заданного уровня объясненной дисперсии исходных признаков с помощью факторов (например, ).

Метод экстремальной группировки параметров. Данный метод также основан на обработке матрицы коэффициентов корреляции между исходными признаками. В основе этого метода лежит гипотеза о том, что совокупность исходных признаков может быть разбита на группы, каждая из которых отражает действие определенного фактора - причины. Поскольку признаки внутри каждой из таких групп должны быть связаны между собой более тесно, чем признаки разных групп, то задача сводится к выявлению “сильно закоррелированных” групп признаков, что позволяет выделить соответствующие факторы.

Формально задача об одновременной группировке параметров и выделении существенных факторов заключается в максимизации как по разбиению параметров на множества {A₁,…,A_k} так и по выбору факторов {F₁,…,F_k} одного из двух критериев.

        (5)

где  коэффициент корреляции между признаком X_i р-й группы и соответствующей

ей фактором F_p , где р =1,... ,k. Taким образом, в первом случае максимируется сумма квадратов коэффициентов корреляции признаков каждой группы со 'своим' фактором, а во втором случае - сумма модулей этих коэффициентов.

Следует отметить связь метода экстремальной группировки параметров с рассмотренными выше методами факторного анализа: метод, связанный с максимизацией функционала I₁, представляет естественное развитие метода главных компонент, а метод, связанный с максимизацией I₂ представляет развитие центроидного метода⁴³. Так, если группы признаков зафиксированы, то в соответствии с выражением (5) в пределах каждой группы отыскивается первая главная компонента.

Характеризуя особенности этого метода, укажем, что факторы F₁,…,F_k, здесь не общие для всех признаков; каждый из них соответствует 'своей' группе признаков. В отличие от методов, рассмотренных выше, факторы здесь не являются, вообще говоря, независимыми, ортогональными. Специфика экстремальной группировки параметров состоит, в частности, и в том, что в рамках этого метода каждый признак включается в один из формируемых факторов, в то время как при использовании других методов факторного анализа признаки могут относиться к нескольким факторам сразу или не принадлежать ни к одному из них.

Результаты факторного анализа будут успешными, если удается дать содержательную интерпретацию выявленных факторов, исходя из смысла показателей, характеризующих эти факторы. Данная стадия работы весьма ответственная; она требует от исследователя четкого представления о содержательном смысле показателей, которые привлечены для анализа и на основе которых выделены факторы. Поэтому при предварительном тщательном отборе показателей для факторного анализа следует руководствоваться их содержательным смыслом, а не стремлением к включению в анализ как можно большего их числа.

Рассмотрим несколько методических вопросов, связанных с особенностями методов факторного анализа.

а) Большинство методов факторного анализа не статистические в строгом смысле этого слова, так как для них не разработаны способы распространения выборочных результатов на генеральную совокупность. Исходную корреляционную матрицу рассматривают как заданную, а факторы выделяют без учета ошибки выборки, присущей корреляционной матрице. Исключениями являются метод максимального правдоподобия (Лоули) и канонический факторный анализ (Рао), для которых разработаны критерии проверки значимости выделенных факторов⁴⁴. При использовании других (основных) методов факторного анализа вопрос о значимости факторных нагрузок обычно решается с помощью эмпирических порогов значимости (например, ). Содержательный смысл фактора выявляется на основе признаков, имеющих высокие (значимые) факторные нагрузки.

б) Одной из проблем факторного анализа является проблема вращения. Любое ортогональное вращение факторов приводит к такой же факторизации с перераспределением нагрузок a_ij, что связано с их неоднозначностью. Необходимость вращения факторов возникает чаще всего, когда выявленным факторам не удается дать достаточно четкую содержательную интерпретацию. Например, факторные нагрузки для рассматриваемого фактора могут быть близкими по величине и одинаковыми по знаку у многих признаков, так что трудно однозначно определить, какой фактор 'стоит' за выделенной комбинацией признаков. Вращение позволяет сделать матрицу факторных нагрузок более 'контрастной' за счет увеличения нагрузок по одним признакам и уменьшения по другим, что способствует более отчетливому выявлению групп признаков, определяющих тот или иной фактор. Отметим в этой связи, что необходимость использования процедур вращения отсутствует в том случае, когда применяют метод экстремальной группировки параметров. Этот метод не связан ограничением ортогональности факторов, поэтому при его использовании получают факторы, максимально приближенные к 'пучкам' взаимосвязанных показателей. В методе экстремальной группировки параметров факторные нагрузки имеют, как правило, весьма высокие значения, так как в этом методе факторные нагрузки признаков, относящихся к одному фактору, зависят от коэффициентов корреляции только между признаками данной группы⁴⁵.

в) Не останавливаясь здесь на понятиях общности и характерности признаков⁴⁶, обратим внимание на оценку полного вклада фактора F_p в суммарную дисперсию признаков:

Полный вклад всех общих факторов будет равен:

V = V₁ + V₂ + … + V_k

Тогда доля суммарной дисперсии, объясняемой k факторами, будет равна отношению ;  обычно рассматривают как показатель полноты факторизации, т.е. того, насколько хорошо выявленные факторы объясняют вариации исходных признаков. Если, например, k полученных факторов объясняют 78% суммарной дисперсии m признаков, то доля необъясненной ими дисперсии равна 22%. Именно исходя из величины  выбирают чаще всего число факторов k (с учетом, конечно, возможности интерпретации факторов).

г) Мы здесь не останавливаемся на проблемах факторного анализа качественных признаков. В последние годы внимание к разработке методов факторизации качественных признаков возрастает, появились первые работы в этом направлении (в Четности, факторный анализ соответствий, аналог метода главных компонент⁴⁷ и др.).

Подытоживая краткое рассмотрение факторного анализа, укажем два основных подхода к его использованию: с одной стороны, поисковый, изыскательский подход, ориентированный , на первую стадию исследования сложного явления, на поиск гипотез о его структуре; с другой стороны, направленный факторный анализ, имеющий целью проведение эксперимента для подтверждения уже выдвинутой теоретической гипотезы⁴⁸.

В соответствии с распространенным мнением «наиболее плодотворно использование факторного анализа на ранних стадиях исследования... однако при этом следует помнить, что факторный анализ, как и многие другие инструменты научного познания, есть прежде всего средство проверки, селекции гипотез, а отнюдь не волшебная палочка, извлекающая из груды сырых фактов «скрытые закономерности»⁴⁹.

Характеризуя направленный факторный эксперимент, отметим, что он применяется на более продвинутых стадиях исследования. Одна из задач этой стадии - определение размерности изучаемого сложного явления, т.е. нахождение минимального числа существенных факторов, с достаточной полнотой описывающих изучаемое явление. Другая задача, решаемая с помощью факторного анализа на этой стадии, - построение обобщенного индекса, значения которого определяются факторными весами объектов. Признаки в этом случае подбираются таким образом, чтобы отразить уже сложившееся представление об обобщенном индексе (например, задается набор признаков, характеризующих уровень технической оснащенности предприятий) Для данного набора признаков строится однофакторная модель, а затем можно ранжировать объекты по шкале измерения факторных весов.

Факторный анализ активно используется в типологических задачах.