What are the suitable clustering models for high dimensional data?

I think it would be possible to pre-compress the feature space before clustering without significant loss of information. To do this, you need to create models for identifying objects, then find the most reliable of them (usually a Chi-square), and then calculate the variability of Chi-square values by attribute, and rank the features in descending order of variability, then delete the features with low variability so that you leave 80% of the total variability (in this case, 20% of the features may remain in the model). After that, it will be much easier to perform cluster analysis.

I can do all this if you send me your data in MS Excel (rows of 35000 objects, 290 rows-columns)

As a method of the research we used Automated system-cognitive analysis (ASC-analysis), which is a new innovative method of artificial intelligence: it also has its own software tool – an intelligent system called "Eidos" (open source software).

The Eidos-X++ system differs from other artificial intelligence systems in the following parameters:

- was developed in a universal setting, independent of the subject area. Therefore, it is universal and can be applied in many subject areas (http://lc.kubagro.ru/aidos/index.htm);

- is in full open free access (http://lc.kubagro.ru/aidos/_Aidos-X.htm), and with the relevant source texts (http://lc.kubagro.ru/__AIDOS-X.txt);

- is one of the first domestic systems of artificial intelligence of the personal level, i.e. it does not take special training in the field of technologies of artificial intelligence from the user (there is an act of introduction of system "Eidos" of 1987) (http://lc.kubagro.ru/aidos/aidos02/PR-4.htm);

- provides stable identification in a comparable form of strengh and direction of cause-effect relationships in incomplete noisy interdependent (nonlinear) data of very large dimension of numerical and non-numerical nature, measured in different types of scales (nominal, ordinal and numerical) and in different units of measurement (i.e. does not impose strict requirements to the data that can not be performed, and processes the data that is);

- contains a large number of local (supplied with the installation) and cloud educational and scientific applications (currently 31 and 200, respectively) (http://lc.kubagro.ru/aidos/Presentation_Aidos-online.pdf);

- provides multilingual interface support in 44 languages. Language databases are included in the installation and can be replenished automatically;

- supports on-line environment of knowledge accumulation and is widely used all over the world (http://aidos.byethost5.com/map5.php);

- the most time-consuming computationally, the operations of the synthesis models and implements recognition by using graphic processing unit (GPU) that some tasks can only support up to the solution of these tasks is several thousand times that really provides intelligent processing of big data, big information and big knowledge;

- provides transformation of the initial empirical data into information, and its knowledge and solution using this knowledge of classification problems, decision support and research of the subject area by studying its system-cognitive model, generating a very large number of tabular and graphical output forms (development of cognitive graphics), many of which have no analogues in other systems (examples of forms can be found in: http://lc.kubagro.ru/aidos/aidos18_LLS/aidos18_LLS.pdf);

- well imitates the human style of thinking: gives the results of the analysis, understandable to experts on the basis of their experience, intuition and professional competence.

Я думаю, можно было бы перед кластеризацией предварительно сжать пространство признаков без существенной потери информации. Для этого нужно создать модели для идентификации объектов, потом найти из них наиболее достоверную (обычно это хи-квадрат), а потом вычислить вариабельность значений хи-квадрат по признакам и ранжировать признаки в порядке убывания вариабельности, затем удалить признаки с низкой вариабельностью так, чтобы оставить 80% суммарной вариабельности (при этом в модели может остаться 20% признаков). После этого осуществить кластерный анализ будет гораздо проще. Все это делается автоматически в системе Эйдос моей разработки (открытое программное обеспечение). Я могу все это сделать, если пришлете свои данные в MS Excel (строки 35000 объектов, 290 строк - колонками).

Я могу все это сделать, если Вы пришлете мне свои данные в MS Excel (строки 35000 объектов, 290 строк - колонками).

Существует много систем искусственного интеллекта. Универсальная когнитивная аналитическая система «Эйдос-Х++» отличается от них следующими параметрами:

- разработана в универсальной постановке, не зависящей от предметной области. Поэтому она является универсальной и может быть применена во многих предметных областях (http://lc.kubagro.ru/aidos/index.htm);

- находится в полном открытом бесплатном доступе (http://lc.kubagro.ru/aidos/_Aidos-X.htm), причем с актуальными исходными текстами (http://lc.kubagro.ru/__AIDOS-X.txt);

- является одной из первых отечественных систем искусственного интеллекта персонального уровня, т.е. она не требует от пользователя специальной подготовки в области технологий искусственного интеллекта (есть акт внедрения системы «Эйдос» 1987 года) (http://lc.kubagro.ru/aidos/aidos02/PR-4.htm);

- обеспечивает устойчивое выявление в сопоставимой форме силы и направления причинно-следственных зависимостей в неполных зашумленных взаимозависимых (нелинейных) данных очень большой размерности числовой и не числовой природы, измеряемых в различных типах шкал (номинальных, порядковых и числовых) и в различных единицах измерения (т.е. не предъявляет жестких требований к данным, которые невозможно выполнить, а обрабатывает те данные, которые есть);

- содержит большое количество локальных (поставляемых с инсталляцией) и облачных учебных и научных Эйдос-приложений (в настоящее время их 31 и 200, соответственно) (http://lc.kubagro.ru/aidos/Presentation_Aidos-online.pdf);

- обеспечивает мультиязычную поддержку интерфейса на 51 языке. Языковые базы входят в инсталляцию и могут пополняться в автоматическом режиме;

- поддерживает on-line среду накопления знаний и широко используется во всем мире (http://aidos.byethost5.com/map5.php);

- наиболее трудоемкие в вычислительном отношении операции синтеза моделей и распознавания реализует с помощью графического процессора (GPU), что на некоторых задачах обеспечивает ускорение решение этих задач в несколько тысяч раз, что реально обеспечивает интеллектуальную обработку больших данных, большой информации и больших знаний;

- обеспечивает преобразование исходных эмпирических данных в информацию, а ее в знания и решение с использованием этих знаний задач классификации, поддержки принятия решений и исследования предметной области путем исследования ее системно-когнитивной модели, генерируя при этом очень большое количество табличных и графических выходных форм (развития когнитивная графика), у многих из которых нет никаких аналогов в других системах (примеры форм можно посмотреть в работе: http://lc.kubagro.ru/aidos/aidos18_LLS/aidos18_LLS.pdf);

- хорошо имитирует человеческий стиль мышления: дает результаты анализа, понятные экспертам на основе их опыта, интуиции и профессиональной компетенции.

В чем сила подхода, реализованного в системе Эйдос? В том, что она реализует подход, эффективность которого не зависит от того, что мы думаем о предметной области и думаем ли вообще. Она формирует модели непосредственно на основе эмпирических данных, а не на основе наших представлений о механизмах реализации закономерностей в этих данных. Именно поэтому Эйдос-модели эффективны даже если наши представления о предметной области ошибочны или вообще отсутствуют.

В этом и слабость этого подхода, реализованного в системе Эйдос. Модели системы Эйдос - это феноменологические модели, т.е. они не отражают механизмов детерминации, а только сам факт и характер детерминации.

How to extract features from time series based samples for clustering?

What are the valid Oversampling techniques for smaller data to be able to run process capability analysis?

How to compute median for a large multivariate dataset?

What are the drawbacks of Calinski-Harbasz score in clustering?

How to test repeated measures - 2 way Anova?

What are the suitable pre-processing techniques for Time series data ?

How to combine multiple LSTM models trained on several smaller samples ?

How to treat data with multiple singletons for clustering ?

Does Gaussian Mixture model assume data to follow multivariate normal distribution ?

What are the methods to perform probabilistic clustering for non-normal multivariate data ?

How to compare two groups with only two measurements?

Can we classify HV and LV lines based on line length?

Enhanced Yellow Fluorescent Protein (Aequorea victoria) DNA sequence?

What kind of fluid could I use for a pitfall trap that also does not invalidate molecular testing?

What's the best way to measure growth rates in House sparrow chicks from day 2 to day 10?

Do we need to write protocol for a second study of a systematic review that has been registered and published?

How to increase a model accuracy ?

Do I need to do linear regression before running mediation analysis using PROCESS MACRO by Hayes ?

Sample dilution for quantitative analysis using ELISA?

Is There Any Feasible Method To Test Fluorescent Compounds Other Than Fluorescence Spectrometers ??