Preprint GENERAL KNOWLEDGE MACHINE PROJECT. INTELLECT MODELING KIT AU...

Preprint GENERAL KNOWLEDGE MACHINE PROJECT. INTELLECT MODELING KIT AU...

I think it would be possible to pre-compress the feature space before clustering without significant loss of information. To do this, you need to create models for identifying objects, then find the most reliable of them (usually a Chi-square), and then calculate the variability of Chi-square values by attribute, and rank the features in descending order of variability, then delete the features with low variability so that you leave 80% of the total variability (in this case, 20% of the features may remain in the model). After that, it will be much easier to perform cluster analysis.

I can do all this if you send me your data in MS Excel (rows of 35000 objects, 290 rows-columns)

As a method of the research we used Automated system-cognitive analysis (ASC-analysis), which is a new innovative method of artificial intelligence: it also has its own software tool – an intelligent system called "Eidos" (open source software).

The Eidos-X++ system differs from other artificial intelligence systems in the following parameters:

- was developed in a universal setting, independent of the subject area. Therefore, it is universal and can be applied in many subject areas (http://lc.kubagro.ru/aidos/index.htm);

- is in full open free access (http://lc.kubagro.ru/aidos/_Aidos-X.htm), and with the relevant source texts (http://lc.kubagro.ru/__AIDOS-X.txt);

- is one of the first domestic systems of artificial intelligence of the personal level, i.e. it does not take special training in the field of technologies of artificial intelligence from the user (there is an act of introduction of system "Eidos" of 1987) (http://lc.kubagro.ru/aidos/aidos02/PR-4.htm);

- provides stable identification in a comparable form of strengh and direction of cause-effect relationships in incomplete noisy interdependent (nonlinear) data of very large dimension of numerical and non-numerical nature, measured in different types of scales (nominal, ordinal and numerical) and in different units of measurement (i.e. does not impose strict requirements to the data that can not be performed, and processes the data that is);

- contains a large number of local (supplied with the installation) and cloud educational and scientific applications (currently 31 and 200, respectively) (http://lc.kubagro.ru/aidos/Presentation_Aidos-online.pdf);

- provides multilingual interface support in 44 languages. Language databases are included in the installation and can be replenished automatically;

- supports on-line environment of knowledge accumulation and is widely used all over the world (http://aidos.byethost5.com/map5.php);

- the most time-consuming computationally, the operations of the synthesis models and implements recognition by using graphic processing unit (GPU) that some tasks can only support up to the solution of these tasks is several thousand times that really provides intelligent processing of big data, big information and big knowledge;

- provides transformation of the initial empirical data into information, and its knowledge and solution using this knowledge of classification problems, decision support and research of the subject area by studying its system-cognitive model, generating a very large number of tabular and graphical output forms (development of cognitive graphics), many of which have no analogues in other systems (examples of forms can be found in: http://lc.kubagro.ru/aidos/aidos18_LLS/aidos18_LLS.pdf);

- well imitates the human style of thinking: gives the results of the analysis, understandable to experts on the basis of their experience, intuition and professional competence.

Я думаю, можно было бы перед кластеризацией предварительно сжать пространство признаков без существенной потери информации. Для этого нужно создать модели для идентификации объектов, потом найти из них наиболее достоверную (обычно это хи-квадрат), а потом вычислить вариабельность значений хи-квадрат по признакам и ранжировать признаки в порядке убывания вариабельности, затем удалить признаки с низкой вариабельностью так, чтобы оставить 80% суммарной вариабельности (при этом в модели может остаться 20% признаков). После этого осуществить кластерный анализ будет гораздо проще. Все это делается автоматически в системе Эйдос моей разработки (открытое программное обеспечение). Я могу все это сделать, если пришлете свои данные в MS Excel (строки 35000 объектов, 290 строк - колонками).

Я могу все это сделать, если Вы пришлете мне свои данные в MS Excel (строки 35000 объектов, 290 строк - колонками).

Существует много систем искусственного интеллекта. Универсальная когнитивная аналитическая система «Эйдос-Х++» отличается от них следующими параметрами:

- разработана в универсальной постановке, не зависящей от предметной области. Поэтому она является универсальной и может быть применена во многих предметных областях (http://lc.kubagro.ru/aidos/index.htm);

- находится в полном открытом бесплатном доступе (http://lc.kubagro.ru/aidos/_Aidos-X.htm), причем с актуальными исходными текстами (http://lc.kubagro.ru/__AIDOS-X.txt);

- является одной из первых отечественных систем искусственного интеллекта персонального уровня, т.е. она не требует от пользователя специальной подготовки в области технологий искусственного интеллекта (есть акт внедрения системы «Эйдос» 1987 года) (http://lc.kubagro.ru/aidos/aidos02/PR-4.htm);

- обеспечивает устойчивое выявление в сопоставимой форме силы и направления причинно-следственных зависимостей в неполных зашумленных взаимозависимых (нелинейных) данных очень большой размерности числовой и не числовой природы, измеряемых в различных типах шкал (номинальных, порядковых и числовых) и в различных единицах измерения (т.е. не предъявляет жестких требований к данным, которые невозможно выполнить, а обрабатывает те данные, которые есть);

- содержит большое количество локальных (поставляемых с инсталляцией) и облачных учебных и научных Эйдос-приложений (в настоящее время их 31 и 200, соответственно) (http://lc.kubagro.ru/aidos/Presentation_Aidos-online.pdf);

- обеспечивает мультиязычную поддержку интерфейса на 51 языке. Языковые базы входят в инсталляцию и могут пополняться в автоматическом режиме;

- поддерживает on-line среду накопления знаний и широко используется во всем мире (http://aidos.byethost5.com/map5.php);

- наиболее трудоемкие в вычислительном отношении операции синтеза моделей и распознавания реализует с помощью графического процессора (GPU), что на некоторых задачах обеспечивает ускорение решение этих задач в несколько тысяч раз, что реально обеспечивает интеллектуальную обработку больших данных, большой информации и больших знаний;

- обеспечивает преобразование исходных эмпирических данных в информацию, а ее в знания и решение с использованием этих знаний задач классификации, поддержки принятия решений и исследования предметной области путем исследования ее системно-когнитивной модели, генерируя при этом очень большое количество табличных и графических выходных форм (развития когнитивная графика), у многих из которых нет никаких аналогов в других системах (примеры форм можно посмотреть в работе: http://lc.kubagro.ru/aidos/aidos18_LLS/aidos18_LLS.pdf);

- хорошо имитирует человеческий стиль мышления: дает результаты анализа, понятные экспертам на основе их опыта, интуиции и профессиональной компетенции.

В чем сила подхода, реализованного в системе Эйдос? В том, что она реализует подход, эффективность которого не зависит от того, что мы думаем о предметной области и думаем ли вообще. Она формирует модели непосредственно на основе эмпирических данных, а не на основе наших представлений о механизмах реализации закономерностей в этих данных. Именно поэтому Эйдос-модели эффективны даже если наши представления о предметной области ошибочны или вообще отсутствуют.

В этом и слабость этого подхода, реализованного в системе Эйдос. Модели системы Эйдос - это феноменологические модели, т.е. они не отражают механизмов детерминации, а только сам факт и характер детерминации.

If you have high dimensional data then you easily run into the curse of high dimensionality. In high dimensions there might not be any reasonable clusters because all data points are approximately equidistant.

If you observe this effect, then you can apply subspace clustering algorithms, which find together with the cluster a subspace in which the points actually cluster. There are methods which select the subspaces among the given features and those which create low-dimensional subspaces which do not necessarily align with a selection of the given features. If the interpretation of the relevant features is important then I would go with the former approach.

Sibylle Hess Thanks for answering. Can you please elaborate more on the subspace clustering algorithms, any paper etc.?

This is already a bit older but a good starting point:

https://dl.acm.org/doi/abs/10.1145/1497577.1497578?casa_token=GOMKhdF2kBQAAAAA:leFrQCb07TxLDm_P7KuK8ifO43BCFu_li663QxSQMpilC8Tq5ewr0qlfLVOhetQUj_q2Bd1nY2KO8A

In Chapter 2.4 Two-sided Clustering of my thesis, I give an overview of matrix factorization models employing feature selection simultaneously with the cluster identification.

Thesis A Mathematical Theory of Making Hard Decisions: Model Select...

If you want to use deep learning, you can have a look at this paper

Article Deep Subspace Clustering Networks

Lutsenko E. V. Method of cognitive clustering or clusterization based on knowledge (clusterization in system-cognitive analysis and intellectual system "Eidos") / E. V. Lutsenko, V. E. Korzhakov / / Polytematic network electronic scientific journal of Kuban state agrarian University (Scientific journal of kubgau) [Electronic resource]. - Krasnodar: Kubgau, 2011. – No. 07(071). S. 528 – 576. – The cipher of Informregistr: 0421100012\0253, IDA [article ID]: 0711107040. - Access mode: http://ej.kubagro.ru/2011/07/pdf/40.pdf, 3,062 cu.