Cristián Bravo

Abstract: During the last decades, the disciplines of Data Mining and Operations Research have been working mostly independent of each other. However, the increasing complexity of today’s applications in areas such as business, medicine, and science requires more and more interaction between both disciplines. On the one hand, several data mining algorithms are based on optimization methods. On the other hand, in several applications the pure Knowledge Discovery in Databases (KDD) process is not sufficient since it does not take explicitly into account the entire decision process. This report presents future trends in Business Analytics and Optimization discussed at the panel sessions during the workshop on Business Analytics and Optimization (BAO’2010), where the future challenges of data mining regarding privacy, cyber-crime, dynamic models, open source/closed source software, model construction, model use and usability, and legal regulations, among others, were discussed.

Abstract: Todas las instituciones financieras que ofrecen crédito a sus clientes deben abordar el problema de estimar cuánto del dinero otorgado retornará a la entidad y a qué clientes ofrecerles crédito. Sistemas de Credit Scoring se han desarrollado de manera exitosa para determinar la probabilidad que un cierto cliente falle en devolver el crédito que le ha sido otorgado. En el presente trabajo se describen los modelos desarrollados para dos organizaciones financieras nacionales para microempresarios, ajustando los pasos del proceso KDD (Knowledge Discovery in Databases) a sus necesidades particulares. El documento presenta las experiencias obtenidas a partir de estos proyectos y explica en detalle como se resolvieron los problemas asociados a las características particulares de los microempresarios en Chile. La mayoría de los proyectos asociados al proceso KDD son de naturaleza estática. Sin embargo, con el paso del tiempo los modelos comienzan a perder la capacidad de explicar los fenómenos para los que fueron construidos inicialmente. Debido a los requerimientos de las entidades financieras se desarrollaron módulos para el seguimiento y la recalibración de los modelos. En particular, se proponen técnicas estadísticas con el fin de determinar cuándo los cambios en las características de la población pueden afectar el desempeño del modelo. Durante el desarrollo de las soluciones se pudo obtener un conocimiento importante sobre el comportamiento de los clientes. Algunos descubrimientos fueron sorprendentes, mientras otros confirmaron las nociones que tenían los expertos. La utilización de estos sistemas en las operaciones diarias puede reducir la tasa tanto de falsos positivos como de falsos negativos, lo que se traduce en menores costos y una mayor cobertura en los mercados respectivos.

Abstract: This paper addresses the problem of probability estimation in Multiclass classification tasks combining two well-known data mining techniques: Support Vector Machines and Neural Networks. We present an algorithm which uses both techniques in a two-step procedure. The first step employs Support Vector Machines within a One-vs-All reduction from multiclass to binary approach to obtain the distances between each observation and the Support Vectors representing the classes. The second step uses these distances as inputs for a Neural Network, built with an entropy cost function and softmax transfer function for the output layer where class membership is used for training. Consequently, this network estimates probabilities of class membership for new observations. A benchmark using different databases demonstrates that the proposed algorithm is highly competitive with the most recent techniques for multiclass probability estimation.

Abstract: La gran mayoría de los proyectos de minería de datos que utilizan la metodología KDD en la vida real entregan solamente soluciones estáticas, que con el paso del tiempo pierden la capacidad de explicar los fenómenos para los que fueron construidos inicialmente. Presen- tamos un marco teórico-práctico que permite realizar un seguimiento cercano a los modelos para determinar el momento donde éstos deben ser actualizados, manteniendo un estricto control sobre la evolución de los mismos, las variables presentes en ellos y los cambios re- levantes que pueden ocurrir en la población desde que fueron inicialmente diseñados. Los tests estadísticos incluyen tests clásicos como las pruebas de Kolmogorov-Smirnov o la prue- ba de Chi-Cuadrado para medir los cambios en las medias de las variables en los modelos, más un test novedoso diseñado en base a la distribución de los coeficientes en los modelos y la desviación estándar observada de las variables, que permite medir cuándo la población ha cambiado más allá de los intervalos de confianza definidos por los parámetros iniciales. La metodología fue puesta a prueba utilizando las bases de datos reales de dos proyectos de Credit Scoring a microempresarios, realizados entre los años 2007 y 2008 con muy buenos resultados.

Abstract: Constrained clustering addresses the problem of creating minimum variance clusters with the added complexity that there is a set of constraints that must be fulfilled by the elements in the cluster. Research in this area has focused on "must-link" and ""cannot-link'" constraints, in which pairs of elements must be in the same or in different clusters, respectively. In this work we present a heuristic procedure to perform clustering in two classes when the restrictions affect all the elements of the two clusters in such a way that they depend on the elements present in the cluster. This problem is highly susceptible to outliers in each cluster (extreme values that create infeasible solutions), so the procedure eliminates elements with extreme values in both clusters, and achieves adequate performance measures at the same time. The experiments performed on a company database allow to discover a great deal of information, with results that are more readily interpretable when compared to classical k-means clustering.

Abstract: Data Mining is a widely used discipline with methods that are heavily supported by statistical theory. Game theory, instead, develops models with solid economical foundations but with low applicability in companies so far. This work attempts to unify both approaches, presenting a model of price competition in the credit industry. Based on game theory and sustained by the robustness of Support Vector Machines to structurally estimate the model, it takes advantage from each approach to provide strong results and useful information. The model consists of a market-level game that determines the marginal cost, demand, and efficiency of the competitors. Demand is estimated using Support Vector Machines, allowing the inclusion of multiple variables and empowering standard economical estimation through the aggregation of client-level models. The model is being applied by one competitor, which created new business opportunities, such as the strategic chance to aggressively cut prices given the acquired market knowledge.

Abstract: To model market dynamics is a challenge that has attracted the interest of practitioners and researchers alike. This problem has been addressed from the perspective of Game Theory, in models that explicitly include profit-maximization schemes for the companies, and also from the point of view of data mining, with models that consider multivariate functions to model customer demands and related phenomena. In this paper we present a two-stage model that unifies both approaches, with a hybrid neural network - support vector machines model to estimate multiclass demand at a client level, that then serves as input for a game theoretic model that considers the strategic relationships between costs and demands in price fixation schemes for Bertrand equilibriums. The model was applied to a real-life database in a loan-granting institution with good results. New knowledge discovered includes insights about cost structures and the competitive behavior of the institutions, creating new business opportunities.

Abstract: This paper addresses the problem of probability estimation in multiclass classification tasks combining two well known data mining techniques: support vector machines and neural networks. We present an algorithm which uses both techniques in a two-step procedure. The first step employs support vector machines within a one-vs-all reduction from multiclass to binary approach to obtain the distances between each observation and the support vectors representing the classes. The second step uses these distances as inputs for a neural network, built with an entropy cost function and softmax transfer function for the output layer where class membership is used for training. Consequently, this network estimates probabilities of class membership for new observations. A benchmark using different databases demonstrates that the proposed algorithm is highly competitive with the most recent techniques for multiclass probability estimation.

Abstract: Las técnicas de minería de datos permiten encontrar relaciones en grandes bases de datos, dejando fuera las relaciones que existen entre los agentes; por otro lado la teoría de juegos toma en cuenta estos problemas sacrificando aplicación práctica al ser eminentemente teóricos. El modelo desarrollado en esta tesis une ambos enfoques para entregar una visión integral que permite incluir todas las relaciones entre empresas y las relaciones presentes en la base de datos de clientes. Se utilizó la metodología de descubrimiento de conocimiento en bases de datos (KDD) en la construcción de los modelos de minería de datos. Para construir tal modelo, se desarrolló en primera instancia un modelo de minería de datos multiclase que genera propensiones de compra entre los clientes para cada empresa presente en el mercado. Este modelo fue complementado de forma novedosa con variables de mercado endógenas, cómo el precio y las campañas de marketing que miden la intensidad de la competencia a la que están enfrentadas las empresas. Finalmente, estos resultados fueron agregados para construir la demanda que caracteriza al mercado, otra aplicación innovadora que entregó resultados satisfactorios. En cuanto a las técnicas particulares, se utilizaron Support Vector Machines (SVMs), potente técnica de basada en el aprendizaje estadístico, y un modelo híbrido desarrollado en el marco de esta tesis que complementa estos resultados utilizando redes neuronales artificiales (ANNs), potente técnica en cuánto a su capacidad de aproximar funciones. Los resultados indican que el método que utiliza sólo SVMs entrega mayores capacidades en la predicción, mientras el modelo de SVMs y ANNs posee ventajas importantes en tiempos de prueba y replicabilidad. El proceso de minería de datos sirve como entrada para un modelo teoría de juegos que considera el comportamiento de las empresas a partir de estos y que incorpora también la estructura de costos de las empresa competidoras y la eficiencia al competir utilizando el precio como variable estratégica. La intención fundamental es determinar los factores que determinan los costos de los competidores y su capacidad de respuesta frente a las condiciones de mercado y demanda que enfrentan. El modelo fue aplicado en el mercado de créditos de consumo, utilizando las tasas como variable estratégica. Los resultados obtenidos tienen acertividad cercana al 80\% en términos de la minería de datos y con ajustes próximos al 95\% para los modelos de teoría de juegos, siendo esto altamente eficiente. El modelo integrado refleja fuentes de oportunidad para aumentar participación de mercado en base a debilidades de los competidores, permite utilizar una medida cuantitativa de la eficiencia de la empresa y de sus contendores y permite revisar el efecto de acciones comerciales en los clientes. En conclusión, las sinergias causadas por el uso de ambas técnicas en conjunto es de gran aporte.