Machine-learning-assisted materials discovery using failed experiments
SVM derived decision tree
Los investigadores primero construyeron una base de datos de experimentos de química (nuevo material).
Luego entrenaron un SVM para predecir si un nuevo experimento de química tendría éxito.
Luego entrenaron un DT surrogate para explicar el modelo y aprender más sobre el experimento.
¿Por qué Model Interpretation & Explanation?
https://arxiv.org/abs/1702.08608
Fairness
Privacy
Reliability or Robustness
Causality
Trust
¿Cómo Interpretamos el Model Behavior?
Los métodos para model interpretation de machine learning se pueden clasificar según varios criterios.
White-box / Intrinsic interpretability: Modelos de machine learning que se consideran interpretable debido a su estructura simple, como short decision trees o sparse linear models. La interpretability se obtiene explicando la estructura interna del modelo.
Black-box / Post-hoc interpretability: Modelos de machine learning en los que es difícil obtener una comprensión completa de su funcionamiento interno (por ejemplo, deep neural networks) se consideran black boxes. La interpretability se obtiene explicando el model behavior después del training.
Discutimos los siguientes modelos que son intrínsecamente interpretable: - Linear Regression - Generalized Additive Models (GAM) - Tree-based Models - Decision Rules
Linear Regression
Los modelos lineares se pueden usar para modelar la dependencia de un regression target y sobre algunas features x en un formato como el siguiente: \[\begin{equation}
y = \beta_0 + \beta_1 x_1 + \ldots + \beta_n x_n + \varepsilon\end{equation}\]
El predicted target \(y\) es una combinación linear de las weighted features \(\beta_i x_i\). La estimated linear equation es un hyperplane en el espacio feature/target (una simple línea en el caso de una sola feature).
Los weights especifican la pendiente (gradient) del hyperplane en cada dirección.
Linear Regression
Linear Regression: Un Ejemplo de Precio de Vivienda
¿Cómo interpretas la influencia de cada propiedad en la predicción del precio de la vivienda?
Los GAMs nos permiten ajustar una \(f_j\) no-linear a cada \(X_j\), de modo que podamos modelar relaciones no-lineares fácilmente.
Los ajustes no-lineares pueden potencialmente llevar a mejores predicciones.
Como el modelo es additive, podemos examinar el efecto de cada \(X_j\) sobre \(Y\) para cada observación. Esto es útil para visualization.
Cons:
Los GAMs están restringidos a ser additive. Con muchas variables, interacciones importantes pueden pasarse por alto o ser computacionalmente inviables de encontrar.
Sin embargo, al igual que con la linear regression, podemos añadir manualmente interaction terms al modelo GAM incluyendo predictors adicionales de la forma \(X_j \times X_k\). Además podemos añadir low-dimensional interaction functions de la forma \(f_{jk}(X_j , X_k)\) al modelo.
https://treevis.net/ ofrece una galería de tree visualization. Estos trees se usan para visualizar estructuras jerárquicas, no solo modelos de machine learning basados en trees.
VA Systems que Usan Tree-based Models
BaobabView
Muestra el flujo de distintas class, y la class distribution a lo largo de los feature values.
VA Systems que Usan Tree-based Models
iForest
Decision Rules: Diferentes Estructuras
Se ve claramente cómo se toma la decisión y qué rule es más importante.
Rule Set: A set of if-then rules.
La decisión final se toma con base en un mecanismo de voting.
Un estudio de usuarios reciente muestra que “if-then structure without any connecting else statements enables users to easily reason about the decision boundaries of classes.”
Decision Rules: Diferentes Estructuras
Disjunctive normal form (DNF, OR-of-ANDs) Conjunctive normal form (CNF, AND-of-ORs)
What form does this rule set follow?
Decision Rules: Factores Visuales que Influyen en el Rule Understanding
Paper: https://arxiv.org/abs/2109.09160
¿Pueden distintas visualizations de rules llevar a distintos niveles de understanding de las rules?
Si es así, ¿cuáles son los factores visuales que influyen en el understanding y cómo juegan un papel en el rule understanding?
Evaluation de Rules
Dada la siguiente rule:
Si \(X\), entonces class \(Y\).
Support / Coverage de una rule:
\[\begin{equation}
\text{Support} = \frac{\text{número de instances que cumplen las condiciones en } X}{\text{número total de instances}}
\end{equation}\]
Confidence / Accuracy de una rule:
\[\begin{equation}
\text{Confidence} = \frac{\text{número de instances que cumplen las condiciones en } X \text{ y pertenecen a la class } Y}{\text{número de instances que cumplen las condiciones en } X}
\end{equation}\]
Global Surrogate
Imagina que tenemos un black-box model (demasiado complejo para entender la estructura interna), ¿podemos usar white-box models para ayudarnos a entender el model behavior del black-box model?
Global Surrogate
Abre la black box entendiendo un “surrogate model” que aproxima el behavior del black-box model original.
Se ve claramente cómo se toma la decisión y qué rule es más importante.
