Visualization for Machine Learning

O que é Information Visualization? Por que usá-la?

“O uso de representações visuais interativas, com suporte computacional, de dados abstratos para amplificar a cognição.”

Conceitos-Chave

Baseado em computador
Representação Visual
Dados Abstratos
Interativo
Amplificar a Cognição

Dados Abstratos

Dados sem uma representação visual óbvia/natural

Dados Abstratos

Dados sem uma representação visual óbvia/natural

Interativo

Os usuários podem mudar o que é visualizado e como é visualizado.

Exemplo: TaxiVis

Amplificar a Cognição

Resolver problemas com dados com menos esforço, em menos tempo, e com mais precisão.
… ou até mesmo conseguir fazer coisas que seriam impossíveis sem um computador e uma representação gráfica.

Artefatos cognitivos: ferramentas que nos ajudam a pensar!

Tente multiplicar 34 x 72 usando exclusivamente sua mente …
… agora faça de novo usando papel e caneta.

Por que é mais fácil?

… porque podemos armazenar resultados intermediários no papel em vez de manter a informação na mente. Ou seja, parte da memória está no mundo em vez de estar na sua cabeça.

Vamos jogar o “jogo dos 15” …

As “peças” do jogo são os nove dígitos: 1, 2, 3, 4, 5, 6, 7, 8, 9. Cada jogador escolhe um dígito por vez. Uma vez que um dígito é escolhido, não pode ser usado pelo outro jogador. O primeiro jogador a conseguir três dígitos que somem 15 vence.
Aqui está uma partida de exemplo: O jogador A escolhe 8. O jogador B escolhe 2. Depois A escolhe 4, e B escolhe 3. A escolhe 5.
Pergunta 1: Suponha que agora você vai entrar e jogar por B. Que jogada você faria?

Vamos jogar um jogo diferente: tic-tac-toe

Os jogadores colocam alternadamente um O ou um X em um dos nove espaços dispostos em uma matriz retangular. Uma vez que um espaço foi ocupado, não pode ser alterado por nenhum dos jogadores. O primeiro jogador a conseguir três símbolos em linha reta vence. Suponha que o jogador A seja X e B seja O, e o jogo tenha chegado ao estado à direita.

Pergunta 2: Suponha que agora você vai entrar e jogar um O por B. Que jogada você faria?

Problem Isomorphs Herbert Simon

Os dois problemas são equivalentes!

Por que usar visualization?

Explanatory visualization
Exploratory visualization
Confirmatory visualization

Grandes Explanatory Visualizations

NYT: https://flowingdata.com/tag/new-york-times/
Washington Post: http://postgraphics.tumblr.com/
Gregor Aisch: https://driven-by-data.net/
Nicky Case/Explorable Explanations: http://explorabl.es/
Polygraph: http://polygraph.cool/ & https://pudding.cool/
ProPublica: https://www.propublica.org/

Por que usar uma representação gráfica?

Grande parte do nosso cérebro é dedicada ao processamento espacial

Por que usar um computador para visualizar dados?

Por que usar interaction?

Cada visualization consegue responder apenas um subconjunto de perguntas.
Com interaction o usuário pode mudar o que é visualizado e como responder a diversas perguntas.
Além disso, não é possível visualizar tudo de uma vez.

Como você avalia a qualidade de uma visualization?

Não seria subjetivo? Algumas pessoas gostam de A, enquanto outras gostam de B.

Algumas representações visuais são melhores que outras para resolver problemas específicos …

Digressão: Graphical Perception

Experimento de Graphical Perception

Resultados de Graphical Perception

Projetar visualizations eficazes requer

Conhecer o espaço de design
Ser capaz de comparar as soluções
… o que por sua vez requer compreender a percepção humana.

Data Types

O primeiro ingrediente para uma visualization eficaz é o input data. Os valores de dados podem representar diferentes formas de medição.
Que tipos de comparações essas medições suportam?
Que tipos de visual encodings então suportam essas comparações?

Nominal (N) ou Categorical (C)

Dados nominal — também chamados de categorical — consistem em nomes de categorias.
Com dados nominal podemos comparar a igualdade de valores: o valor A é igual ou diferente do valor B? (A = B), suportando afirmações como “A é igual a B” ou “A não é igual a B”.
Ao visualizar dados nominal devemos perceber facilmente se os valores são iguais ou diferentes: position, color hue (azul, vermelho, verde, etc.), e shape são todas opções razoáveis.

Ordinal (O)

Dados ordinal consistem em valores que têm uma ordenação específica.
Com dados ordinal podemos comparar o rank-ordering dos valores: o valor A vem antes ou depois do valor B? (A < B), suportando afirmações como “A é menor que B” ou “A é maior que B”.
Ao visualizar dados ordinal, devemos perceber uma noção de rank-order. Position, size, ou color value (brilho) podem ser apropriados, enquanto color hue (que não é perceptualmente ordenado) seria menos apropriado.

Quantitative (Q)

Dados quantitative medem diferenças numéricas..
Existem dois sub-tipos principais:
- Interval: Mede distâncias (A - B).
- Ratio: Mede proporções ou fatores de escala (A / B).
Valores quantitative podem ser visualizados usando position, size, ou color, entre outros channels. Uma linha de base zero é essencial para comparações ratio mas opcional para dados interval.

Temporal (T)

Valores temporal medem pontos ou intervalos de tempo. Este tipo é um caso especial de valores quantitative (timestamps) com semântica e convenções ricas (ou seja, o calendário gregoriano).
Exemplos de valores temporal incluem date strings como “2019-01-04” e “Jan 04 2019”, assim como date-times padronizados como o formato ISO date-time: “2019-01-04T17:50:35.643Z”. Não há valores temporal no nosso dataset global de desenvolvimento acima, já que o campo de ano está codificado como um número inteiro.

Spatial (S)

Dados que podem ser mostrados em um mapa
Também conhecidos como geospatial data, refere-se a informações que identificam a localização geográfica e as características de feições e limites naturais ou construídos na Terra. https://atlan.com/spatial-data/

Resumo dos Data Types

Esses data types não são mutuamente exclusivos, mas formam uma hierarquia: dados ordinal suportam comparações nominal (igualdade), enquanto dados quantitative suportam comparações ordinal (rank-order).
Além disso, esses data types não oferecem uma categorização fixa. Por exemplo, só porque um campo de dados é representado usando um número não significa que devamos tratá-lo como um tipo quantitative! Poderíamos interpretar um conjunto de idades (10 anos, 20 anos, etc.) como nominal (menor ou maior de idade), ordinal (agrupadas por ano), ou quantitative (calcular a idade média).

Fundamental Charts

Amplamente adotados, eficazes, úteis.
Resolvem uma porcentagem muito grande dos problemas de vis.
Terreno de treinamento para gráficos mais sofisticados.

Bar Chart

Visualiza como uma quantidade se distribui entre um conjunto de categorias.

Line Chart

Visualiza como uma quantidade muda em relação a outra quantidade (tipicamente o tempo).

Scatter Plot

Visualiza como uma quantidade se relaciona com outra quantidade.

Matrix

Visualiza como uma quantidade se distribui entre duas categorias.

Symbol Map

Visualiza como uma quantidade se distribui entre duas coordenadas espaciais.

Resumo de Fundamental Graphs

Scatter Plots + Faceting (sem)

Scatter Plots + Faceting (com)

Tidy Data

Objetivo: organizar os dados para facilitar a visualization

link para o paper

Tidy Data

Tidy Data: Definição

Em tidy data:

Cada variável forma uma coluna.
Cada observação forma uma linha.
Cada tipo de unidade observacional forma uma tabela.

Tidy Data: Exemplo #1

Tidy Data

Tidy Data: Exemplo #2

Tidy Data

Graphical Encoding

Toda visualization pode ser descrita em termos de:

seus componentes gráficos básicos
a estratégia de mapping entre dados e gráficos
mais precisamente, um conjunto de mappings entre:
- data items — visual marks
- data attributes — visual channels

Graphical Marks

Visual Encoding Channels

Visualization Decoding

Marks — Data Items
Channels — Data Attributes

Exemplos

NYT link

Expressiveness Principle

A representação visual deve expressar o tipo de informação que existe nos dados.

Dados ordenados não devem aparecer como desordenados.
Dados desordenados não devem aparecer como ordenados.

Effectiveness Principle

A relevância da informação deve corresponder à efetividade dos channels usados.

Represente a informação importante com channels mais efetivos

Effectiveness Effect

Resumo

Visual Encoding/Decoding
Graphical Marks and Channels
Expressiveness and Effectiveness
Channels Appropriateness and Ranking
Evaluation and Design
Componentes Contextuais
- Labels, legends e annotations
- Axes, grids e trend lines

Neo: Interactive Confusion Matrices

Ótimo exemplo de pesquisa em VisML!