Fórmula da curva quadrática:
y = (a * x2) + (b * x) + c
São necessários pelo menos três pontos de calibração para o ajuste quadrático. São necessários dois pontos se a origem for incluída ou forçada.
Os coeficientes resultam das equações lineares simultâneas abaixo. O algoritmo de Crout é usado para resolver a equação da matriz normal correspondente (ATAx = ATy). Na fórmula dada, as somas são abreviadas como:
A fim de evitar extravasamentos, os valores de x são normalizados antes de entrarem no cálculo:
Norma = Σ(x)
x = x / Norma
Equações normais para curva quadrática:
Ou escritas como equação da matriz:
Decomposição de Crout:
Com abreviações de valores:
Por fim, a normalização deve ser invertida:
Se a opção forçar origem for selecionada, o termo de offset c é colocado em zero ao criar as equações normais.
Se a origem for incluída, o ponto (0,0) é adicionado aos outros pontos e ponderado pelo valor médio dos pesos dos outros pontos, isto é, o termo Σ(p) é aumentado com o valor médio dos pesos dos outros pontos.