Спектральный калькулятор: 12 лет обновлений и улучшений

[mihas]

Руководство пользователя тут.

Надо бы для себя в первую очередь записать на память, в какой последовательности шли обновления спектрального калькулятора и заодно спросить - что бы еще пользователи хотели в нем улучшить, какой функционал расширить, какие файлы научить открывать, и так далее.
Как следует из шапки главного из нескольких скриптов (как и все скрипты и страницы сайта он в кодировке UTF-8 или Юникод. Но так было не всегда, давно сайт работал в кодировке windows-1251) он был написан впервые 27-29 января 2012. То есть прошло уже почти 6 лет на момент публикации этой заметки. За это время калькулятор посетили 46 тысяч раз (21 посещение в день в среднем) - внушительная цифра для весьма специфического инструмента.
Я не записывал даты всех изменений, но заносил их в хронологическом порядке. Далее буду здесь в теме проставлять дату. Пока вот что накопилось кроме первичного функционала - переводить массивы спектров в лабы и строить кривые TVI/DotGain по любым произвольным шкалам:

• Создание программы • январь 2012.
  1 • Конверсия спектров между фильтрами M0, M1, M2 (no, D50, uv-cut) • 2014_04_22
  2 • Конверсия цвета по методу McDowell 2005 (tristimulus correction method)
  3 • Теперь также поддерживается ввод данных CGATS LCh only
  4 • Визуализация и мишени tif в стандартах sRGB, Adobe RGB, ProPhoto RGB
  5 • Полный CIECAM02 с управлением и матрицы CAT02, Sharp, CMCCAT2000
  6 • Color Inconstancy Index (CII) для 8 иллюминантов против D50 и усредненный • 2014_11_15
  7 • Оценка цветовой константности по методу Pinney-DeMarsh
  8 • Color Rendering Index (CRI) и Color Quality Scale (CQS): качество света • 2014_11_30
  9 • Объем цветового охвата в кубических delta E всего по 8 патчам
  10 • Вычисление XYZ как по CIE, так и через Tristimulus Weighting Factors по ASTM
  11 • Усреднение повторяющихся на шкале патчей красок и бумаги
  12 • Визуализация локальных контрастов относительно целевой кривой
  13 • Упорядочивание некоторых тесткарт, например IT8.7/4 от Heidelberg
  14 • Вывод интерполированных спектров из 10 в 5 nm в формате CGATS
  15 • Графическое представление указанного спектрального образца
  16 • Распознавание формата CxF3 для спектров CMYK, RGB и осветителей • 2016_02_20
  17 • Распознавание формата CxF1 (i1Share) и табличных данных светотехников
  18 • Конвертация CxF в CGATS налету • Добавление координат xyY
  19 • Представлены образцы форматов файлов на входе калькулятора
  20 • Нормировка спектров Emission к единице по максимальному пику и к L=100
  21 • White Point Compensation и Black Point Compensation и как это работает
  22 • Перемещение окон калькулятора - актуально для больших экранов
  23 • Построение налету локуса xy для дневного света и Plank's Blackbody
  24 • Построение поверхности фигуры Human Visual Space в координатах Lab
  25 • 3D-графики с фигурами охвата HVS, AdobeRGB и референсами ISO 12647-2 • 2016_03_25
  26 • International English version of Spectral Calculator • 2016_04_05
  27 • Уточнены статусные фильтры ISO 5-3:2009 и ANSI CGATS.5-2003
  28 • Функция CRI и CQS дополнена вычислениями Tint и PAR (ФАР)
  29 • Вывод в строку массивов визуализации hex и rgb поканально
  30 • Отрисовка на PHP по запросу графиков PNG в высоком разрешении • 2016_11_26
  31 • Отключение графиков 3D в случае проблем с древними браузерами
  32 • Распознавание формата CxF2 от ColorMunki и xml от SpiderPRINT • 2017_02_01
  33 • Оценка качества света по методике IES TM-30-2015 дополняет CRI и CQS • 2017_02_05
  34 • Распознавание формата ICC и чтение данных из тега 'targ' • 2017_10_30
  35 • Формирование 'targ' из профиля ICC если в профиле этого тега нет • 2017_11_01
  36 • Теперь также поддерживается ввод данных CGATS xyY only • 2017_11_08
  37 • Калибровка через Device Link Profiles, передача данных в калькулятор DLP • 2017_11_30
  38 • Вычисление и прорисовка кривых RGB TVI в логике ColorAnt • 2018_03_02
  39 • Конвертация в CMYK налету данных CGATS GRAY от GretagMacbeth • 2018_03_11
  40 • Распознавание формата Treepaint ColorInstinct • 2018_03_28
  41 • Уровни соответствия сенсоров критерию Лютера-Айвса • 2018_05_07
  42 • Ввод XYZ в размерности 0-1 помимо нативной 0-100 • 2018_10_26
  43 • Распознавание налету спектральных данных Heidelberg Image Control 3 • 2018_11_05
  44 • Табличные данные LCh или Lab поверхности Human Visual Space (HVS) • 2018_11_20
  45 • Спектральное умное сглаживание Smart Smoothing, анимация и анализ результатов ниже • 2018_11_29
  46 • Произвольные таблицы для Smart Smoothing ниже • 2018_12_07
  47 • Нормировка спектров Emission к указанной светлоте • 2018_12_11
  48 • Двумерный Gamut mapping при визуализации патчей на экране (факультативно) • 2018_12_16
  49 • Добавление новых выбранных спектров на график с предыдущими • 2018_12_20
  50 • Раскраска произвольных патчей на графике 3D (ограничено 72 патчами из-за скорости) • 2018_12_21
  51 • Не только спектральные, но и колориметрические Smart Smoothing или умное сглаживание • 2018_12_25
  52 • Умное сглаживание по линии тренда • 2019_01_19
  53 • Усреднение двух произвольных шкал при передаче TVI в калькулятор DLP • 2019_02_10
  54 • Усреднение всех строк замера • 2019_03_14
  55 • Доработан табличный блок вывода IES и уточнены формулы ФАР • 2019_06_08
  56 • Быстрое колориметрическое сравнение по delta E с выбранным стандартом • 2020_02_09
  57 • Вычисление Spot Colour Tone Value (SCTV) по ISO 20654:2017 • 2020_05_20
  58 • Удаление дублирующихся патчей в замерах тесткарты • 2020_09_30
  59 • Четырехмерная сортировка CMYK в указанном порядке красок • 2020_10_20
  60 • Динамический progress индикации выполнения Умного сглаживания • 2020_10_22
  61 • Абсолютная и относительная колориметрия, переход по формулам ICC • 2021_01_3
  62 • Принадлежность цветового образца охвату тесткарты • 2021_09_21
  63 • Принадлежность всех пантонов V4 охвату принтера • 2021_09_23
  64 • Построение RGB профилей. Примеры тут и тут • 2021_12_06
  65 • Подавление эффекта Blue Turns Purple в любой тесткарте по Hung and Berns • 2021_12_10
  66 • Равноконтрастная по восприятию или perceptual uniformity модель Oklab от Björn Ottosson • 2022_01_14
  67 • Визуализация спектров иллюминантов на php • 2022_04_08
  68 • Human-oriented Density status • 2022_07_20
  69 • TLCI-2012: Television Lighting Consistency Index • 2023_02_03
  70 • Написал manual или руководство пользователя Спектральным калькулятором и профайлером iccGPU • 2023_05_17
  71 • Приложение к спектральному калькулятору - 3cc creator • Lab➔Lab device link • 2023_08_10
  72 • CIE 2015 Colorimetry System по стандарту CIE 170-2:2015 • 2023_09_20
  73 • Пользовательские CMF или индивидуальные кривые стандартного наблюдателя CIE • 2023_10_02
  74 • WPC для флексы в профайлере iccGPU • 2024_04_06
  75 • Калибровочные кривые CTV под фогру 39, кривые AB, фогру 51 • 2024_05_27
  76 • SCTV Transfer Curves - обратная функция от SCTV • 2024_07_16
  77 • Интерполяция градационных таблиц в шаг 1 • 2024_07_22
  78 • Калибровочные TVI-TC (transfer curves) по данным TVI • 2024_10_04

Пишите ваши пожелания и предложения по улучшению функционала спектрального калькулятора в этой теме. И обычно зимой у меня больше времени попрограммировать, чем летом.

А вот наиболее важные дополнения к другим моим программам:

• • Калькулятор Color Difference • Добавлено удаление ненужных строк в отчёте
  • Подбор смесевой краски PANTONE® • Дополнен вычислением Color Inconstancy Index - CII • Дополнен функцией определения цвета по имени краски
  • Калькулятор калибровки офсета через пластины • Дополнен важнейшей обратной функцией "виртуального" TVI от текущего размера точки и целевой кривой
  • Конвертер белой точки: CCT, tint, XYZ, xyY • Дополнен вычислением XYZ из CCT при Tint не равном нулю
  • Коллекция специализированных профилей цветоделения пополнилась качественным перцепционным сжатием из больших охватов в малые • Такое качество невозможно получить просто при конвертации из RGB в CMYK
  • Цветовой конвертер онлайн написан 10 октября 2018 и в конце октября дополнен красками CMYK и Pantone. Для пересчета красок в цвет и цвета в краски используется трилинейная интеполяция как в модулях CMM, а перцепционные таблицы цветового профиля FOGRA39 оформлены в виде удобных программе массивов. Можно задействовать двумерный Gamut mapping до охвата выбранной модели визуализации RGB на экране. В апреле 2020 добавлены краски RAL Classic, RAL Design, RAL Effect, NCS, DIN. В апреле 2024 добавлена цветовая разметка ⚒ CSSv4 для предопределенных в CSS пяти базовых моделей: srgb | display-p3 | a98-rgb | prophoto-rgb | rec2020.

[DimB]

Есть мысль, что можно добавить "вариант для осторожных" или иначе "тестовый", "для подгонки" -- не знаю как лучше назвать.
На первом этапе действуем по инструкции (т.е. подгоняем колористику и печатаем шкалы).
На втором (ну или любом, видимо зависит от рипа) кривые рипа не трогаем. Из калькулятора записываем DLP-профиль, который применяем только к шкалам.
Конвертированные таким образом шкалы ставим на лист, выводим и печатаем в общем тираже.
На последующих этапах считываем кривые из примененного профиля, и вносим коррекцию уже с учетом этих кривых.
И так до варианта, который устроит по требуемым критериям.
На последнем этапе применяем окончательные кривые уже на рипе.

Зачем?
Исключаем влияние на текущий тираж и получаем небольшую песочницу для экспериментов
с балансом, формой кривых, величинами TVI и т.д. и т.п.

Соот-но понадобится реализовать запись/чтение из DLP-профиля (в принципе уже есть).
Болванку профиля для старта можно записать из CHROMIX Curve3.

P.S. Совсем недавно проскакивала тема, где человек боялся подгоняться к кривым AB и использовал кривые CD. Так бы мог безопасно протестировать.

[mihas]

Спасибо, Дмитрий, идея пригодилась! И я ее быстренько реализовал. Можно тестировать: https://cielab.xyz/dlp/
В принципе данные напрямую передаются из спектрального калькулятора в новую программу для вычисления dlp, данные даже можно не сохранять и не таскать через буфер, для этого появилась отдельная кнопка:

передача таблиц TVI или Dot Gain из спектрального калькулятора в калькулятор DLP

• 65.23 КБ • 82727 просмотров

Новый калькулятор базируется на проверенном старом https://cielab.xyz/dgcor/ В него добавлена обработка не одной таблицы, а четырех - сразу по всем краскам. Можно даже Device Link Profile не строить, а просто сократить время табличной калибровки до нажатия всего пары кнопок: выбора целевых кривых и кнопки Calc.
Сохранена так же и обратная функция - построение DLP не по данным TVI или Dot Gain, а по табличным данным имеющихся размеров точек на пластине: это важно при калибровке итерациями, записываем все ходы, суммируем, применяем обратную функцию от точки к TVI. То есть например: напечатали с DLP первый раз. Решили чуть подправить, печатаем тест уже не с линейных пластин, а с поправленных. Вторую поправку по результату суммируем с первой, вновь строим по этим суммированным данным точек DLP. Так достигается со второго-третьего раза беспрецедентная точность калибровки.
Да, использование z factor в вычислении целевой и измеренной кривой голубой краски автоматом учитывается, данные без z factor передаются с пометкой, которую программа для вычисления dlp разпознаёт и применяет соответствующую целевую.
Так же тут немного слов о моей новой программе калибровки через DLP.

[mihas]

Добавил вычисление и прорисовку кривых RGB TVI в логике ColorAnt. Можно тестировать и обсуждать.
Целевые кривые гаммы в проекции TVI из профилей AppleRGB.icc (1,8), sRGB.icc (~2,2), LStar-RGB-v2.icc (~2,4) так же внесены в калькуляторы калибровки: https://cielab.xyz/dgcor/ и https://cielab.xyz/dlp/ И в виде таблиц, и девайс-линки rgb2rgb также доступны.

[mihas]

Написал вот такую функцию спектрального пересчета любых данных CMYK (не только чистых полутонов, но и наложений полутонов естественно) в заданные градационные, степень приближения к идеалу от 0 до 100 задается. Полезно при построении хороших профилей печати, небольшие шумы на измеренной кривой надо убирать, они скорее отражают несовершенство измерительных приборов и расположения патчей на оттиске, нежели отражают безусловную истину. Сглаживание и усреднение помогает бороться, но мне хотелось больше чем сглаживание - хотелось не просто выпрямить, а уж разом и привести к идеалу - к кривым стандарта. Задаются любые целевые кривые стандартов и даже разные гамма-функции, актуально для спектров RGB и CMYK, опубликовано для зарегистрированных ценителей верных спектральных расчетов:



Во вложении иллюстрация неких офсетных TVI до и после приведения кривой к заданной с "усилием" 95. И спектральный образец неких офсетных оригинальных и поправленных данных. Вот колориметрическая разница для спектральных файлов из приложенного ниже архива между оригиналом и примером работы функции. Хорошо видно, что функция не затрагивает плашек и воздействует на полутона и наложения полутонов. Вы можете сами визуализировать в спектральном калькуляторе TVI для обоих файлов из архива, чтобы увидеть разницу графически.
Нужна подобная оптимизация замеров конечно при построении icc-профилей офсетной печати, погрешности замеров надо убирать, как мы знаем фогра и ECI сильно сглаживают все свои профили, сглаживание видно в фогре 39, в фогре 51 применен алгоритм, аналогичный моему - кривые безупречные, как и у меня при расчетах с "усилием" 100. Даже рядом стоящие на оттиске в центре две шкалы с разным расположением патчей дают разницу в приращении полуонов в 1-2 процента, конечно это надо все усреднять и сглаживать для построения хорошего профиля цветоделения и цветопробы. Но просто усреднение и сглаживание не дают такой качественной картинки, как приближение к кривым стандарта.

Если имеющихся целевых не достаточно и требуется ввести собственные - тоже не проблема, подробности двумя постами ниже.

[mihas]

Все так быстро меняется, оставлю на память снимок всех функций для стабильной версии Спектрального калькулятора от 2 декабря 2018.

[mihas]

Дополнил так же функцию сглаживания и приближения к целевым кривым в спектрах вводом собственных произвольных кривых, помимо имеющихся в списке. Формат и шаг таблицы приращения полутонов задается любой, количество колонок таблицы от 2 до 5 автоматически распознается и правильно применяется калькулятором. Так например 2 колонки таблицы - это одна кривая на все каналы, 3 колонки - CMY и K, 4 колонки - гаммы RGB поканально, а 5 колонок - каждая кривая для своей краски. Например создадим таблицу 5 колонок с поканальными приращениями полутонов 13-14-15-16 для CMYK в 50% полутоне:

0	0	0	0	0
5	6.53	6.89	7.24	7.6
10	13.1	13.74	14.38	15.02
15	19.67	20.53	21.39	22.24
20	26.21	27.23	28.24	29.25
25	32.69	33.81	34.92	36.03
30	39.08	40.24	41.41	42.57
35	45.33	46.51	47.68	48.86
40	51.43	52.57	53.72	54.86
45	57.33	58.41	59.5	60.58
50	63	64	65	66
55	68.41	69.31	70.2	71.1
60	73.53	74.31	75.08	75.86
65	78.33	78.97	79.62	80.27
70	82.77	83.28	83.79	84.31
75	86.81	87.19	87.58	87.97
80	90.43	90.7	90.96	91.23
85	93.6	93.76	93.92	94.08
90	96.27	96.35	96.43	96.51
95	98.42	98.44	98.46	98.49
100	100	100	100	100

Выбираем селектором "Ввод собственных таблиц по образцу" и заменяем предложенный образец на свой в поле Output. В поле Input вводим как обычно спектральные данные. Получаем в спектрах результат (в аттаче) приведения полутонов к новым произвольным кривым для 1485 полей измеренной тесткарты и при "усилии" 100.
Полиграфия богата разными кривыми, помимо тех, что есть в ISO для офсета, флексушники например предпочитают целевую кривую Esko. Кривые многих профилей фогры не точно укладываются в стандарт - можно повторить и их, благо Спектральный калькулятор прекрасно их "выдергивает" из профилей. Только начиная с фогры 51 при построении стандартных профилей печати стали использовать такую математику, как представлена тут по кнопке "Суперфункции / Smart Smoothing", до этого просто применяли сглаживание к замерам, и они точно не укладывались в стандарт.
Поддерживается ввод как абсолютных, так и относительных значений уровня приращения полутонов: в пятидесяти как 14 так и 64. Программа определяет тип таблицы автоматом.

Немного из переписки:
"У вас в широкоформатке наверное так же как в офсете, в разных местах
оттиска немного показания по TVI разнятся.
Офсетный оттиск дает разные кривые по всему листу, буквально на пару
сантиметров сместись - и уже другая кривая. Они все конечно похожи,
усреднение дает более правдивую картину, но при построении совсем уж
правильных профилей офсета типа фогры 51 - усреднения и сглаживания не
достаточно, кривые приводят вообще в идеальное состояние. И кстати
хорошо калиброванный офсет именно это состояние и отражает, случаются
изредка замеры, которые просто идеально по 15 точкам укладываются в
целевую кривую стандарта. Просто поймать именно такой замер на большой
тесткарте не реально. А профиль хочется хороший. Что я делал раньше -
усреднял много и сильно сглаживал. Не идеально, но пойдет, в пробу все
попадает. Теперь могу еще лучше делать - не просто сглаживать, а
делать из замеров с погрешностями идеал.
Вот на этой картинке провал в 55% полутоне не обусловлен ни пластинами
ни механикой ни химией - просто неудачным расположением контрольного
патча 55. Если использовать при цветоделении эти данные как есть - в
градационной будет ошибка в этом месте, неровность, не характерная для
офсета. А это между прочим стандартная IT8.7/4 дает такую ошибку.
Первое что я делаю - переделываю тесткарту так, чтобы подобных ошибок
при печати не возникало. Второе - усредняю тесткарты с разным
геометрическим положением патчей. И теперь вот третье - могу еще и
"причесать" замеры так идеально, как даже гейдель не умеет. Причем
оказалось это в спектрах сделать проще и правильнее, чем в XYZ".

[mihas]

Поискал по табличным данным, посчитанным из tristimulus RGB профилей, край охвата по светлоте и насыщенности на разных углах hue. Пока получилось как-то так, некоторые неровности, подумал и убрал их. Эти массивы нужны для функции двумерного гамут маппинга в спектральном калькуляторе и цветовом конвертере.

[mihas]

Дописал добавление спектров на график с предыдущими: нужно тут было пару бумаг сравнить, накладывал графики в фотошопе, не дело, пусть будет возможность добавлять прямо в калькуляторе. Работает в том числе с разными данными в Input. Потребуется кеш браузера почистить если часто пользуетесь: обновление затрагивает скрипт, который кешируется очень надолго.

[mihas]

По просьбе коллеги из Киева сделал интеграцию между калькулятором Определения цвета по имени краски и калькулятором цветовых различий. Размноженное указываемое количество одинаковых референсов нужно для быстрого контроля по всему листу в связке с i1: контроль в печати должен быть быстрым. На схеме показано как все это работает: поле Reference заполняется автоматически, остается только заполнить поле Sample данными своих измерений данной краски.
В примере на схеме внизу просто сравнены два одинаковых номера краски из разных вееров.

[mihas]

Раскрасил произвольные точки на 3D-графике, но компьютеры пока не квантовые и на моем шустреньком i5-процессоре надо 16 раз нажать "продолжить" в браузере для исполнения скрипта, чтобы 1485 точек были окрашены каждая в свой цвет. Таким образом, ограничил в 3D раскраску точек 72 патчами, если их больше - будут просто серыми как и раньше.
2D-графики так же сильно тормозят браузер, если например раскрасить не 4 кривых а 720 отрезков каждого в свой цвет. Так что приходится жертвовать наглядностью в обмен на скорость.

[mihas]

Так же заметка, относящаяся и к этой теме - о точности умного сглаживания в Спектральном калькуляторе и в ColorAnt.

[mihas]

Спасибо Михаил. Очень ценный и полезный в работе ресурс. Часто пользуюсь. Постараюсь поддерживать.

Так написал сегодня наш первый пользователь, пожертвовавший первые в нашей 15-летней истории 25 евро на не имеющую аналогов по колориметрической точности функцию умного сглаживания. Я тоже думаю она того стоит.

Наши калькуляторы с открытым кодом по преимуществу были и остаются бесплатными в образовательных целях, сделать скромное пожертвование может быть настоятельно предложено только при явном промышленном коммерческом использовании Спектрального калькулятора и некоторых других инструментов.

[mihas]

Добавил умное сглаживание по линии тренда:

по линии тренда

• 344.68 КБ • 79730 просмотров

До 14 февраля 2019 года действует промокод для суперфункций:
логин minskpromo
пароль belarus

[mihas]

Я обычно измеряю две рядом стоящие шкалы с разным количеством и расположением патчей, для контроля, для большей достоверности данных. Потом проделываю вычисления с каждой из шкал и результаты усредняю. Данные между шкалами не сильно расходятся, но дополняют и уточняют друг друга: при усреднении тенденции проявляются отчетливее, а шумы, напротив, снижаются.
Чтобы сократить время дальнейших вычислений, прописал усреднение TVI двух шкал сразу в спектральном калькуляторе, перед передачей TVI калькулятору DLP. Формат таблицы определяется по второй шкале, шкалам не обязательно быть равными по числу патчей.
Это усреднение задействуется чекбоксом около кнопки DLP и не влияет на другие функции, только на кнопку DLP в первом спойлере (при усреднении ее надо нажать два раза, для первой и второй шкалы).