v3.22.0: the test suites (scripts grouped, ordered, with setup/teardown)

A suite is the root object: every script belongs to exactly one suite, the
suite holds the ordered member list by reference - the optional setup first,
the members, the optional teardown last - and runs them in one card session,
without resets and without resume.

- test_suites.py: the suite store (test_suites.json, --test-suites), validated
  and atomic like the script store: roles normalised (setup first, teardown
  last, at most one of each, a script appears once per suite), per-member
  on_fail stop/continue and the suite-level require_adm.
- test_scripts.py schema v2: suite_id/require_adm; list_by_suite()/orphans();
  the import reports the id_map a bundle import remaps with.  v3.21.0 scripts
  without a suite are attached once to an auto-created "Imported scripts"
  suite (migrate_scripts_to_suites, called from __main__).
- API: /api/test/suites (+ update|delete|import - delete refused while
  non-empty; the bundle import imports the scripts first, remaps the suite
  references and skips unresolvable ones); the scripts endpoints gain
  suite_id/require_adm plus move|copy (delete detaches from the suite first;
  a suite update refuses a membership change).
- runner: /api/test/run {suite_id} resolves the members and the preset, runs
  the ADM gate, then setup -> members (per-member on_fail) -> teardown.  The
  teardown always runs on a stop or a failure (skipped only when the card is
  gone; it clears the stop flag for its duration); a card reset stops the
  suite, skips the remaining members and is flagged.  Members' live steps land
  in the shared snapshot, their records (status/steps/note/log excerpt/
  counters) in _TEST_RUN['suite']; the summary carries the counts, wall time,
  preset, the SCP80 counters before/after per keyset and the session flags.
  _test_log buffers the semantic lines (bounded) for the report's per-member
  excerpts.
- ADM gate (_ensure_adm): a suite/script require_adm verifies the matched
  preset's key once per card session (the /api/verify-adm badge sets the same
  latch); a failure refuses the start, stamps the session (no automatic
  retry) and needs a manual verify.
- PWA: the Test script pill becomes four views - the suite list (default),
  the suite editor (the script list: role badges, on_fail, up/down, per-script
  Run/Edit/Move/Copy/Delete, Add script with the templates), the script editor
  (the step list; a single run shows its result under the steps and is not
  preserved) and the suite report (per-member blocks with the step table,
  notes and run log; summary; export JSON/Markdown).  Suite bundles export/
  import; the legacy script export imports into "Imported scripts".  EN/RU.
- tests: the suite store/migration, the runner orchestration (order, on_fail,
  setup failure, stop, card reset, teardown, per-member logs) and the ADM gate
  (Python); the suite HTTP paths; the PWA report/Markdown/wiring (Node).
  Tests: 833 frontend + 794 Python; sw cache simple-v397.

frontend/help-ru.html

@@ -562,11 +562,12 @@
 <section class="mb-10">
 	<h3 id="test-script" class="text-lg font-medium mb-2">8.9 Тест-скрипт</h3>
 	<p class="text-sm mb-2"><strong>Тест-скрипт</strong> &mdash; упорядоченный список <strong>действий</strong> и <strong>ожиданий</strong> проактивных команд, выполняемый на подключённой карте на стороне сервера. Пока запуск активен, карта принадлежит скрипту: остальные операции с картой отклоняются (HTTP&nbsp;409), фоновый опрос STATUS приостанавливается; отчёт о запуске хранится в памяти (в том числе после перезагрузки страницы) до нажатия <strong>Очистить отчёт</strong>. Скрипты хранятся в <strong>хранилище на сервере</strong> (<code class="font-mono text-sm">~/.pysim-simple-server/test_scripts.json</code>, <code class="font-mono text-sm">--test-scripts</code>), поэтому все браузеры работают с одним набором; изменения записываются в хранилище по мере правки (кнопки &laquo;Сохранить&raquo; нет &mdash; черновик без валидного шага остаётся локальным); экспорт/импорт JSON остаётся для резервных копий и переноса скриптов между стендами (старый экспорт из localStorage импортируется как есть).</p>
+	<p class="text-sm mb-2">У вкладки <strong>четыре представления</strong>: <strong>список наборов</strong> (по умолчанию; <em>Добавить набор</em> / <em>Редактировать</em> / <em>Запустить</em> / <em>Экспорт</em> / <em>Удалить</em>), <strong>редактор набора</strong> (скрипты набора в порядке выполнения &mdash; необязательный <em>setup</em> первым и <em>teardown</em> последним, с пометками ролей; у каждого скрипта <em>Запустить</em>/<em>Редактировать</em>/<em>Переместить</em>/<em>Скопировать</em>/<em>Удалить</em>, политика <em>при ошибке</em> <em>остановить</em> (по умолчанию) / <em>продолжить</em> и <em>Требуется ADM</em>), <strong>редактор скрипта</strong> (список шагов; кнопка <em>Старт</em> выполняет только этот скрипт и показывает результат под шагами &mdash; он не сохраняется) и <strong>отчёт набора</strong> (после запуска набора: статус каждого скрипта, таблица шагов с ожидаемым/фактическим, примечание об ошибке и выдержка из журнала запуска; сводка с успешно/предупреждения/ошибки/пропущено, время выполнения, счётчики SCP80 до&nbsp;&rarr;&nbsp;после по каждому keyset, пресет и предупреждение о смене сессии карты; экспорт в <em>JSON</em> или <em>Markdown</em>).  <strong>Запуск набора</strong> выполняет его скрипты по порядку в <strong>одной сессии карты, без сбросов и без продолжения с места остановки</strong>; <em>при ошибке</em> решает, остановится ли набор на этом скрипте или запустится следующий, <strong>teardown выполняется всегда</strong> при остановке или ошибке (пока карта в ридере), чтобы следующий тест начался с чистого состояния, а сброс карты останавливает набор и отмечается в отчёте.  <strong>Требуется ADM</strong> (у набора или скрипта) проверяет ключ ADM из подобранного пресета <strong>один раз</strong> перед запуском &mdash; ошибка отклоняет запуск (проверьте вручную через значок ADM; автоматических повторов нет).  Скрипты хранятся в хранилище наборов (<code class="font-mono text-sm">~/.pysim-simple-server/test_suites.json</code>, <code class="font-mono text-sm">--test-suites</code>); каждый скрипт принадлежит ровно одному набору, и скрипт можно переместить или скопировать в другой набор (экспорт набора &mdash; это пакет с набором и его скриптами; старый экспорт только скриптов импортируется в автоматически созданный набор &laquo;Imported scripts&raquo;).</p>
 	<ul class="list-disc list-inside text-sm space-y-1 mb-3">
 		<li><strong>Действия</strong> &mdash; <em>Envelope</em> (Event Download: сырой тип события + данные, с опциональным переопределением источника &mdash; 82 терминал / 83 сеть) или <em>Event</em> (семантические формы: Location status, Access technology change, Network rejection, Data connection status change &mdash; поля редактируются как объект JSON в редакторе шагов, а для остальных событий форма события на вкладке «Телефон» показывает готовый hex), <em>Menu Selection</em> (item id 1&ndash;255 или текст пункта с точным/частичным совпадением, по умолчанию без учёта регистра &mdash; выбор <em>«Учёт регистра»</em> в редакторе шагов включает точное совпадение; текст подбирается по меню карты, которое следует за параметрами установки апплета), <em>UPDATE/READ файла</em> (путь + режим; чтение проверяет данные файла), <em>сырой APDU</em> (без авто-обработчика), <em>SCP80</em> (C-APDU или готовый защищённый пакет, опциональные переопределения номера keyset (kvn) / TAR / SPI1 / SPI2 и формат команды &mdash; компактный или обёрнутый в шаблон Command Scripting TS 102 226 &sect;5.2.1 <em>expanded</em> (AA) / <em>expanded AE&nbsp;80</em>; ключи и счётчик берутся из пресета карты, подобранного по ICCID подключённой карты &mdash; запуск называет пресет в хранилище, поэтому всегда используются его keysets, TAR и счётчик &mdash; а счётчик записывается обратно после запуска), <em>STATUS</em> (при <em>попытках</em> &gt; 1 опрашивает, пока карта не объявит команду) и <em>Очистка proactive</em> (опрос STATUS и поглощение всех объявленных команд &mdash; результат TERMINAL RESPONSE для каждой, опционально другой результат для первой; граница попыток/интервала; опциональная проверка <em>require</em> по поглощённому.  Пустой опрос проходит, финальный STATUS должен быть idle, а оставшаяся команда передаётся следующему шагу &mdash; используйте в начале, середине или конце скрипта, чтобы убедиться, что карта перестала слать команды). У каждого действия есть проверка ответа: ожидаемые SW и данные (точно или маска с подстановкой <code class="font-mono text-sm">?</code> &mdash; <code class="font-mono text-sm">91??</code>) и проверка PoR для SCP80 (<em>любой / без PoR / por_ok</em> или своя проверка декодированного PoR &mdash; статус / SW / данные; транспорт через SEND SHORT MESSAGE работает так же).</li>
 		<li><strong>Ожидания</strong> &mdash; карта должна объявить проактивную команду на предыдущем шаге (SW <code class="font-mono text-sm">91XX</code>, TS 102 221 &sect;7.4.2.1 / TS 102 223 &sect;6.3); <code class="font-mono text-sm">9000</code> означает &laquo;команды нет&raquo;: шаг падает на своём уровне ошибок &mdash; Ошибка останавливает скрипт, Предупреждение продолжает (терпимая форма &laquo;поглотить команду, если она есть&raquo;) &mdash; а действие STATUS с <em>попытками</em> &gt; 1 опрашивает, когда апплет выдаёт команду при опросе. Проверяются тип команды, квалификатор и содержимое: текст / пункт / raw, проверка <em>Alpha</em> (идентификатор Alpha команды, тег <code class="font-mono text-sm">05</code>/<code class="font-mono text-sm">85</code> &mdash; отличается от текстовой строки <code class="font-mono text-sm">8D</code>), проверка <em>SMS TPDU</em> (submit-TPDU команды SEND SHORT MESSAGE: получатель / PID / DCS / UDL / данные &mdash; для собственного SMS апплета), проверка <em>PoR</em> (SEND SHORT MESSAGE несёт PoR, когда пакет запросил PoR-in-submit, бит SPI2 <code class="font-mono text-sm">20</code>: статус ответа, SW R-APDU и данные ответа; перед этим должен выполниться шаг SCP80 &mdash; SW R-APDU находится <em>внутри</em> полезной нагрузки ответа: собственный TAR апплета возвращает данные приложения, поэтому проверяйте данные, а SW оставляйте пустым; отклонённый ENVELOPE (<code class="font-mono text-sm">62XX</code>/<code class="font-mono text-sm">63XX</code>) может вовсе не нести пакет ответа &mdash; для такого шага оставляйте проверку PoR «любой» или ожидайте «без PoR») и проверка <em>Files</em> (File List команды REFRESH, например квалификатор <code class="font-mono text-sm">00</code> = NAA initialization with full file change notification). <strong>TERMINAL RESPONSE</strong> (результат, идентификатор пункта, текст, доп. TLV) является частью инструкции.</li>
 		<li><strong>Уровни ошибок</strong> &mdash; несовпадение помечает шаг как <em>Ошибка</em> (скрипт останавливается) или <em>Предупреждение</em> (продолжает); уровень применяется к любой ошибке шага, включая ожидание без объявленной команды; каждая проверка показывается с ожидаемым и фактическим значением.</li>
-		<li><strong>Шаблоны</strong> &mdash; Empty, <em>Обзор меню STK</em>, <em>Апплет через SCP80</em>; редактор шагов — формный (поля действия Event вводятся объектом JSON), отдельные скрипты экспортируются/импортируются как JSON.</li>
+		<li><strong>Шаблоны</strong> &mdash; Empty, <em>Обзор меню STK</em>, <em>Апплет через SCP80</em>; редактор шагов — формный (поля действия Event вводятся объектом JSON), а набор экспортируется/импортируется пакетом JSON (набор и его скрипты).</li>
 	</ul>
 	<p class="text-sm mb-3">Каждый шаг пишет семантическую строку в журнал сервера под своим номером (<code class="font-mono text-sm">TEST-RUN step N: …</code>), запрос перед ответом: отправленный APDU/данные и полученный SW, для SCP80 — открытый C-APDU, собранный защищённый пакет и R-APDU из PoR, для ожидания — тройка FETCH / команда / TERMINAL RESPONSE, очистка proactive — каждый раунд STATUS/FETCH/команда/TR, а очистка в конце запуска — поглощённые команды (отвечаются <code class="font-mono text-sm">ok</code> &mdash; cancel отправляется только по явному запросу скрипта), а для выбора пункта меню — полный ENVELOPE с определённым пунктом. Запустите сервер с <code class="font-mono text-sm">--apdu-trace</code>, чтобы добавить и журнал сырых транспортных APDU.</p>
 

frontend/help.html

@@ -561,11 +561,12 @@
 <section class="mb-10">
 	<h3 id="test-script" class="text-lg font-medium mb-2">8.9 Test script</h3>
 	<p class="text-sm mb-2">A <strong>test script</strong> is an ordered list of <strong>actions</strong> and proactive-command <strong>expectations</strong> executed server-side on the equipped card. While a run is active the card belongs to the script: other card actions are refused (HTTP&nbsp;409) and background STATUS polling is paused; the run report is kept in memory (also after reloading the page) until <strong>Clear report</strong>. Scripts live in the <strong>server-side store</strong> (<code class="font-mono text-sm">~/.pysim-simple-server/test_scripts.json</code>, <code class="font-mono text-sm">--test-scripts</code>), so every browser manages the same set; edits are written to the store as you change them (there is no Save button &mdash; a draft without a valid step stays local until it is valid); JSON export/import remains for backup and for moving scripts between benches (the old localStorage export imports as-is).</p>
+	<p class="text-sm mb-2">The pill has <strong>four views</strong>: the <strong>suite list</strong> (default; <em>Add suite</em> / <em>Edit</em> / <em>Run</em> / <em>Export</em> / <em>Delete</em>), the <strong>suite editor</strong> (the suite's scripts in run order &mdash; the optional <em>setup</em> first and the <em>teardown</em> last, marked with role badges; per script <em>Run</em>/<em>Edit</em>/<em>Move</em>/<em>Copy</em>/<em>Delete</em>, the per-member <em>on failure</em> policy <em>stop</em> (default) / <em>continue</em>, and <em>ADM required</em>), the <strong>script editor</strong> (the step list; its <em>Start</em> runs that single script and shows the result under the steps &mdash; not preserved) and the <strong>suite report</strong> (after a suite run: every script's status, its step table with expected/actual, the failing note and a run-log excerpt; the summary with passed/warnings/failed/skipped, wall time, the SCP80 counters before&nbsp;&rarr;&nbsp;after per keyset, the preset and a card-session-changed warning; export as <em>JSON</em> or <em>Markdown</em>).  A <strong>suite run</strong> executes its scripts in order in <strong>one card session, without resets and without resume</strong>; <em>on failure</em> decides whether the suite stops at that script or runs the next one, the <strong>teardown always runs</strong> on a stop or a failure (while the card is in the reader) so the next test starts clean, and a card reset stops the suite and is flagged in the report.  <strong>ADM required</strong> (on the suite or a script) verifies the matched preset's ADM key <strong>once</strong> before the start &mdash; a failure refuses the run (verify manually with the ADM badge; nothing is retried automatically).  Scripts live in the suite's store (<code class="font-mono text-sm">~/.pysim-simple-server/test_suites.json</code>, <code class="font-mono text-sm">--test-suites</code>); every script belongs to exactly one suite, and a script can be moved or copied to another suite (a bundle export carries the suite plus its scripts; the old script-only export imports into an auto-created &ldquo;Imported scripts&rdquo; suite).</p>
 	<ul class="list-disc list-inside text-sm space-y-1 mb-3">
 		<li><strong>Actions</strong> &mdash; <em>Envelope</em> (Event Download: raw event type + data, with an optional source override &mdash; 82 terminal / 83 network) or <em>Event</em> (the semantic forms: Location status, Access technology change, Network rejection, Data connection status change &mdash; the fields are edited as a JSON object in the step editor, and the Phone tab's event form shows the built hex for the other events), <em>Menu Selection</em> (item id 1&ndash;255, or the item's text with an exact/contains match, case-insensitive by default &mdash; the step editor's <em>Match case</em> choice switches to an exact-case match; the text is resolved against the card's menu, which follows the applet's install parameters), <em>UPDATE/READ file</em> (path + mode; reads verify the file data), <em>raw APDU</em> (no auto-handler), <em>SCP80</em> (C-APDU or a pre-built secured packet, optional keyset number (kvn) / TAR / SPI1 / SPI2 overrides and a command format &mdash; compact, or the TS 102 226 &sect;5.2.1 Command Scripting template <em>expanded</em> (AA) / <em>expanded AE&nbsp;80</em> around the C-APDU; the keys and the counter come from the card preset matched by the equipped card's ICCID &mdash; the run names the stored preset, so it always uses its keysets, TARs and counter &mdash; and the counter is written back to it after the run), <em>STATUS</em> (with <em>attempts</em> &gt; 1 it polls until the card announces a command) and <em>Proactive cleanup</em> (poll STATUS and consume every announced command &mdash; the TERMINAL RESPONSE result for each, optionally a different result for the first; the attempt/interval bound; an optional <em>require</em> assertion over what was drained.  An empty poll passes, the final STATUS must be idle, and a still-pending command is handed to the next step &mdash; use it at the start, in the middle or at the end of a script to make sure the card has stopped sending). Every action has a response check: expected SW and data (exact, or a mask with <code class="font-mono text-sm">?</code> nibble wildcards &mdash; <code class="font-mono text-sm">91??</code>) plus a PoR check for SCP80 (<em>any / no PoR / por_ok</em>, or a custom assertion of the decoded PoR &mdash; status / SW / data; the SEND SHORT MESSAGE transport works the same).</li>
 		<li><strong>Expectations</strong> &mdash; the card must have announced a proactive command in the previous step (SW <code class="font-mono text-sm">91XX</code>, TS 102 221 &sect;7.4.2.1 / TS 102 223 &sect;6.3); a <code class="font-mono text-sm">9000</code> means &ldquo;no command&rdquo;: the step fails at its fail level &mdash; Error stops the script, Warning continues (the tolerant &ldquo;consume a command if there is one&rdquo; form) &mdash; and a STATUS action with <em>attempts</em> &gt; 1 polls when the applet delivers on poll. The command type, qualifier and contents are verified: text / item / raw checks, an <em>Alpha</em> check (the command's Alpha identifier, tag <code class="font-mono text-sm">05</code>/<code class="font-mono text-sm">85</code> &mdash; distinct from the <code class="font-mono text-sm">8D</code> text string), an <em>SMS TPDU</em> check (the submit TPDU of a SEND SHORT MESSAGE: destination / PID / DCS / UDL / user data &mdash; for an applet's own SMS), a <em>PoR</em> check (a SEND SHORT MESSAGE carries the PoR when the packet requested PoR-in-submit, SPI2 bit <code class="font-mono text-sm">20</code>: the response status, the R-APDU SW and the response data; make sure an SCP80 step ran first &mdash; the R-APDU SW lives <em>inside</em> the response payload: an applet's own TAR returns application data, so check its data and leave the SW empty; a refused ENVELOPE (<code class="font-mono text-sm">62XX</code>/<code class="font-mono text-sm">63XX</code>) may carry no response packet at all &mdash; leave the PoR check at <em>any</em> or expect <em>no PoR</em> for such a step) and a <em>Files</em> check (the File List of a REFRESH, e.g. qualifier <code class="font-mono text-sm">00</code> = NAA initialization with full file change notification). The scripted <strong>TERMINAL RESPONSE</strong> (result, item identifier, text, extra TLVs) is part of the instruction.</li>
 		<li><strong>Fail levels</strong> &mdash; a mismatch flags the step as <em>Error</em> (terminates the script) or <em>Warning</em> (continues); every step failure honours it, including an expectation that finds no pending command; each check is reported with expected vs actual values.</li>
-		<li><strong>Templates</strong> &mdash; Empty, <em>STK menu browsing</em>, <em>Applet via SCP80</em>; the step editor is form-based (the event action's fields are a JSON object) and individual scripts export/import as JSON.</li>
+		<li><strong>Templates</strong> &mdash; Empty, <em>STK menu browsing</em>, <em>Applet via SCP80</em>; the step editor is form-based (the event action's fields are a JSON object), and a suite exports/imports as a JSON bundle (the suite plus its scripts).</li>
 	</ul>
 	<p class="text-sm mb-3">Every step logs a semantic line to the server log under its step number (<code class="font-mono text-sm">TEST-RUN step N: …</code>), request before response: the APDU/data sent and the SW received, for SCP80 the plaintext C-APDU, the built secured packet and the PoR's R-APDU, for an expectation the FETCH / command / TERMINAL RESPONSE trio, a proactive cleanup every STATUS/FETCH/command/TR round and the run cleanup the commands it drained (answered <code class="font-mono text-sm">ok</code> &mdash; a cancel is only sent when a script asks for it), and for a menu selection the complete ENVELOPE with the resolved item. Start the server with <code class="font-mono text-sm">--apdu-trace</code> to add the raw transport APDU log as well.</p>
 

frontend/sw.js

@@ -1,4 +1,4 @@
-const CACHE = 'simple-v396';
+const CACHE = 'simple-v397';
 const URLS = [
   'index.html',
   'help.html',

frontend/tests/testscripts.test.js

@@ -40,6 +40,8 @@ eval(extractFunc(html, 'testStepSummary'));
 eval(extractFunc(html, 'testCommandOptions'));
 globalThis.t = s => s;
 globalThis.esc = s => String(s);
+globalThis.testScripts = () => _testScripts || [];
+globalThis.testSuites = () => _testSuites || [];
 eval(extractFunc(html, 'testFormRow'));
 eval(extractFunc(html, 'testFormInput'));
 eval(extractFunc(html, 'testFormSelect'));
@@ -53,11 +55,14 @@ eval(extractFunc(html, 'testScriptsWriteback', true));
 eval(extractFunc(html, 'testScriptsWritebackQueued'));
 eval(extractFunc(html, 'testScriptsSave'));
 eval(extractFunc(html, 'testRunStart', true));
-eval(extractFunc(html, 'testDelete', true));
+eval(extractFunc(html, 'testSuiteDeleteScript', true));
+eval(extractFunc(html, 'testSuitesRefetch', true));
 eval(extractFunc(html, 'testChecksCollect'));
 eval('var _testEditStep = null; var _testEditChecks = []; var _testEditStepIndex = -1;'
-	+ ' var _testScripts = null; var _testCurrentIdx = -1; var _testRunState = null;'
-	+ ' var _testSaveTimer = null; var _testWriteChains = new WeakMap(); var _testLastPresetIdx = -1;');
+	+ ' var _testScripts = null; var _testSuites = []; var _testScriptId = null;'
+	+ ' var _testScriptDraft = null; var _testRunState = null; var _testSaveTimer = null;'
+	+ ' var _testWriteChains = new WeakMap(); var _testLastPresetIdx = -1;'
+	+ ' var _testRunScriptRef = null; var _testSuiteIdx = -1;');
 globalThis.localStorage = { getItem: () => null, setItem: () => {}, removeItem: () => {} };
 
 function fakeForm(values) {
@@ -443,12 +448,14 @@ test('two quick saves of a draft create one script, then update it', async () =>
 	};
 	globalThis.ioStatus = () => {};
 	_testScripts = [{ name: 'one', steps: [{ type: 'action', kind: 'status', params: { attempts: 1 } }] }];
-	_testCurrentIdx = 0;
-	globalThis.testCurrent = () => _testScripts[_testCurrentIdx];
+	_testScriptId = null;
+	globalThis.testCurrentScript = () => _testScripts[0];
 	testScriptsSave(true);
 	testScriptsSave(true);
 	await new Promise(r => setTimeout(r, 40));
-	assert.deepStrictEqual(calls, ['/api/test/scripts', '/api/test/scripts/update']);
+	// the create is followed by a suites refetch (the suite gained the member)
+	assert.deepStrictEqual(calls, ['/api/test/scripts', '/api/test/suites',
+		'/api/test/scripts/update']);
 	assert.strictEqual(_testScripts[0].id, 'd'.repeat(32));
 });
 
@@ -458,15 +465,21 @@ test('deleting a script cancels a pending debounced save', async () => {
 	globalThis.ioStatus = () => {};
 	globalThis.confirm = () => true;
 	globalThis.testRender = () => {};
-	_testScripts = [{ name: 'draft', steps: [{ type: 'action', kind: 'status', params: { attempts: 1 } }] }];
-	_testCurrentIdx = 0;
-	globalThis.testCurrent = () => _testScripts[_testCurrentIdx];
+	globalThis.testStoresFetch = async () => {};
+	const script = {id: 'e'.repeat(32), name: 'edited',
+		steps: [{type: 'action', kind: 'status', params: {attempts: 1}}]};
+	_testScripts = [script];
+	globalThis.testCurrentScript = () => script;
+	globalThis.testScriptById = () => script;
+	globalThis.testCurrentSuite = () => ({id: 'a'.repeat(32),
+		scripts: [{script_id: script.id, role: 'member', on_fail: 'stop'}]});
+	globalThis.testSuiteEntry = () => ({script_id: script.id});
+	globalThis.testSuites = () => [];
 	testScriptsSave();                       // schedules the 600 ms write
-	await testDelete();                      // a draft: local removal only
+	await testSuiteDeleteScript(0);          // the delete path
 	await new Promise(r => setTimeout(r, 700));
-	assert.deepStrictEqual(calls, []);       // the queued save never fired
-	assert.strictEqual(_testScripts.length, 1);
-	assert.strictEqual(_testScripts[0].name, 'New test script');
+	assert.deepStrictEqual(calls, ['/api/test/scripts/delete']);
+	assert.strictEqual(script._deleted, true);
 });
 
 test('the STATUS step leaves the SW check to the server default', () => {
@@ -606,12 +619,16 @@ test('the run sends the stored preset id, not the removed flat fields', () => {
 test('the run refuses without a matched or complete preset', () => {
 	globalThis.cards = [];
 	globalThis.cardsMatchedPreset = () => null;
-	assert.match(testRunPreset().error, /No card preset matches/);
+	assert.match(testRunPreset(true).error, /No card preset matches/);
 	const preset = { id: 'p2' };
 	globalThis.cards = [preset];
 	globalThis.cardsMatchedPreset = () => preset;
 	globalThis.cardsScp80Complete = () => false;
-	assert.match(testRunPreset().error, /incomplete SCP80/);
+	assert.match(testRunPreset(true).error, /incomplete SCP80/);
+	// an ADM-only run needs the preset but not the SCP80 completeness
+	assert.strictEqual(testRunPreset(false).preset_id, 'p2');
+	globalThis.cardsScp80Complete = () => true;
+	assert.strictEqual(testRunPreset(true).preset_id, 'p2');
 });
 
 test('the client-side problem check bounds the keyset number', () => {
@@ -681,10 +698,11 @@ test('a new script is created in the server store and gets its id', async () =>
 	assert.strictEqual(calls[0][0], '/api/test/scripts');
 	assert.strictEqual(calls[0][1].name, 'new');
 	assert.strictEqual(s.id, 'a'.repeat(32));      // the store id is adopted
+	assert.strictEqual(calls[1][0], '/api/test/suites');   // the member refetch
 	// every later write updates by id
 	await testScriptsWriteback(s);
-	assert.strictEqual(calls[1][0], '/api/test/scripts/update');
-	assert.strictEqual(calls[1][1].id, 'a'.repeat(32));
+	assert.strictEqual(calls[2][0], '/api/test/scripts/update');
+	assert.strictEqual(calls[2][1].id, 'a'.repeat(32));
 });
 
 test('an incomplete draft is not written to the store', async () => {
@@ -701,11 +719,11 @@ test('an immediate save writes the current script through', async () => {
 	globalThis.pysimFetch = async (path) => { calls.push(path); return {ok: true, script: {id: 'c'.repeat(32)}}; };
 	globalThis.ioStatus = () => {};
 	_testScripts = [{name: 'one', steps: [{type: 'action', kind: 'status', params: {attempts: 1}}]}];
-	_testCurrentIdx = 0;
-	globalThis.testCurrent = () => _testScripts[_testCurrentIdx];
+	_testScriptId = null;
+	globalThis.testCurrentScript = () => _testScripts[0];
 	testScriptsSave(true);
 	await new Promise(r => setTimeout(r, 0));      // the writeback is async
-	assert.deepStrictEqual(calls, ['/api/test/scripts']);
+	assert.deepStrictEqual(calls, ['/api/test/scripts', '/api/test/suites']);
 	assert.strictEqual(_testScripts[0].id, 'c'.repeat(32));
 });
 
@@ -723,7 +741,7 @@ test('the run sends the stored script id with the edited script', async () => {
 		sent = {path, body};
 		return {running: true, name: 'saved', index: 0, total: 1, steps: [], status: null};
 	};
-	globalThis.testCurrent = () => ({id: 'b'.repeat(32), name: 'saved',
+	globalThis.testCurrentScript = () => ({id: 'b'.repeat(32), name: 'saved',
 		steps: [{type: 'action', kind: 'status', params: {attempts: 1}}]});
 	globalThis.testRunPreset = () => { throw new Error('no preset for a status-only script'); };
 	globalThis.testRunMessage = () => {};

frontend/tests/testsuites.test.js

@@ -0,0 +1,151 @@
+// Test suite view/report tests (v3.22.0): the report renderers, the Markdown
+// export and the markup wiring of the four views under the Test script pill.
+
+const { test } = require('node:test');
+const assert = require('node:assert');
+const fs = require('node:fs');
+const path = require('node:path');
+
+const html = fs.readFileSync(path.join(__dirname, '..', 'index.html'), 'utf8');
+
+function extractFunc(src, name, asyncFn) {
+	const re = new RegExp('(?:async\\s+)?function\\s+' + name + '\\s*\\([^)]*\\)\\s*\\{');
+	const m = re.exec(src);
+	if (!m) throw new Error('function ' + name + ' not found');
+	let i = m.index + m[0].length - 1;
+	let depth = 0;
+	for (; i < src.length; i++) {
+		if (src[i] === '{') depth++;
+		else if (src[i] === '}') {
+			depth--;
+			if (depth === 0) break;
+		}
+	}
+	return src.slice(m.index, i + 1);
+}
+
+let code = '';
+for (const fn of ['testStatusBadge', 'testRunStepHtml', 'testReportMemberHtml',
+	'testReportMarkdown', 'testSuiteProgress', 'testRoleOptions', 'testFailOptions']) {
+	code += extractFunc(html, fn) + '\n';
+}
+eval(code);
+globalThis.t = s => s;
+globalThis.esc = s => String(s);
+
+function snapshot() {
+	return {
+		name: 'regression', status: 'error', preset: 'SE test1',
+		started: 1, finished: 2,
+		suite: {
+			id: 'a'.repeat(32), name: 'regression', require_adm: true,
+			session_start: 1, session_end: 1, session_changed: false,
+			counters_before: {'2': '0000000010'}, counters_after: {'2': '0000000012'},
+			members: [
+				{script_id: 'b'.repeat(32), name: 'setup', role: 'setup',
+				 on_fail: 'stop', status: 'ok',
+				 steps: [{index: 0, type: 'action', label: 'STATUS', status: 'ok',
+					checks: [{label: 'SW', ok: true, expected: '9000', actual: '9000'}]}],
+				 log: ['TEST-RUN [1/3 setup setup] step 1: STATUS 1/1 -> 9000'], log_truncated: false},
+				{script_id: 'c'.repeat(32), name: 'alfa-dsa', role: 'member',
+				 on_fail: 'stop', status: 'error',
+				 note: 'step 2 failed',
+				 steps: [{index: 0, type: 'action', label: 'SCP80', status: 'ok', checks: []},
+					{index: 1, type: 'expect', label: 'REFRESH', status: 'error',
+					 checks: [{label: 'Command', ok: false, expected: 'REFRESH',
+						actual: '(none)', level: 'error'}]}],
+				 log: ['TEST-RUN [2/3 member alfa-dsa] step 1: SCP80 -> SW=9103'], log_truncated: true},
+				{script_id: 'd'.repeat(32), name: 'teardown', role: 'teardown',
+				 on_fail: 'stop', status: 'skipped', steps: [], log: [], log_truncated: false},
+			],
+			summary: {ok: 1, warning: 0, error: 1, skipped: 1, stopped: false,
+				session_changed: false, wall_ms: 12345,
+				counters_before: {'2': '0000000010'}, counters_after: {'2': '0000000012'},
+				setup: 'ok', teardown: 'skipped'},
+		},
+		adm: {required: true, verified: true},
+	};
+}
+
+test('testReportMarkdown renders the members, steps, notes and logs', () => {
+	const md = testReportMarkdown(snapshot());
+	assert.match(md, /# Test suite report: regression/);
+	assert.match(md, /- status: error/);
+	assert.match(md, /- Preset: SE test1/);
+	assert.match(md, /passed: 1, warnings: 0, failed: 1, skipped: 1/);
+	assert.match(md, /wall time: 12\.3 s/);
+	assert.match(md, /SCP80: 2 0000000010 -> 0000000012/);
+	assert.match(md, /## 2\. alfa-dsa \(member, on_fail: stop\) - error/);
+	assert.match(md, /> step 2 failed/);
+	assert.match(md, /### Step 2: REFRESH - error/);
+	assert.match(md, /- ✗ Command: expected REFRESH, actual \(none\)/);
+	assert.match(md, /TEST-RUN \[2\/3 member alfa-dsa\] step 1: SCP80 -> SW=9103/);
+	assert.match(md, /## 3\. teardown \(teardown, on_fail: stop\) - skipped/);
+});
+
+test('testReportMarkdown tolerates an empty snapshot', () => {
+	assert.match(testReportMarkdown(null), /# Test suite report: /);
+});
+
+test('testReportMemberHtml carries the status, note and log details', () => {
+	const member = snapshot().suite.members[1];
+	const htmlOut = testReportMemberHtml(member, 1);
+	assert.match(htmlOut, /alfa-dsa/);
+	assert.match(htmlOut, /step 2 failed/);
+	assert.match(htmlOut, /Run log/);
+	assert.match(htmlOut, /truncated/);
+	assert.match(htmlOut, /Command: /);
+	const teardown = testReportMemberHtml(snapshot().suite.members[2], 2);
+	assert.match(teardown, /teardown/);
+	assert.match(teardown, /skipped/);
+});
+
+test('testSuiteProgress counts the finished members only', () => {
+	assert.strictEqual(testSuiteProgress(snapshot()), '3/3');
+	const snap = snapshot();
+	snap.suite.members[1].status = 'running';
+	snap.suite.members[2].status = 'pending';
+	assert.strictEqual(testSuiteProgress(snap), '1/3');
+});
+
+test('the role and on_fail selects mark the stored value', () => {
+	assert.match(testRoleOptions('setup'), /value="setup" selected/);
+	assert.match(testRoleOptions('member'), /value="member" selected/);
+	assert.doesNotMatch(testRoleOptions('member'), /value="setup" selected/);
+	assert.match(testFailOptions('continue'), /value="continue" selected/);
+	assert.match(testFailOptions('stop'), /value="stop" selected/);
+});
+
+test('the Test script pill hosts the four suite views and their wiring', () => {
+	for (const id of ['test-view-suites', 'test-view-suite', 'test-view-script', 'test-view-report']) {
+		assert.ok(html.includes('id="' + id + '"'), 'missing ' + id);
+	}
+	for (const fn of ['testSuiteNew', 'testSuiteOpen', 'testSuiteDelete', 'testSuiteExport',
+		'testSuiteRun', 'testSuiteAddScript', 'testSuiteDeleteScript', 'testSuiteMoveScript',
+		'testSuiteTargetGo', 'testOpenScript', 'testScriptBack', 'testReportExportJson',
+		'testReportExportMarkdown', 'testImportFile', 'testViewShow']) {
+		assert.ok(html.includes('function ' + fn) || html.includes('async function ' + fn),
+			'missing ' + fn);
+	}
+	assert.ok(/id="test-suite-name"[^>]*oninput="testSuiteNameChanged\(\)"/.test(html));
+	assert.ok(/id="test-suite-adm"[^>]*onchange="testSuiteAdmChanged\(\)"/.test(html));
+	assert.ok(/id="test-script-adm"[^>]*onchange="testScriptAdmChanged\(\)"/.test(html));
+	assert.ok(/id="test-suite-run-btn"[^>]*data-needs="card"/.test(html));
+	assert.ok(/id="test-run-btn"[^>]*data-needs="card"/.test(html));
+});
+
+test('the suite run opens the report view and names the preset', () => {
+	const src = extractFunc(html, 'testSuiteRun', true);
+	assert.match(src, /'\/api\/test\/run'/);
+	assert.match(src, /suite_id/);
+	assert.match(src, /_testView = 'report'/);
+	assert.match(src, /testRunPreset\(usesScp80\)/);
+	assert.match(src, /needsAdm/);
+});
+
+test('a single script run sends its require_adm flag and keeps its id', () => {
+	const src = extractFunc(html, 'testRunStart', true);
+	assert.match(src, /require_adm: !!cur\.require_adm/);
+	assert.match(src, /body\.script_id = cur\.id/);
+	assert.match(src, /testRenderRun\(resp\)/);
+});