Отдельные документы о тестировании
This commit is contained in:
@@ -2,70 +2,9 @@
|
||||
|
||||
= Тестирование программного обеспечения
|
||||
|
||||
В ходе работы было организовано тестирование Wallenc на нескольких уровнях: модульные автоматические тесты (JUnit, каталог `src/test` каждого Gradle-модуля), инструментальные тесты (`src/androidTest`), а также ручные функциональные и UI-прогоны. Программа и методика испытаний приведены в приложении Б.
|
||||
#include "testing/_intro.typ"
|
||||
|
||||
== План тестирования
|
||||
|
||||
=== Цели и задачи испытаний
|
||||
|
||||
Основная цель — подтвердить корректность криптографического ядра, доменной логики синхронизации и сценариев UI. Были поставлены следующие задачи:
|
||||
|
||||
+ проверить `Encryptor` и проверку ключа для строк, байтов и потоков;
|
||||
+ убедиться в корректном маппинге исключений в коды ошибок;
|
||||
+ протестировать движок синхронизации (`StorageSyncEngine`, журнал, блокировки);
|
||||
+ проверить оркестратор фоновых задач;
|
||||
+ выполнить smoke-тесты навигации, deep link и 2FA/TOTP;
|
||||
+ зафиксировать результаты ручных сценариев vault, OAuth и экрана задач.
|
||||
|
||||
=== Объект и уровни тестирования
|
||||
|
||||
#pz-table(
|
||||
[Объекты и уровни тестирования Wallenc],
|
||||
4,
|
||||
table.header([Уровень], [Объект], [Инструмент], [Критерий успеха]),
|
||||
[Unit], [Классы domain, usecases, ui, task-runtime, domain-vault], [JUnit 4, JVM], [Все тесты модуля успешны],
|
||||
[Инструм.], [Room, Compose UI, OAuth], [AndroidJUnit, эмулятор], [Нет падений на целевом API],
|
||||
[Ручной], [Сборка app, пользовательские цепочки], [Чек-лист], [Сценарии T-1…T-12 пройдены],
|
||||
[Регресс.], [Синхронизация, шифрование], [Повтор unit + выборочный ручной], [Нет блокирующих дефектов],
|
||||
) <tbl-test-levels>
|
||||
|
||||
=== Матрица тестовых сценариев
|
||||
|
||||
#pz-table(
|
||||
[Матрица тестовых сценариев],
|
||||
5,
|
||||
table.header([ID], [Сценарий], [Тип], [Авто], [Ожидаемый результат]),
|
||||
[T-1], [Проверка ключа шифрования], [Unit], [Да], [`Encryptor.checkKey` true/false],
|
||||
[T-2], [Шифрование/дешифрование строки и байтов], [Unit], [Да], [Симметрия данных],
|
||||
[T-3], [Потоковое шифрование файла], [Unit], [Да], [Данные после decrypt равны исходным],
|
||||
[T-4], [Синхронизация группы хранилищ], [Unit], [Да], [Копирование, удаление, trash, блокировки],
|
||||
[T-5], [2FA TOTP генерация], [Unit], [Да], [Совпадение с эталоном Java OTP],
|
||||
[T-6], [Маппинг ошибок сети/диска], [Unit], [Да], [Типизированные `WallencException`],
|
||||
[T-7], [CRUD storage в LocalVault], [Ручной], [Нет], [Список обновлён (рис. @fig-05)],
|
||||
[T-8], [Включение шифрования storage], [Ручной], [Нет], [Статус «зашифровано» (рис. @fig-06)],
|
||||
[T-9], [Открытие/закрытие storage], [Ручной], [Нет], [Доступ только с ключом (рис. @fig-07)],
|
||||
[T-10], [OAuth Яндекс], [Ручной / IT], [Частично], [Токен в Room (рис. @fig-10)],
|
||||
[T-11], [Экран задач и уведомления], [Ручной], [Частично], [Прогресс и завершение (рис. 12–13)],
|
||||
[T-12], [Compose: секреты и 2FA], [IT], [Да], [Отображение без падений (рис. @fig-33–@fig-34)],
|
||||
) <tbl-testplan>
|
||||
|
||||
=== Критерии начала и окончания
|
||||
|
||||
*Начало:* собраны модули проекта; выполняется `./gradlew test`; для инструментальных тестов доступен эмулятор API 26+.
|
||||
|
||||
*Окончание:* все 68 unit-тестов в `src/test` завершились успешно; инструментальные тесты пройдены на эмуляторе; ручной чек-лист T-7…T-12 выполнен; критические дефекты отсутствуют.
|
||||
|
||||
=== Среда и инструменты
|
||||
|
||||
#pz-table(
|
||||
[Тестовая среда],
|
||||
2,
|
||||
table.header([Параметр], [Значение]),
|
||||
[ОС разработки], [GNU/Linux, Android Studio],
|
||||
[JDK], [OpenJDK 17 / 21],
|
||||
[Сборка], [`./gradlew test`, `./gradlew connectedDebugAndroidTest`],
|
||||
[Устройство], [Эмулятор Pixel 6 API 34; физическое устройство для OAuth],
|
||||
) <tbl-test-env>
|
||||
#include "testing/01-plan.typ"
|
||||
|
||||
== Модульные тесты (JUnit)
|
||||
|
||||
|
||||
@@ -2,6 +2,10 @@
|
||||
// Разрыв длинных таблиц и подпись сверху задаёт шаблон modern-g7-32 (style.typ).
|
||||
|
||||
#show table: set text(hyphenate: true, lang: "ru")
|
||||
#show table.cell: set block(inset: (x: 5pt, y: 3pt))
|
||||
|
||||
// Таблица внутри figure — по умолчанию один неразрывный block (обрезка длинных реестров).
|
||||
#show figure.where(kind: table): set block(breakable: true)
|
||||
|
||||
#let pz-appendix-title(body) = heading(level: 1)[#body]
|
||||
|
||||
@@ -147,7 +151,7 @@
|
||||
}
|
||||
table(
|
||||
columns: columns,
|
||||
table.header(..header-row),
|
||||
table.header(..header-row, repeat: true),
|
||||
..rows,
|
||||
)
|
||||
}
|
||||
@@ -181,6 +185,7 @@
|
||||
kind: table,
|
||||
{
|
||||
show table: set text(hyphenate: true, size: 9pt)
|
||||
show table.cell: set block(inset: (x: 5pt, y: 4pt))
|
||||
show table.cell: cell => {
|
||||
show regex("[a-z0-9][A-Z]"): m => {
|
||||
m.text.first() + sym.zws + m.text.last()
|
||||
|
||||
64
Report/includes/testing/01-plan.typ
Normal file
64
Report/includes/testing/01-plan.typ
Normal file
@@ -0,0 +1,64 @@
|
||||
== План тестирования
|
||||
|
||||
=== Цели и задачи испытаний
|
||||
|
||||
Основная цель — подтвердить корректность криптографического ядра, доменной логики синхронизации и сценариев UI. Были поставлены следующие задачи:
|
||||
|
||||
+ проверить `Encryptor` и проверку ключа для строк, байтов и потоков;
|
||||
+ убедиться в корректном маппинге исключений в коды ошибок;
|
||||
+ протестировать движок синхронизации (`StorageSyncEngine`, журнал, блокировки);
|
||||
+ проверить оркестратор фоновых задач;
|
||||
+ выполнить smoke-тесты навигации, deep link и 2FA/TOTP;
|
||||
+ зафиксировать результаты ручных сценариев vault, OAuth и экрана задач.
|
||||
|
||||
=== Объект и уровни тестирования
|
||||
|
||||
#import "../common.typ": pz-table
|
||||
|
||||
#pz-table(
|
||||
[Объекты и уровни тестирования Wallenc],
|
||||
4,
|
||||
table.header([Уровень], [Объект], [Инструмент], [Критерий успеха]),
|
||||
[Unit], [Классы domain, usecases, ui, task-runtime, domain-vault], [JUnit 4, JVM], [Все тесты модуля успешны],
|
||||
[Инструм.], [Room, Compose UI, OAuth], [AndroidJUnit, эмулятор], [Нет падений на целевом API],
|
||||
[Ручной], [Сборка app, пользовательские цепочки], [Чек-лист], [Сценарии T-1…T-12 пройдены],
|
||||
[Регресс.], [Синхронизация, шифрование], [Повтор unit + выборочный ручной], [Нет блокирующих дефектов],
|
||||
) <tbl-test-levels>
|
||||
|
||||
=== Матрица тестовых сценариев
|
||||
|
||||
#pz-table(
|
||||
[Матрица тестовых сценариев],
|
||||
5,
|
||||
table.header([ID], [Сценарий], [Тип], [Авто], [Ожидаемый результат]),
|
||||
[T-1], [Проверка ключа шифрования], [Unit], [Да], [`Encryptor.checkKey` true/false],
|
||||
[T-2], [Шифрование/дешифрование строки и байтов], [Unit], [Да], [Симметрия данных],
|
||||
[T-3], [Потоковое шифрование файла], [Unit], [Да], [Данные после decrypt равны исходным],
|
||||
[T-4], [Синхронизация группы хранилищ], [Unit], [Да], [Копирование, удаление, trash, блокировки],
|
||||
[T-5], [2FA TOTP генерация], [Unit], [Да], [Совпадение с эталоном Java OTP],
|
||||
[T-6], [Маппинг ошибок сети/диска], [Unit], [Да], [Типизированные `WallencException`],
|
||||
[T-7], [CRUD storage в LocalVault], [Ручной], [Нет], [Список обновлён (прил. В, рис. 5)],
|
||||
[T-8], [Включение шифрования storage], [Ручной], [Нет], [Статус «зашифровано» (прил. В, рис. 6)],
|
||||
[T-9], [Открытие/закрытие storage], [Ручной], [Нет], [Доступ только с ключом (прил. В, рис. 7)],
|
||||
[T-10], [OAuth Яндекс], [Ручной / IT], [Частично], [Токен в Room (прил. В, рис. 10)],
|
||||
[T-11], [Экран задач и уведомления], [Ручной], [Частично], [Прогресс и завершение (прил. В, рис. 12–13)],
|
||||
[T-12], [Compose: секреты и 2FA], [IT], [Да], [Отображение без падений (прил. В, рис. 33–34)],
|
||||
) <tbl-testplan>
|
||||
|
||||
=== Критерии начала и окончания
|
||||
|
||||
*Начало:* собраны модули проекта; выполняется `./gradlew test`; для инструментальных тестов доступен эмулятор API 26+.
|
||||
|
||||
*Окончание:* все 68 unit-тестов в `src/test` завершились успешно; инструментальные тесты пройдены на эмуляторе; ручной чек-лист T-7…T-12 выполнен; критические дефекты отсутствуют.
|
||||
|
||||
=== Среда и инструменты
|
||||
|
||||
#pz-table(
|
||||
[Тестовая среда],
|
||||
2,
|
||||
table.header([Параметр], [Значение]),
|
||||
[ОС разработки], [GNU/Linux, Android Studio],
|
||||
[JDK], [OpenJDK 17 / 21],
|
||||
[Сборка], [`./gradlew test`, `./gradlew connectedDebugAndroidTest`],
|
||||
[Устройство], [Эмулятор Pixel 6 API 34; физическое устройство для OAuth],
|
||||
) <tbl-test-env>
|
||||
59
Report/includes/testing/02-test-sets.typ
Normal file
59
Report/includes/testing/02-test-sets.typ
Normal file
@@ -0,0 +1,59 @@
|
||||
== Наборы тестов и покрытие требований
|
||||
|
||||
Наборы тестов сформированы по функциональным требованиям к Wallenc (ФР-1…ФР-6). Матрица сценариев T-1…T-12 связывает испытания с ожидаемым поведением; реестр unit-тестов фиксирует автоматизированные проверки по модулям Gradle.
|
||||
|
||||
=== Функциональные требования
|
||||
|
||||
#include "tbl-functional-req.typ"
|
||||
|
||||
=== Матрица тестовых сценариев
|
||||
|
||||
#import "../common.typ": pz-table
|
||||
|
||||
#pz-table(
|
||||
[Матрица тестовых сценариев],
|
||||
5,
|
||||
table.header([ID], [Сценарий], [Тип], [Авто], [Ожидаемый результат]),
|
||||
[T-1], [Проверка ключа шифрования], [Unit], [Да], [`Encryptor.checkKey` true/false],
|
||||
[T-2], [Шифрование/дешифрование строки и байтов], [Unit], [Да], [Симметрия данных],
|
||||
[T-3], [Потоковое шифрование файла], [Unit], [Да], [Данные после decrypt равны исходным],
|
||||
[T-4], [Синхронизация группы хранилищ], [Unit], [Да], [Копирование, удаление, trash, блокировки],
|
||||
[T-5], [2FA TOTP генерация], [Unit], [Да], [Совпадение с эталоном Java OTP],
|
||||
[T-6], [Маппинг ошибок сети/диска], [Unit], [Да], [Типизированные `WallencException`],
|
||||
[T-7], [CRUD storage в LocalVault], [Ручной], [Нет], [Список обновлён],
|
||||
[T-8], [Включение шифрования storage], [Ручной], [Нет], [Статус encrypted],
|
||||
[T-9], [Открытие/закрытие storage], [Ручной], [Нет], [Доступ только с ключом],
|
||||
[T-10], [OAuth Яндекс], [Ручной / IT], [Частично], [Токен в `DbYandexAccount`],
|
||||
[T-11], [Экран задач и уведомления], [Ручной], [Частично], [Прогресс и завершение],
|
||||
[T-12], [Compose: секреты и 2FA], [IT], [Да], [Отображение без падений],
|
||||
) <tbl-testplan-export>
|
||||
|
||||
=== Трассировка требований → тесты
|
||||
|
||||
#pz-table(
|
||||
[Трассировка требований → тесты],
|
||||
3,
|
||||
table.header([ФР], [Тесты], [Комментарий]),
|
||||
[ФР-1], [T-7, StorageDomainUseCasesTest], [Storage в LocalVault и CRUD секретов],
|
||||
[ФР-2], [EncryptorTest, T-8, T-9], [Покрытие AES],
|
||||
[ФР-3], [TextSecretsScreenContentTest], [UI + domain],
|
||||
[ФР-4], [YandexDiskRepositoryTest, T-10], [HTTP-мок и ручной OAuth],
|
||||
[ФР-5], [StorageSyncEngineTest], [Синхронизация групп],
|
||||
[ФР-6], [TaskOrchestratorTest, T-11], [Очередь и экран задач],
|
||||
) <tbl-trace-export>
|
||||
|
||||
=== Реестр модульных unit-тестов
|
||||
|
||||
#include "../ch05-tests-generated.typ"
|
||||
|
||||
=== Инструментальные тесты (androidTest)
|
||||
|
||||
#pz-table(
|
||||
[Инструментальные тесты androidTest],
|
||||
4,
|
||||
table.header([Модуль], [Класс], [Назначение], [Методов]),
|
||||
[:ui], [TwoFaTokensScreenContentTest], [Compose: экран 2FA токенов], [2],
|
||||
[:ui], [TextSecretsScreenContentTest], [Compose: текстовые секреты], [2],
|
||||
[:infra], [YandexAccountRepositoryTest], [Room in-memory: аккаунт Яндекс], [3],
|
||||
[:app], [YandexDiskLiveIntegrationTest], [Живой API (при наличии токена)], [3],
|
||||
) <tbl-androidtest-export>
|
||||
43
Report/includes/testing/03-automation.typ
Normal file
43
Report/includes/testing/03-automation.typ
Normal file
@@ -0,0 +1,43 @@
|
||||
== Автоматизированное тестирование (код модулей)
|
||||
|
||||
В проекте реализовано 68 автоматических unit-тестов в пяти модулях (`:domain` — 12, `:domain-vault` — 10, `:usecases` — 25, `:ui` — 15, `:task-runtime` — 6). Тесты выполняются на JVM при сборке (`./gradlew test`). Инструментальные тесты размещены в `src/androidTest` соответствующих модулей.
|
||||
|
||||
=== Листинги исходного кода автотестов
|
||||
|
||||
Ниже — листинги файлов `src/test` и `src/androidTest` (при сборке PDF читаются из дерева проекта Wallenc, по тому же принципу, что приложение А пояснительной записки).
|
||||
|
||||
#include "../../listings/generated-tests/appendix-tests.typ"
|
||||
|
||||
=== Криптография и доменные ошибки
|
||||
|
||||
Класс `EncryptorTest` проверяет сценарии AES: `checkKey`, шифрование строк, байтовых массивов и потоков с верным и неверным ключом. `WallencExceptionMappingTest` покрывает преобразование файловых и сетевых исключений.
|
||||
|
||||
#import "../common.typ": pz-fig
|
||||
|
||||
#pz-fig("fig_27_gradle_domain_test.png", [Отчёт Gradle: модуль :domain, задача test], "fig-27-export")
|
||||
|
||||
=== Синхронизация, 2FA и use cases
|
||||
|
||||
`StorageSyncEngineTest` моделирует группы синхронизации, копирование и удаление файлов, soft-delete, отмену и блокировки; отдельно проверяются слияние журнала и пропуск цели с актуальной ревизией. `TwoFaTotpTest` сверяет TOTP с эталоном Java OTP. `StorageDomainUseCasesTest` проверяет CRUD текстовых секретов и 2FA.
|
||||
|
||||
#pz-fig("fig_28_gradle_usecases_test.png", [Отчёт Gradle: модуль :usecases], "fig-28-export")
|
||||
|
||||
=== Модуль :domain-vault
|
||||
|
||||
`YandexDiskRepositoryTest` использует мок HTTP: разбор `diskInfo`, пустой список при 404, `AuthException` при 401. `VaultThrowableMappingTest` покрывает сетевые и файловые ошибки vault.
|
||||
|
||||
=== Модуль :ui
|
||||
|
||||
Проверены чистые функции навигации, deep link, подписи уведомлений, парсинг OTP URI и постановка задачи в очередь (`TaskPipelineViewModelTest`).
|
||||
|
||||
#pz-fig("fig_29_gradle_ui_test.png", [Отчёт Gradle: модуль :ui], "fig-29-export")
|
||||
|
||||
=== Модуль :task-runtime
|
||||
|
||||
`TaskOrchestratorTest` проверяет enqueue, progress, fail, cancel и cancelAll.
|
||||
|
||||
== Инструментальные тесты (androidTest)
|
||||
|
||||
Запуск: `./gradlew connectedDebugAndroidTest`. Результат — на рис. @fig-31-export.
|
||||
|
||||
#pz-fig("fig_31_gradle_connected_test.png", [Gradle connectedDebugAndroidTest], "fig-31-export")
|
||||
43
Report/includes/testing/04-report.typ
Normal file
43
Report/includes/testing/04-report.typ
Normal file
@@ -0,0 +1,43 @@
|
||||
== Отчёт о проведении тестирования
|
||||
|
||||
По итогам `./gradlew test` все 68 unit-тестов завершились со статусом PASSED. Инструментальные тесты `:ui` подтвердили отрисовку экранов секретов и 2FA; тесты Room — персистентность учётной записи Яндекс.
|
||||
|
||||
#import "../common.typ": pz-fig, pz-table
|
||||
|
||||
#pz-fig("fig_30_gradle_test_summary.png", [Сводка Gradle test по модулям], "fig-30-export")
|
||||
|
||||
== Ручное и UI-тестирование
|
||||
|
||||
Ручные прогоны выполнялись по чек-листу T-7…T-12 на эмуляторе и физическом устройстве.
|
||||
|
||||
#pz-table(
|
||||
[Протокол ручного тестирования],
|
||||
5,
|
||||
table.header([ID], [Шаг], [Статус], [Фактический результат], [Иллюстрация]),
|
||||
[T-7], [Создать storage в LocalVault], [OK], [Storage в списке], [рис. 5],
|
||||
[T-8], [Включить шифрование], [OK], [Статус encrypted], [рис. 6],
|
||||
[T-9], [Открыть/закрыть storage], [OK], [Контент только при открытом storage], [рис. 7],
|
||||
[T-10], [OAuth Яндекс], [OK], [Запись в `DbYandexAccount`], [рис. 10],
|
||||
[T-11], [Фоновая задача шифрования], [OK], [Прогресс на экране задач], [рис. 12],
|
||||
[T-12], [Уведомление о завершении], [OK], [Notification отображён], [рис. 13],
|
||||
) <tbl-testres-export>
|
||||
|
||||
#pz-fig("fig_32_manual_test_checklist.png", [Чек-лист ручного UI-тестирования], "fig-32-export")
|
||||
|
||||
=== Трассировка требований → тесты (итог)
|
||||
|
||||
#pz-table(
|
||||
[Трассировка требований → тесты],
|
||||
3,
|
||||
table.header([ФР], [Тесты], [Комментарий]),
|
||||
[ФР-1], [T-7, StorageDomainUseCasesTest], [Storage в LocalVault и CRUD секретов],
|
||||
[ФР-2], [EncryptorTest, T-8, T-9], [Покрытие AES],
|
||||
[ФР-3], [TextSecretsScreenContentTest], [UI + domain],
|
||||
[ФР-4], [YandexDiskRepositoryTest, T-10], [HTTP-мок и ручной OAuth],
|
||||
[ФР-5], [StorageSyncEngineTest], [Синхронизация групп],
|
||||
[ФР-6], [TaskOrchestratorTest, T-11], [Очередь и экран задач],
|
||||
) <tbl-trace-report>
|
||||
|
||||
=== Вывод
|
||||
|
||||
План тестирования выполнен: автоматизированное покрытие охватывает криптографию, синхронизацию, задачи, парсинг OTP и обработку ошибок; ручные сценарии подтвердили пригодность UI для vault и OAuth. Критические дефекты не выявлены. Результаты обосновывают готовность прототипа Wallenc к демонстрации и защите ВКР.
|
||||
1
Report/includes/testing/_intro.typ
Normal file
1
Report/includes/testing/_intro.typ
Normal file
@@ -0,0 +1 @@
|
||||
В ходе работы было организовано тестирование Wallenc на нескольких уровнях: модульные автоматические тесты (JUnit, каталог `src/test` каждого Gradle-модуля), инструментальные тесты (`src/androidTest`), а также ручные функциональные и UI-прогоны. Программа и методика испытаний приведены в приложении Б пояснительной записки.
|
||||
13
Report/includes/testing/tbl-functional-req.typ
Normal file
13
Report/includes/testing/tbl-functional-req.typ
Normal file
@@ -0,0 +1,13 @@
|
||||
#import "../common.typ": pz-table
|
||||
|
||||
#pz-table(
|
||||
[Свод функциональных требований (фрагмент ПЗ, гл. 1)],
|
||||
2,
|
||||
table.header([Код], [Требование]),
|
||||
[ФР-1], [Создание, просмотр, переименование и удаление storage в локальном vault (LocalVault — один на устройстве)],
|
||||
[ФР-2], [Включение шифрования storage, проверка ключа, открытие и закрытие зашифрованного представления],
|
||||
[ФР-3], [Просмотр и операции с файлами внутри storage; текстовые секреты и 2FA],
|
||||
[ФР-4], [OAuth-авторизация (Яндекс), регистрация удалённых vault и листинг их storage],
|
||||
[ФР-5], [Синхронизация: группы хранилищ, журнал коммитов, фоновый Worker без передачи ключей],
|
||||
[ФР-6], [Очередь фоновых задач: шифрование, синхронизация, отображение прогресса],
|
||||
) <tbl-req-export>
|
||||
Reference in New Issue
Block a user