план тестирования с моей стороны продуман так:
на нашей песочнице ERP2004 не ведутся работ в выходные.
За праздники я напишу генератор и сделаю возможность скачивать тестовые наборы.
Свои проги я не выставляю на участие, только обрабатываю присланные.
Допустим, прислано 10 прог. Я буду запускать их по-очереди на одном наборе тестовых данных. Затем запускается генератор и меняет данные, снова запускаются 10 прог но очередь сдвигается циклически на 1, и так 10 раз.
Возможно, придётся перейти только на фоновые задания. В любом случае,
Сибрин назначается в проверочную команду. И ещё, у участников присланных работ будет возможность посмотреть правильность своих прог на тестовой системе.
sibrin написал:
1. Генератор данных должен генерировать данные случайным образом, чтобы вероятность появления каждого символа была постоянна; среди случайных данных кроме зашифрованных строк допускается наличие строк-обманок в количестве, не превышающем число настоящих строк более чем в 3 раза. Строка поиска: а) может быть сгенерирована случайным образом, причём, тест программ желательно проводить 2-3 раза с разными строками, б) может быть подготовлено 2-3 строки разного вкуса (что будет использоваться: а или б, нужно оговорить заранее). Перед тестами система должна быть разогрета, чтобы заполнились буферы и сформировался план запросов.
Если хотите, могу в привате подробно объяснить, почему я считаю эти условия важными, чтобы не давать здесь алгоритмических подсказок.
2. Быстродействие зависит от соотношения доступной оперативной памяти БД и сервера приложений, а также соотношения их производительности, условий буферизации и пр. Такие технические подробности в условиях конкурса не зафиксируешь, но свою маленькую погрешность это привносит. Учитывая, конечно, что байты с секундами не складываются и что решение будет приниматься субъективно, расстраиваться по этому поводу не стоит. Но уважаемые судьи должны помнить, что ±10% можно считать флуктуациями.
Чистота проведения конкурса, конечно, зависит от активности пользователей и сервера. Не сомневаюсь, что организаторы достаточно пунктуальны, чтобы во время проведения тестов в песочнице не играли и на сервере не была запланирована архивация. Кроме того, искренне верю, что программисты спонсора конкурса не будут знать алгоритма генерации данных, который будет использоваться при подведении итогов, и не будут отлаживать свои программы на наборах данных, сформированных этим генератором.