Тест для выбора банковских систем

bank testИсследования в области разработки стандартных тестов для выбора банковских систем продвигаются довольно медленно. В статье рассмотрены проблемы, поставленные Советом по эффективности обработки транзакций (Transaction Processing Perfomance Council), и те усилия, которые он прилагает для их решения.

Одно время казалось, что компьютерный мир решил создать единый совершенный эталонный тест, способный стать точным инструментом для оценки и выбора банковских систем. Правда, первый из тестов, предложенных Советом по эффективности обработки транзакций, — тест TPC-A — позволял оценивать лишь выполнение простейших операций «расход — приход», но планировалось и создание более сложных вариантов, полнее отвечающих потребностям пользователей.

Действительно, появился тест TPC-C, который, оставаясь в основном средством оценки оперативной обработки транзакций, тестирует одновременно обработку пяти транзакций различных типов. Тут же посыпались впечатляющие результаты применения эталонных тестов TPC-C; самый последний из них получен от фирмы Tandem, заявившей, что ее параллельный сервер Himalaya, на котором работает ее же система управления базой данных (СУБД) NonStop/SQL, может обработать за секунду свыше 12 000 транзакций, генерируемых тестом TPC-C. Представители фирмы заявили: «Это почти в шесть раз лучше того, что смогли продемонстрировать другие поставщики открытых серверов для любой СУБД».

Пусть так, но насколько значимы эти результаты? Глубокого понимания того, что же, собственно, позволяют оценить тесты TPC-C, так и не сложилось. Поэтому на практике сравнения возможны лишь для очень немногих частных случаев, охватывающих в основном «фирменные» разработки. Совет сформировал консорциум из 44 поставщиков оборудования и программного обеспечения, но лишь очень немногие из них предложили собственные тесты. «Предложения поступали скупо», — признает Ким Шенли (Kim Shanley), член руководства Совета. Однако он утверждает, что это объясняется в основном приверженностью поставщиков к эталонному тесту TPC-A. По мнению Шенли, тот факт, что столь многие поставщики уже представили результаты тестирования с помощью теста TPC-A, означает, что они хотят и дальше применять этот тест для сравнения систем. «Но теперь, кажется, намечается поворот», — добавляет Ким Шенли, указывая на то, что фирмы Informix и Sybase (последняя — впервые) только что опубликовали результаты тестирования своих систем с помощью теста TPC-C. Более того, тесты TPC-A и TPC-B устареют к концу этого года, так что поставщикам поневоле придется перейти к новым тестам.

Если внедрение теста TPC-C будет идти вяло, пользу от него будет мало. Здесь существует ряд проблем. Первую из них сформулировал Эстли Гейл (Astley Gayle), менеджер европейского рынка продукции фирмы Pyramid Technology, являющейся членом-основателем Совета. «Мы надеемся завершить в этом году тестирование СУБД фирмы Informix с помощью теста TPC-С, — сказал он, но если в лабораторных условиях мы не получим ожидаемых показателей, то публиковать результаты тестирования, разумеется, не будем.» Этот момент очень важен: если поставщик не будет удовлетворен результатами тестирования, он не будет обнародовать их.

Вторая проблема заключается в том, что фирма Ingres никогда не проводила эталонного тестирования, а фирма Oracle отказывается от использования пакета TPC-С. Это исключает из сравнения многие существующие реляционные базы данных. Помимо систем фирм Informix и Sybase, есть еще четыре базы данных, для которых известны результаты тестирования. Это «фирменные» системы компаний Unisys, IBM (DB2 и DB/400) и Tandem. «Результаты, полученные фирмой Tandem, весьма впечатляют, но кто захочет купить СУБД NonStop/SQL?», — спрашивает Гейл. Более половины всех компьютеров фирмы Pyramid поставляются с программами фирмы Oracle, и лишь 15 — 20% — с программами фирмы Informix.

Третья проблема возникает из-за того, что с начала нынешнего года Совет изменил некоторые правила. Так, он постановил, что результаты всех эталонных тестов должны быть полностью открыты и проверены третьей стороной. Это была похвальная попытка исключить возможность подтасовок, из которого некоторые поставщики извлекали для себя выгоду, но такое требование существенно удорожает тестирование. Это не страшно для IBM или Hewlett-Packard, ежегодно выделяющих на тестирование систем миллионы, но ожидаемая стоимость прогона теста в 500 тыс. — 1 млн. ф. ст. наверняка отпугнет некоторых более мелких поставщиков, не в малой степени потому, что в случае неудовлетворительных результатов независимой проверки тестирование придется повторить.

А насколько вообще хороши эталонные тесты TPC-C? Они определенно лучше тестов TPC-A, но все еще недостаточно универсальны. Они мало пригодны или даже совсем непригодны для оценки работы в пакетном режиме или систем поддержки принятия решений. Совет четко осознает это. По словам Шенли, к концу года ожидается выпуск эталонного теста TPC-D, который будет ориентирован на однопользовательские системы поддержки принятия решений в области предпринимательской деятельности или управления. Тест TPC-E, выпуск которого запланирован на середину 1995 г., предназначается для мощных систем оперативной обработки транзакций и будет содержать элементы для тестирования пакетного режима и режима резервирования-восстановления.

Однако на сегодня наилучшим выбором для пользователя, очевидно, является тестирование на подмножестве реальных прикладных программ. Правда, оно может оказаться неосуществимым либо с организационной точки зрения (в частности, для прикладных систем, реализующих архитектуру «клиент-сервер»), либо из-за больших затрат времени и средств. Гейл утверждает, что фирма Pyramid в этом году выполнила более 45 конкурсных тестов, в основном для средних и крупных пользователей. По словам Гейла, системы, отлаженные так, чтобы хорошо проходить промышленное тестирование, на конкурсных тестах часто проваливались.

Хотя усовершенствованные эталонные тесты TPC-C и следующие за ними не бесполезны, они пока недостаточно универсальны. Эти тесты могут служить руководством для ограничения круга сопоставляемых систем, но вряд ли годны в качестве надежной основы для окончательного выбора. Если бы все поставщики согласились подвергать свои изделия детализированному и представительному набору эталонных тестов, пользователям было бы гораздо легче.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *