В 04.12.2019 в 16:27, ostapbender сказал:В 04.12.2019 в 15:50, Старик сказал:Пока ваш КПД ниже потенциального - но я надеюсь, что смогу сделать вас более эффективным и намного более полезным проекту.
Как я ранее писал, и @Altegron , мы только за!
Коллега, вопросы к вам у меня только по теме тестирования и в основном, скорее, технические. Но это очень важные для меня и даже для других вопросы.
Радует, что совсем недавно вы начали использовать котиры Дукаса и TDS2 и абсолютное большинство вопросов по технике тестирования это должно снять.
Но вообще вопросы тестирования крайне болезненны для проекта, я их немного прокомментирую и опубликую фрагмент неопубликованного поста по теме.
Допустим, некто Воробьянинов месяц за месяцем осуществляет множество тестов, используя низкокачественные котировки разных ДЦ в мт4 и мт5.
Даже неважно пытается ли Воробьянинов разрабатывать новые сеты, ретестить чьи-то сеты или делать сравнительные тесты разных версий бота...
Важно, что абсолютно все такие тесты заведомо не полностью достоверны, а выводы из таких тестов истинные лишь случайно и лишь в немногих случаях.
И часть сетов после некачественных тестов наверняка вообще не зарабатывают, а сливают в более качественных тестах и даже в реал торгах...
И КПД такой деятельности Воробьянинова больше нуля лишь случайно - потому что лишь ничтожная часть таких некачественных тестов достоверны лишь случайно.
Более того, КПД может быть даже отрицательным, если некачественные сеты после некачественных тестов ведут к сливам в реальных торгах...
Хуже того, опережающая публикация таких некачественных тестов обычно блокирует выполнение и публикацию других качественных тестов той же тематики.
Мало кто будет повторно качественно выполнять уже опубликованные некачественные тесты - ну раз их уже выполнили, зачем делать снова?!
И даже если кто-то и выполнит качественно ранее опубликованные некачественные тесты, то может их не опубликовать, чтобы не идти на конфликт для начала...
Так что публикация больших объемов некачественных тестов это очень большая проблема для любого проекта:
- мало того, что люди получают некачественные тесты с неверной статистикой и выводами и перспективами сливов,
- так еще и уменьшаются шансы, что аналогичные тесты будут повторно кем-то выполнены качественно с достоверными выводами на их основе!
Всё настолько серьезно, что топикстартеры или модераторы по нормальному должны бы удалять посты с некачественными тестами!
Чтобы люди не вводились в заблуждение и не сливались на ровном месте, чтобы кто-то все же делал необходимые тесты качественно и чтобы проекты развивались, а не шли согласно ложных выводов/сетов из-за неадекватных тестов.
Ну то есть нормально, когда кто-то сделал сет или вытестил какую-то идею и просит в топике выполнить проверку в TDS2 - в итоге есть высококачественный тест!
Это абсолютно нормальная коллективная работа.
Но если энтузиаст Воробьянинов выкладывает много низкокачественных тестов с вряд ли достоверными выводами и сомнительными сетами и никто и не думает каждую их цифру качественно перепроверять на нормальных котировках, то для топика это беда - это деструктивное развитие проекта, развитие ложных идей и продвижение нестабильных сетов, начало массовых сливов и вплоть до гибели проекта. Причем даже один активный энтузиаст с множеством некачественных тестов и сетов может вынести мозги и запутать людей целого проекта и завести всех в тупик, а то и на сливы...
Поэтому вопрос выполнения тестов не на дырявых котировках ДЦ, а на действительно качественных котировках того же дукаса или оанды в серьезных проектах имеет абсолютно ключевое значение - это вопрос осмысленности, выживания и успешности проекта вообще.
Качественные котировки вопрос не только технический - это вопрос истинности и ложности тестов/сетов и выводов из них и конструктивного или деструктивного развития проекта.
Ну и вопрос личного КПД каждого, потому что тесты на низкокачественных котировках обрушивают КПД тестирующего до нуля - это бесполезная и даже вредная самому тестировщику и всем остальным работа.
Да, конечно, не все могут позволить себе сходу купить TDS2 и какое-то время могут ограничиться возможностями QuantumDataManager и мт5.
Но во всех без исключения случаях тесты должны выполняться на самых качественных котировках, чтобы не терять время и не наносить больше вред себе и другим.
Коллеги, это очень важно и это должны понимать все!!
Это первый и очень важный вопрос, о котором я должен был высказаться.
==========
Второй вопрос повестки дня это обязательное выполнение тестов в топике только таким образом, чтобы тесты разных сетов можно было непосредственно сравнивать.
Это тоже исключительно важный вопрос как дисциплины тестирования, так и личных КПД тестировщиков и конструктивного и деструктивного развития проектов.
Но по этому вопросу я готовлю отдельный пост и здесь мы эту тему затрагивать не будем.
==========
Третьим "частным" вопросом есть тесты на сравнение работы разных модов бота или терминалов мт4/мт5, когда надо выявить есть ли расхождения и что надо устранить.
Это не тесты разработки сетов или подготовки к торгам - это не регулярные, изредка тесты на сравнение работы разных версий ботов или одной версии бота в мт4 и мт5.
Необходимость в таких тестах может изредка возникнуть во многих топиках форума с самыми разными ботами, как мартинами, так и нет.
Такие тесты надо выполнять согласно определенных принципов, которые надо знать, понимать и в подобном виде тестов соблюдать.
Коллега @ostapbender как-то летом выполнил большой объем подобных тестов ну совсем не так. 
Я, понятное дело, очень расстроился и тут же сел писать гигантский пост с пояснениями как правильно делать подобные тесты и что надо переделать.
Однако в это время как раз ужасно переехал форум и я был вынужден бросить всё и заняться поиском и описанием багов форума с целью их скорее устранить.
Пост не заладился, писался тяжело, остался недописанный, быстро частично устарел и так и не был опубликован...
Но проблема выполнения таких специфических тестов есть и в топике и этот вопрос должен быть хотя бы начально рассмотрен.
Поэтому, заранее извинившись за не лучший текст, я всё же частично опубликую старый пост на эту не очевидную тему - к сведению участников топика.
Цитата
В 25.07.2019 в 12:48, ostapbender сказал:
В 24.07.2019 в 16:28, Старик сказал:
Так что сеты для базового бота надо тестировать либо в оригинале 1010, либо в последнем R186
Сделал ретест
Setka v1.43 set DD1650
мод (EA) - Setka v1.43 ADX-IMP-190710-R186 + 1010
в архиве мод, отчёт и оригинальный отчёт + сам сет.
Ретест делал в Альпах + Робофорекс разные счета.
Сет проходит на ECN, но льёт на центовых и стандартных счетах и в мт4 без TDS2 со спредом 11 пипсов.
В Альпах количество тиков больше чем в TDS2 и Робофорексе.
В мт5 разницы в результате между модом 186 и 178 нет.
Коллега @ostapbender , мы с вами уже общались на тему тестов в другом топике и разошлись каждый при своем мнении.
И в этот раз вы выполнили существенный объем тестирования, но пользы от него практически не вижу.
я еще внимательно посмотрю ваши тесты - но, чтобы ваши тесты были полезны многим, они должны отвечать определенным стандартам.
Ну контрольные сравнительные парные тесты немного особая вещь, давайте я немного об этом напишу.
Пост адресован всем, писался урывками раз 20+, возможны повторы и банальности, переписывать ни сил ни времени - заранее извините.
......
------
Что касается порядка выполнения парных сравнительных тестов в принципе...
Общие принципы: в каждой паре сравниваемых тестов переменным может быть не более чем 1 сравниваемый компонент - бот, сет или котировки.
1) верификацию ПО - сравнение тестов/торгов и верификацию ботов можно выполнять только парными тестами одинаковым сетом на одинаковых 99% котировках.
Верификацию пар ботов для мт4 и мт5 можно выполнять только парными тестами одним сетом на одинаковых (дукас?) 99% котировках в обеих (мт4 и мт5!) терминалах.
2) сравнение качества котировок и терминалов мт4 и мт5 можно выполнять только уже верифицированными ботами парными тестами одним сетом.
Преимущества котировок и терминалов мт4 и мт5 возможно оценить только парными тестами одним сетом выверено одинаково торгующими (верифицированными) модами ботов на котировках максимального качества. Это важно понимать!
Для верификации одинаковых версий ботов для мт4 и мт5 нужны идентичные 99% котировки (дукас?) в мт4 и мт5 и набор сетов, проходящих с 2018, лучше с 2017 годов.
Для верификации совместимых версий ботов для одного терминала (мт4 или мт5 раздельно) нужен один сет и одинаковые 99% котировки.
Любые сравнительные тесты на котировках отечественных ДЦ/метаквотов в мт4 недостоверны и категорически исключены.
Если хотя бы одно из этих ограничений/условий не соблюдается, парные тесты невозможно сравнить и выполнять их просто бессмысленно.
------
Еще одной важнейшей особенностью сравнительных контрольных тестов разных версий бота есть то, что могут быть нужны специальные сеты, проверяющие работу модов бота во всех их возможных режимах работы.
Ранее я сделал и выложил классификацию сетов в зависимости от того, на каких коленах сеток используются какие либо индикаторы.
Вообще-то говоря, это варианты/схемы работы/использования ботов.
Базовый безиндикаторный бот торгует только по схеме №1.
Мод RSI-CCI от jocker торгует только по схеме №2 - там даже нет возможности безиндикаторного входа.
Индикаторные моды от capteen организованы более гибко и допускают торги по всем схемам №1, №2, №3 и №4 - перекрывая своими возможностями безиндикаторный базовый бот и мод RSI-CCI от jocker.
Очевидно, что сравнительные тесты новых релизов должны проверять корректную работу ботов во всех режимах их работы.
Совсем свежий пример выявления бага в боте в результате теста в ранее не задействованном режиме работы бота.
Мы в топике воодушевленно тестировали одним сетом №2 моды RSI-CCI от jocker и capteen и в релизе 186 добились идентичности.
Но это была проверка сетом №2 - а мод RSI-CCI-AS может работать и по схемам №1, №3, №4 и они остались не проверенными в этом тесте.
Чуть позднее новичек коллега Roman_arina выложил проект сета №4 для usdchf для мода RSI-CCI-AS без анализа сеток в тесте.
Я, понятно, пропустить такое никак не мог, использовал анализатор статистики сеток и увидел такое
Даже беглого взгляда было достаточно, чтобы увидеть, что sell сетки со 2-го колена обрабатываются некорректно настолько, что их нет.
Об этом я немедленно сообщил capteen, а он тут же нашел и устранил этот баг - что вы увидели в релизе R194.
И это был яркий пример того, что контрольное тестирование ботов требует подготовки и использования, возможно, целой линейки контрольных сетов №1, №2, №3 и №4 для проверки ботов хотя бы во всех основных вариантах их работы.
Абсолютно недостаточно прогнать 1 какой-то сет и считать, что бот в норме и им можно торговать.
------
Тесты, тем более сравнительные/парные тесты, вообще-то очень жесткая вещь, выполняемая с соблюдением ряда условий и правил.
Каким бы умным и крутым не чувствовал себя каждый из нас, свободы выбора в выполнении сравнительных тестов просто нет!
Вы либо выполняете тесты как положено - либо результаты тестов можно выкинуть, даже не глядя, так как их сравнение невозможно.
Всё это может показаться совершенно банальным - но проблема в том, что целые вязанки трудоемких долгосрочных тестов бывает нужно выкидывать в мусорку потому, что нарушены принципы тестирования и результаты тестов не только не вполне достоверны, но и в принципе несопоставимы.
Тестирование, как технологический процесс, действительно очень жесткая вещь.
Вы относительно свободны в выборе какой сет тестировать - но в том, как должно выполняться тестирование, свободы практически нет.
Это надо понять и принять.
Почему-то ни у кого не вызывает сомнений и возражений, что если вам нужен вкусный борщ, то нужно всё лучшее именно для борща и варить надо именно борщ, ни в чем не отклоняясь в процессе приготовления.
Тесты тот же борщ: если на выходе нужен борщ, а не помои - нужны лучшие составляющие и варить жестко по технологии.
Сравнительные/парные контрольные тесты совместимых версий бота необходимо повторять при выходе каждого релиза!
Это достаточно утомительный процесс...
Но если вы хотите быть уверены (а вы обязаны быть уверены!), что очередная версия бота работает корректно и ею можно торговать, то вы обязаны убеждаться в совместимости новой версии бота с той, которой вы торгуете.
Вы обязаны быть уверены, что новая версия бота будет торговать так же или лучше - но точно не хуже, чем используемая вами сейчас.
И для этого надо выполнять контрольные тесты каждой новой версии бота, сравнить результаты - и вы должны убедиться, что новая версия торгует точно не хуже старой!
Но это нормально - так действуют все профессионалы.
Любой профессионал не начнет ничего делать, пока не убедится, что используемые им инструменты готовы и в идеальном состоянии.
А на деньгах торговать иначе, кроме как профессионально, никак.
------
Коллеги, несколько раньше я уже пламенно призывал к неотвратимым контрольным тестам всех выходящих версий бота.
Цитата
19.07.2019 в 15:22, Старик сказал:
Коллеги, обращаю внимание, что любая разработка предполагает тестирование новых версий - в том числе на предмет преемственности работы бота!
Это обычное дело и даже нормально, что в новом ПО могут быть какие-то нестыковки и баги, которые сообща ищем и устраняем.
Вы должны иметь сеты для контрольных/сравнительных тестов и периодически самостоятельно перепроверять одинаково (не хуже ли) работает более поздняя версия бота или мода бота по сравнению с той версией бота, для которой разрабатывались сеты!
Вне зависимости от того, торгуете вы в мт4 или мт5, вполне оправдано периодически хотя бы грубо в тестах одного сета сравнивать работу одинаковых и разных версий бота или модов бота в мт4 и мт5!
Если результаты сравнительных тестов разных версий бота практически совпадают, более позднюю версию можно считать условной верифицированной - и можно переходить на более позднюю версию бота или мода бота.
Если же результаты тестов разных релизов бота или модов бота существенно не совпадают, то надо обязательно сообщать об этом в топик и выкладывать полные отчеты и анализ несовпавших тестов одного сета разных релизов бота!
В принципе, сравнительные тесты одного сета в разных релизах бота или мода бота надо выкладывать в топик в любом случае - и в случае совпадения результатов тестов, и в случае существенных расхождений результатов сравнительных тестов!
Конечно, сравнительные тесты желательно выполнять, как минимум, на одинаковых достаточно качественных котировках.
Такой подход к тестированию и торгам не только стабилизирует, сделает более прогнозируемыми и менее рисковыми ваши собственные торги, но и поможет разработчикам быстрее выявлять и устранять баги и недочеты!!
Регулярные сравнительные тесты в прямых личных интересах всех и каждого!!
Наверно, продолжать вас уговаривать предельно серьезно относиться к тестированию может уже достаточно...
Но есть еще пара нюансов, на которые я бы хотел обратить ваше внимание.
Во-первых, развитие ботов в нашем проекте имеет свои особенности, отличающие его от других проектов.
Мы с Qj не планировали передавать проект кому либо на этапе 1.43 - предполагалось еще минимум 3-4 серьезных релиза, включая радикальную оптимизацию/реструктурирование кода.
И, на этапе выстраивания бота по 1.43 включительно, не делалось почти ничего, чтобы хоть насколько-то облегчить подключение других к коду.
Код не то чтобы шифровался умышленно, но писался совершенно без учета того, что кому-то позднее придется этот код серьезно развивать.
Но обстоятельства сложились так, что по семейным и деловым обстоятельствам нагрузка на Qj радикально возросла и он, не уходя окончательно, надолго полностью выпал из проекта.
И до сейчас не понятно сможет ли он вскоре доделать хотя бы то, что уже в очереди "Задач на реализацию" и даже наполовину выписано.
В результате вносимые сейчас в код бота иногда частные правки оказываются разноуровневыми по последствиям и некоторые правки могут требовать радикальной повторной верификации всех ранее созданных сетов для индикаторных модов - даже с переделкой некоторых.
То есть, допустим, борьба capteen с error130 на собственно торги прямого влияния практически не оказывала, так как была направлена на стабилизацию работы с ордерами в неких сложных редких ситуациях. Работа бота стабилизировалась, но на ход торгов/тестов это почти не влияло, кроме редчайших ситуаций и самых экстремальных настроек.
А вот правки, вносившиеся в релизы 186, 194 и особенно 198 относятся к тем, после которых надо выполнять высококачественные ретесты абсолютно всех сетов №3 и №4, которыми вы торгуете или которые отложили себе в заначку "как годные". Да и сеты №1 и №2 надо ретестить, если они делались в модах. Потому что результаты тестов могут быть иными и может понадобиться пересчитывать депо и даже вносить существенные изменения в сеты.
Да, ожидаемые изменения положительные, по крайней мере для части сетов возможно снижение депо - но перепроверять надо все отобранные вами сеты, так как ход тестов/торгов модами претерпит некоторые изменения.
И, что самое неприятное, это не в последний раз - еще точно будут релизы, после которых надо будет верифицировать используемые или отложенные как годные сеты.
Конечно, нет плана создавать пользователям максимум нагрузки и предполагаемые последствия будут учитываться при планировании работ.
Но код бота таков, что решение одной проблемы может порождать необходимость переработки других блоков и это может влиять на торги в целом.
Вопросы, к рассмотрению которых мы сейчас подступаемся, сложны настолько, что пока недопонятно как их вообще решать - а надо...
И работа с индикаторами будет ревизоваться практически на всю глубину в обозримом периоде...
Так что самым серьезным образом въезжайте в вопросы тестирования - эти знания, навыки и наработки на 100% понадобятся вам еще не раз!
...
----------
На этом месте тот многострадальный пост оборвался, но большая его часть была выписана. И то, что не устарело, я опубликовал.
Коллеги, еще раз: тестирование - это технология, которую надо знать, понимать и уметь применять!
В тестировании достаточно много своих принципов и правил - их надо понимать и знать. Тестирование это далеко не просто...
Если вы не знаете принципов и правил тестирования, не понимаете и не умеете их применять, не создали себе возможности выполнять высококачественные тесты - то вы будете терять тьму времени и сил ни на что, а ваш КПД будет никакой.
Хуже того, вы будете путаться сами и запутывать других людей бестолковыми тестами, ошибочными выводами, а иногда может и сливными недосетами.
Изучению и обдумыванию вопросов тестирования стоит выделять достаточно времени - вы должны уметь и иметь возможность выполнять тесты максимального качества.
Это в интересах каждого из нас: умение и возможность качественно тестировать радикально повышает личный КПД, позволяет эффективно и взаимно полезно взаимодействовать с другими людьми - и делает ваши торги настолько прогнозируемыми и прибыльными, насколько это вообще возможно! 
Я работаю над этим вопросом.
