Новости
Видео
Microsoft
Windows 10
Железо
Программы
Форум

Имя пользователя:
Пароль:  
Помощь | Регистрация | Забыли пароль?  | Правила  

Компьютерный форум OSzone.net » Компьютеры + Интернет » Хочу все знать » Вытяжка данных Zenbot

Ответить
Настройки темы
Вытяжка данных Zenbot

Аватара для Dark_Delphin

Старожил


Сообщения: 238
Благодарности: 3


Конфигурация

Профиль | Отправить PM | Цитировать

Вложения
Тип файла: zip sim_result_kraken.BCH-ZEUR_200307_074816_UTC.zip
(50.2 Kb, 5 просмотров)
Тип файла: docx Без имени 1.docx
(8.5 Kb, 3 просмотров)
Всем привет.

Пытаюсь разобраться с Zenbot. Поставил его на убунту, все отлично работает, делает вытяжку исторических данных по указанным мною параметрам.
Вот к примеру командой делаю вытяжку за 30 дней (./zenbot.sh sim kraken.XXBT-ZEUR --days 30) и в конце он создает файл html результат.

И в консоли вот вытяжку выводит, которая мне и нужна (вот пример скопирован из консоли в ворд без имени.docx). Но с консоли оно копирует тупо одной строкой или как-то криво, хотелось бы как то разделить все это по столбцам как в консоли, что-бы удобно было фильтровать по дате например и остальным критериям.

Лазил в коде и наткнулся, что в файле js (https://github.com/DeviaVir/zenbot/b...ommands/sim.js) вроде идёт речь о создании файла результате html, и как бы csv файл должен быть, ну как его получить не пойму? Кто имел опыт с ботом или как хотя-бы из консоли правильно скопировать данные?

Заранее благодарен.

-------
✘ _420.pp_✘

Отправлено: 14:59, 14-03-2020

 

Ветеран


Сообщения: 27449
Благодарности: 8087

Профиль | Отправить PM | Цитировать

Цитата Dark_Delphin:
И в консоли вот вытяжку выводит, которая мне и нужна (вот пример скопирован из консоли в ворд без имени.docx). Но с консоли оно копирует тупо одной строкой или как-то криво, хотелось бы как то разделить все это по столбцам как в консоли, »
Перенаправьте вывод в файл (а не «скопирован из консоли в ворд»), упакуйте файл в архив, каковой приложите к сообщению.

Отправлено: 15:10, 14-03-2020 | #2



Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля.


Аватара для Dark_Delphin

Старожил


Сообщения: 238
Благодарности: 3

Профиль | Отправить PM | Цитировать

Вложения
Тип файла: zip console.zip
(41.7 Kb, 4 просмотров)

Iska, вот за пару дней последних сделал вывод в текстовый документ...

-------
✘ _420.pp_✘

Отправлено: 15:53, 14-03-2020 | #3


Ветеран


Сообщения: 27449
Благодарности: 8087

Профиль | Отправить PM | Цитировать

Смотрю.

В выводе наблюдаются escape-последовательности (не стал всё отмечать):
Скрытый текст

— то есть, управление форматом, цветом и т.п. делается не непосредственно управлением консолью, а ANSI-командами для терминала («ANSI escape sequences»). Например, «[2K» — очищает всю текущую строку. Следующая команда, «[1G» — перемещает курсор в начало строки. «[44m» — устанавливает синий цвет фона. И т.п.

Собственно, весь вывод в реальности состоит из двух строк — первой, длиною 415 тысяч 958 символов (включая те самые «escape sequences») и третьей, длиною 49 тысяч 249 символов. Как и положено для Unix, строки заканчиваются одним символом LineFeed (0x10).

В конце наличествует небольшой блок в формате JSON.

То есть, что мы имеем «с гуся»? Фактически, никаких «строк» и «столбцов» в выводе нет, они организуются управляющими инструкциями escape-последовательностей для терминала (в числе прочего). Парсить такой вывод, конечно, можно попытаться, но — такое себе занятие, надо знать все escape-последовательности и уметь их разбирать и преобразовывать. Посему я бы попытался поискать параметр/настройку в Zenbot, которая бы либо отключала использование данных последовательностей, либо делала прямой вывод в текстовый файл в формате CSV.

Последний раз редактировалось Iska, 14-03-2020 в 18:38. Причина: Пропущенный пробел

Это сообщение посчитали полезным следующие участники:

Отправлено: 17:19, 14-03-2020 | #4


Аватара для Dark_Delphin

Старожил


Сообщения: 238
Благодарности: 3

Профиль | Отправить PM | Цитировать

Iska, такого парметра так и не нашел, пробовать в файле sim убрать лишний код, что-бы csv создавало. Или это надо знать все последовательности?

-------
✘ _420.pp_✘

Отправлено: 18:17, 14-03-2020 | #5


Ветеран


Сообщения: 27449
Благодарности: 8087

Профиль | Отправить PM | Цитировать

Как минимум, все используемые escape-последовательности. И желательно понимать, что каждая из них делает, чтобы их убирать или на что следует заменять.

Ну, попробуйте так (на PowerShell):
Код: Выделить весь код
((((Get-Content -Path 'C:\Мои проекты\0304\console.txt' -Raw) -replace "\e\[(1G|\d{1,3}m)", "") -replace "\e\[2K", "`r`n") -replace "`n", "`r`n")
Результат
Цитата:
Код: Выделить весь код
2020-03-12 14:29:58  5420.80 XXBT-ZEUR               117                             
2020-03-12 14:31:59  5403.30 XXBT-ZEUR   -0.33%       50                             
2020-03-12 14:33:59  5447.20 XXBT-ZEUR   +0.81%       69                             
2020-03-12 14:35:59  5449.00 XXBT-ZEUR   +0.03%       64                             
2020-03-12 14:37:59  5395.90 XXBT-ZEUR   -0.98%       62                             
2020-03-12 14:39:58  5337.60 XXBT-ZEUR   -1.09%       79                             
2020-03-12 14:41:59  5347.30 XXBT-ZEUR   +0.18%       70                             
2020-03-12 14:43:57  5319.10 XXBT-ZEUR   -0.53%       45                             
2020-03-12 14:45:57  5326.10 XXBT-ZEUR   +0.13%      106                             
2020-03-12 14:47:59  5294.90 XXBT-ZEUR   -0.59%       65                             
2020-03-12 14:49:59  5252.30 XXBT-ZEUR   -0.81%      146                             
2020-03-12 14:51:59  5325.00 XXBT-ZEUR   +1.38%      106                             
2020-03-12 14:53:59  5305.50 XXBT-ZEUR   -0.37%       58                             
2020-03-12 14:55:59  5409.50 XXBT-ZEUR   +1.96%      106                             
2020-03-12 14:57:57  5419.10 XXBT-ZEUR   +0.17%       65   51.15 +                      
2020-03-12 14:59:57  5358.00 XXBT-ZEUR   -1.13%       83     - 45.09                    
2020-03-12 15:01:59  5424.60 XXBT-ZEUR   +1.24%       58   51.80 +                      
2020-03-12 15:03:59  5423.00 XXBT-ZEUR   -0.03%       75   51.63 +                      
2020-03-12 15:05:59  5403.40 XXBT-ZEUR   -0.37%       39     - 49.57                    
2020-03-12 15:07:59  5377.60 XXBT-ZEUR   -0.48%       23     - 46.92                    
2020-03-12 15:09:58  5344.60 XXBT-ZEUR   -0.62%       21    -- 43.70                    
2020-03-12 15:11:56  5335.20 XXBT-ZEUR   -0.18%       46    -- 42.80                    
2020-03-12 15:13:59  5359.30 XXBT-ZEUR   +0.45%       53     - 45.88                    
2020-03-12 15:15:59  5341.00 XXBT-ZEUR   -0.35%       72    -- 43.94                    
2020-03-12 15:17:58  5366.70 XXBT-ZEUR   +0.48%       83     - 47.31                    
2020-03-12 15:19:59  5341.50 XXBT-ZEUR   -0.47%       44    -- 44.49                    
2020-03-12 15:21:59  5348.30 XXBT-ZEUR   +0.12%       63     - 45.43                    
2020-03-12 15:23:59  5310.00 XXBT-ZEUR   -0.72%       59    -- 41.18    -0.0761     sell
2020-03-12 15:25:59  5320.00 XXBT-ZEUR   +0.18%       77    -- 42.69    -0.0567   0.0068           0.00000000 XXBT  1000.00 ZEUR   +0.00%   -0.06%
2020-03-12 15:27:59  5336.10 XXBT-ZEUR   +0.30%       44     - 45.13    -0.0303   0.0126           0.00000000 XXBT  1000.00 ZEUR   +0.00%   -0.36%
2020-03-12 15:29:59  5334.30 XXBT-ZEUR   -0.04%       41    -- 44.90    -0.0306   0.0170           0.00000000 XXBT  1000.00 ZEUR   +0.00%   -0.33%
2020-03-12 15:31:59  5255.10 XXBT-ZEUR   -1.49%       74    -- 36.16    -0.1379   0.0235           0.00000000 XXBT  1000.00 ZEUR   +0.00%   +1.17%
2020-03-12 15:33:59  5275.90 XXBT-ZEUR   +0.39%       54    -- 39.49    -0.0990   0.0365           0.00000000 XXBT  1000.00 ZEUR   +0.00%   +0.78%
2020-03-12 15:35:59  5250.10 XXBT-ZEUR   -0.49%       86    -- 36.92    -0.1276   0.0361           0.00000000 XXBT  1000.00 ZEUR   +0.00%   +1.27%
2020-03-12 15:37:59  5248.60 XXBT-ZEUR   -0.03%      162    -- 36.77    -0.1203   0.0381           0.00000000 XXBT  1000.00 ZEUR   +0.00%   +1.30%
2020-03-12 15:39:59  5246.20 XXBT-ZEUR   -0.05%       67    -- 36.51    -0.1149   0.0379           0.00000000 XXBT  1000.00 ZEUR   +0.00%   +1.35%
2020-03-12 15:41:59  5228.60 XXBT-ZEUR   -0.34%       46   --- 34.61    -0.1310   0.0372           0.00000000 XXBT  1000.00 ZEUR   +0.00%   +1.69%
2020-03-12 15:43:59  5198.60 XXBT-ZEUR   -0.58%      104   --- 31.60    -0.1633   0.0378           0.00000000 XXBT  1000.00 ZEUR   +0.00%   +2.27%
2020-03-12 15:45:59  5135.10 XXBT-ZEUR   -1.23%      123   --- 26.36    -0.2401   0.0422           0.00000000 XXBT  1000.00 ZEUR   +0.00%   +3.54%
2020-03-12 15:47:58  5288.30 XXBT-ZEUR   +2.98%      128     - 48.53    -0.0085   0.0547           0.00000000 XXBT  1000.00 ZEUR   +0.00%   +0.54%
2020-03-12 15:49:59  5240.60 XXBT-ZEUR   -0.91%       52    -- 44.08    -0.0746   0.0584           0.00000000 XXBT  1000.00 ZEUR   +0.00%   +1.45%
2020-03-12 15:51:59  5283.20 XXBT-ZEUR   +0.81%       52     - 48.61    -0.0095   0.0588           0.00000000 XXBT  1000.00 ZEUR   +0.00%   +0.64%
2020-03-12 15:53:58  5252.10 XXBT-ZEUR   -0.59%       27     - 45.70    -0.0523   0.0623           0.00000000 XXBT  1000.00 ZEUR   +0.00%   +1.23%
2020-03-12 15:55:59  5254.60 XXBT-ZEUR   +0.04%       44     - 45.98    -0.0450   0.0609           0.00000000 XXBT  1000.00 ZEUR   +0.00%   +1.18%
2020-03-12 15:57:59  5257.20 XXBT-ZEUR   +0.04%       19     - 46.29    -0.0380   0.0598           0.00000000 XXBT  1000.00 ZEUR   +0.00%   +1.13%
2020-03-12 15:59:56  5319.60 XXBT-ZEUR   +1.18%       25   53.23 +       0.0523   0.0617           0.00000000 XXBT  1000.00 ZEUR   +0.00%   -0.05%
2020-03-12 16:01:58  5327.00 XXBT-ZEUR   +0.13%       59   53.99 +       0.0588   0.0721           0.00000000 XXBT  1000.00 ZEUR   +0.00%   -0.19%
2020-03-12 16:03:58  5311.20 XXBT-ZEUR   -0.30%       37   52.05 +       0.0322   0.0790           0.00000000 XXBT  1000.00 ZEUR   +0.00%   +0.11%
2020-03-12 16:05:57  5291.50 XXBT-ZEUR   -0.38%       56     - 49.65     0.0022   0.0813           0.00000000 XXBT  1000.00 ZEUR   +0.00%   +0.48%
2020-03-12 16:07:59  5309.30 XXBT-ZEUR   +0.33%       55   51.81 +       0.0270   0.0809           0.00000000 XXBT  1000.00 ZEUR   +0.00%   +0.14%
2020-03-12 16:09:58  5321.50 XXBT-ZEUR   +0.22%       70   53.29 +       0.0421   0.0794           0.00000000 XXBT  1000.00 ZEUR   +0.00%   -0.09%
2020-03-12 16:11:58  5342.60 XXBT-ZEUR   +0.39%       24   55.82 ++      0.0685   0.0731           0.00000000 XXBT  1000.00 ZEUR   +0.00%   -0.48%
2020-03-12 16:13:59  5342.40 XXBT-ZEUR   -0.01%       26   55.79 ++      0.0631   0.0433      buy  0.00000000 XXBT  1000.00 ZEUR   +0.00%   -0.48%
2020-03-12 16:15:59  5355.30 XXBT-ZEUR   +0.24%       65   57.42 ++      0.0764   0.0457   bought  0.18432967 XXBT    12.71 ZEUR   +0.31%   -0.40%
2020-03-12 16:17:59  5371.70 XXBT-ZEUR   +0.30%       25   59.47 ++      0.0936   0.0422   bought  0.18432967 XXBT    12.71 ZEUR   +0.61%   -0.41%
2020-03-12 16:19:57  5377.70 XXBT-ZEUR   +0.11%       67   60.23 ++      0.0949   0.0449   bought  0.18432967 XXBT    12.71 ZEUR   +0.72%   -0.41%
2020-03-12 16:21:55  5403.10 XXBT-ZEUR   +0.47%       36   63.34 ++      0.1232   0.0418   bought  0.18432967 XXBT    12.71 ZEUR   +1.19%   -0.42%
2020-03-12 16:23:59  5413.70 XXBT-ZEUR   +0.19%       61   64.58 ++      0.1287   0.0393   bought  0.18432967 XXBT    12.71 ZEUR   +1.39%   -0.42%
2020-03-12 16:25:58  5390.50 XXBT-ZEUR   -0.43%       91   59.80 ++      0.0867   0.0343   bought  0.18432967 XXBT    12.71 ZEUR   +0.96%   -0.41%
2020-03-12 16:27:58  5390.20 XXBT-ZEUR   -0.01%       52   59.73 ++      0.0798   0.0344   bought  0.18432967 XXBT    12.71 ZEUR   +0.96%   -0.41%
2020-03-12 16:29:57  5389.70 XXBT-ZEUR   -0.01%       39   59.62 ++      0.0732   0.0343   bought  0.18432967 XXBT    12.71 ZEUR   +0.95%   -0.41%
2020-03-12 16:31:58  5444.20 XXBT-ZEUR   +1.01%       69   66.82 +++     0.1433   0.0330   bought  0.18432967 XXBT    12.71 ZEUR   +1.95%   -0.43%
2020-03-12 16:33:59  5461.30 XXBT-ZEUR   +0.31%       58   68.70 +++     0.1561   0.0310   bought  0.18432967 XXBT    12.71 ZEUR   +2.27%   -0.43%
…
…
…
2020-03-14 09:33:56  4983.40 XXBT-ZEUR   +0.06%       41   58.53 ++      0.0248   0.0177   bought  0.18156314 XXBT    11.54 ZEUR  +13.04%  +20.61%
2020-03-14 09:35:59  4958.90 XXBT-ZEUR   -0.50%       41     - 46.21    -0.0136   0.0132   bought  0.18156314 XXBT    11.54 ZEUR  +12.59%  +20.73%
2020-03-14 09:37:43  4973.20 XXBT-ZEUR   +0.28%        2   52.50 +       0.0087   0.0126     sold  0.00181564 XXBT   901.06 ZEUR  +12.83%  +20.63%
2020-03-14 09:39:56  4973.10 XXBT-ZEUR   -0.01%        4   52.45 +       0.0079   0.0132     sold  0.00181564 XXBT   901.06 ZEUR  +12.83%  +20.63%
2020-03-14 09:41:53  4980.60 XXBT-ZEUR   +0.15%        5   55.60 ++      0.0185   0.0135     sold  0.00181564 XXBT   901.06 ZEUR  +12.83%  +20.45%
buy cancel quarentine time: 2020-03-14 09:36:25

2020-03-14 09:43:56  4979.90 XXBT-ZEUR   -0.02%        2   55.24 ++      0.0161   0.0130     sold  0.00181564 XXBT   901.06 ZEUR  +12.83%  +20.47%
2020-03-14 09:45:40  4979.00 XXBT-ZEUR   -0.02%       10   54.73 +       0.0135   0.0129     sold  0.00181564 XXBT   901.06 ZEUR  +12.83%  +20.49%
2020-03-14 09:47:53  4977.90 XXBT-ZEUR   -0.03%        6   54.09 +       0.0109   0.0131     sold  0.00181564 XXBT   901.06 ZEUR  +12.83%  +20.52%
…
…
…
2020-03-14 14:39:54  4917.40 XXBT-ZEUR   +0.25%        4   50.50 +       0.0033   0.0297     sold  0.00181889 XXBT   896.37 ZEUR  +13.25%  +22.45%
2020-03-14 14:41:42  4917.80 XXBT-ZEUR   +0.00%        1   50.62 +       0.0036   0.0303     sold  0.00181889 XXBT   896.37 ZEUR  +13.25%  +22.44%
2020-03-14 14:43:50  4925.00 XXBT-ZEUR   +0.14%        7   52.86 +       0.0142   0.0314     sold  0.00181889 XXBT   896.37 ZEUR  +13.25%  +22.26%
2020-03-14 14:45:42  4921.70 XXBT-ZEUR   -0.07%        4   51.70 +       0.0082   0.0311     sold  0.00181889 XXBT   896.37 ZEUR  +13.25%  +22.35%
end balance: 1132.51658272 (13.25%)
buy hold: 924.65817833 (-7.54%)
vs. buy hold: 22.47%
57 trades over 3 days (avg 19.00 trades/day)
win/loss: 8/21
error rate: 72.41%
{
  "asset_capital": 0,
  "avg_slippage_pct": 0.045,
  "buy_pct": 99,
  "buy_stop_pct": 0,
  "currency_capital": 1000,
  "days": 2,
  "markdown_buy_pct": 0,
  "markup_sell_pct": 0,
  "max_buy_loss_pct": 99,
  "max_sell_loss_pct": 99,
  "max_slippage_pct": 5,
  "min_periods": 52,
  "mode": "sim",
  "neutral_rate": "auto",
  "order_adjust_time": 5000,
  "order_poll_time": 5000,
  "order_type": "maker",
  "oversold_rsi": 10,
  "oversold_rsi_periods": 14,
  "period": "2m",
  "period_length": "2m",
  "profit_stop_enable_pct": 0,
  "profit_stop_pct": 1,
  "quarentine_time": 10,
  "rsi_periods": 14,
  "selector": {
    "exchange_id": "kraken",
    "product_id": "XXBT-ZEUR",
    "asset": "XXBT",
    "currency": "ZEUR",
    "normalized": "kraken.XXBT-ZEUR"
  },
  "sell_pct": 99,
  "sell_stop_pct": 0,
  "show_options": true,
  "start": 1583971200000,
  "stats": false,
  "strategy": "trend_ema",
  "symmetrical": false,
  "trend_ema": 26,
  "verbose": false,
  "simresults": {
    "start_capital": 1000,
    "last_buy_price": "4848.00",
    "last_assest_value": 4916.5,
    "asset_capital": 8.926930231000197,
    "currency": 1132.51658272,
    "profit": 0.13251658272000008,
    "buy_hold": 924.6581783302928,
    "buy_hold_profit": -0.0753418216697072,
    "total_trades": 57,
    "length_days": 3,
    "total_sells": 29,
    "total_losses": 21,
    "vs_buy_hold": 22.47948585336139
  },
  "net_currency": 1123.5740100360015
}
wrote simulations/sim_result_kraken.XXBT-ZEUR_200314_124612_UTC.html

Насколько это годится для Ваших исходных целей — смотрите сами, поскольку мы ни на шаг не приблизились к CSV.
Это сообщение посчитали полезным следующие участники:

Отправлено: 19:08, 14-03-2020 | #6


Аватара для Dark_Delphin

Старожил


Сообщения: 238
Благодарности: 3

Профиль | Отправить PM | Цитировать

Iska, да, но я думал, если в файле sim.js есть речь о csv, то можно каждое значение в столбцы вывести в каждую ячейку отдельно.

-------
✘ _420.pp_✘

Отправлено: 22:09, 14-03-2020 | #7


Ветеран


Сообщения: 27449
Благодарности: 8087

Профиль | Отправить PM | Цитировать

Dark_Delphin, если расскажете, что делать с этой разницей:
Цитата:
Код: Выделить весь код
2020-03-12 14:29:58  5420.80 XXBT-ZEUR               117                             
2020-03-12 14:31:59  5403.30 XXBT-ZEUR   -0.33%       50                             
…
2020-03-12 14:53:59  5305.50 XXBT-ZEUR   -0.37%       58                             
2020-03-12 14:55:59  5409.50 XXBT-ZEUR   +1.96%      106                             
2020-03-12 14:57:57  5419.10 XXBT-ZEUR   +0.17%       65   51.15 +                      
2020-03-12 14:59:57  5358.00 XXBT-ZEUR   -1.13%       83     - 45.09                    
…
2020-03-12 15:19:59  5341.50 XXBT-ZEUR   -0.47%       44    -- 44.49                    
2020-03-12 15:21:59  5348.30 XXBT-ZEUR   +0.12%       63     - 45.43                    
2020-03-12 15:23:59  5310.00 XXBT-ZEUR   -0.72%       59    -- 41.18    -0.0761     sell
2020-03-12 15:25:59  5320.00 XXBT-ZEUR   +0.18%       77    -- 42.69    -0.0567   0.0068           0.00000000 XXBT  1000.00 ZEUR   +0.00%   -0.06%
2020-03-12 15:27:59  5336.10 XXBT-ZEUR   +0.30%       44     - 45.13    -0.0303   0.0126           0.00000000 XXBT  1000.00 ZEUR   +0.00%   -0.36%
…
а также с прочими данными, которые никак не вписываются в CSV — подумаем.
Это сообщение посчитали полезным следующие участники:

Отправлено: 22:51, 14-03-2020 | #8


Аватара для Dark_Delphin

Старожил


Сообщения: 238
Благодарности: 3

Профиль | Отправить PM | Цитировать

Вложения
Тип файла: txt 1d.txt
(54.5 Kb, 3 просмотров)

Iska, привет. Вот без разницы не подскажете, пожалуйста, как вставить примерно такого вида (https://prnt.sc/rqqye5)?

-------
✘ _420.pp_✘

Отправлено: 13:34, 01-04-2020 | #9



Компьютерный форум OSzone.net » Компьютеры + Интернет » Хочу все знать » Вытяжка данных Zenbot

Участник сейчас на форуме Участник сейчас на форуме Участник вне форума Участник вне форума Автор темы Автор темы Шапка темы Сообщение прикреплено

Похожие темы
Название темы Автор Информация о форуме Ответов Последнее сообщение
.NET - Как изменить базу данных Access при изменении данных в таблице на форме tumanovalex Программирование и базы данных 2 15-04-2016 16:40
V. 2010 - Удаление недоступной базы данных и сервера баз данных Exchange jayboun Microsoft Exchange Server 0 10-11-2014 14:57
Ошибка - Проблема с восстановлением данных в мастере переноса данных barbarbar Microsoft Windows 2000/XP 1 13-02-2010 10:51
MySQL - [решено] сохранение данных в базе данных Mysql TigerZaka Программирование и базы данных 4 24-08-2008 15:48
Архивирование данных и работающих баз данных. karadjich Программное обеспечение Windows 2 23-07-2007 17:01


« Предыдущая тема | Следующая тема »


 
Переход