Новости
Видео
Microsoft
Windows 10
Железо
Программы
Форум

Имя пользователя:
Пароль:  
Помощь | Регистрация | Забыли пароль?  | Правила  

Компьютерный форум OSzone.net » Linux и FreeBSD » Программирование в *nix » Bash скрипт с несколькими кронами

Ответить
Настройки темы
Bash скрипт с несколькими кронами

Ветеран


Сообщения: 580
Благодарности: 2

Профиль | Отправить PM | Цитировать

помогите пожалуйста, написать bash скрипт на cent os server7 , который берет данные из оракловской базы и импортирует в csv и делает несколько кронов (т.е. запусков по времени)
логин оракла:моя_база, пароль:мой_пароль

надо чтобы выполнялись запросы(тут работает только на просмотр)

SELECT * FROM bass.LENTA
SELECT * FROM bass.NAR
SELECT * FROM bass.WORKES


он должен выгрузить все данные в csv(для каждой таблицы свой csv), их там несколько миллионов и настроить время, чтобы дополнял данные
пример в самый первый раз выгрузил все миллион строк, в другой таблице 100 000 в третьей 10 000
1
2
...
...
1000 000

запустился крон к примеру завтра, для каждой таблицы проверил не изменилось ли число строк. Если для какой то из таблиц не изменилось ничего не делать, если в какой - то из таблиц прибавилась строка или строки, то добавить к строкам, уже в ранее выгруженный файл соответствующей таблицы

также каждый день эти файлы файлы будут обрабатываться программой R (мойскрипт.R) и результат будет из нее в файле itog.csv(разделители запятая)
можно ли также после того как была проверка данных csv тут же запускать файл мойскрипт.R(неважно есть новые данные или нет)
результат itog.csv сразу после обработки толкнуть в базу постгрес (моя_база1, пароль:1, таблица:myresultat) и перезаписалось начальное содержимое

как такой скрипт написать и поставить его на регулярное выполнение

Отправлено: 15:45, 13-09-2019

 

Аватара для DJ Mogarych

fascinating rhythm


Moderator


Сообщения: 6578
Благодарности: 1508

Профиль | Отправить PM | Цитировать

Цитата r-studio:
Если для какой то из таблиц не изменилось ничего не делать, если в какой - то из таблиц прибавилась строка или строки, то добавить к строкам, уже в ранее выгруженный файл соответствующей таблицы »
Смысл? Не легче ли просто тупо выгружать таблицу ещё раз поверх, зачем что-то сравнивать при такой постановке задачи?
Время всё равно не сэкономится - надо в любом случае читать всю таблицу, потом сравнивать, потом дополнять, как бы это не было медленнее, чем простая выгрузка.

-------
Powershell 7.x | Powershell 5.1 | ffmpeg (docs)

Отправлено: 21:26, 13-09-2019 | #2



Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля.


Ветеран


Сообщения: 580
Благодарности: 2

Профиль | Отправить PM | Цитировать

Цитата DJ Mogarych:
Смысл? Не легче ли просто тупо выгружать таблицу ещё раз поверх, зачем что-то сравнивать при такой постановке задачи? »
можно и так , я думал как я хотел это быстрее, но если это суть дела не меняет , как тогда такой скрипт написать?

Отправлено: 11:05, 14-09-2019 | #3


Аватара для DJ Mogarych

fascinating rhythm


Moderator


Сообщения: 6578
Благодарности: 1508

Профиль | Отправить PM | Цитировать

Ну как - выгружаете, обрабатываете, загружаете в другую базу, просто не нужно ничего сравнивать.
Вряд ли здесь кто-то напишет такой скрипт за вас - это достаточно сложная задача, к тому же, необходимо гораздо больше информации по задаче, планирование и изучение разных путей её решения.

Может быть, задача вообще должна решаться как-то по-другому, без промежуточных CSV.

-------
Powershell 7.x | Powershell 5.1 | ffmpeg (docs)

Отправлено: 09:02, 15-09-2019 | #4



Компьютерный форум OSzone.net » Linux и FreeBSD » Программирование в *nix » Bash скрипт с несколькими кронами

Участник сейчас на форуме Участник сейчас на форуме Участник вне форума Участник вне форума Автор темы Автор темы Шапка темы Сообщение прикреплено

Похожие темы
Название темы Автор Информация о форуме Ответов Последнее сообщение
Bash скрипт lox-ness Программирование в *nix 4 01-04-2019 22:48
Прочее - Помогите улучшить скрипт bash q7021q Общий по Linux 0 08-02-2019 10:26
Любой язык - помогите написать скрипт в bash krisetta Скриптовые языки администрирования Windows 2 20-11-2018 21:29
Скрипт на bash interminable Программирование в *nix 0 03-10-2018 11:32
BASH скрипт DX-D8 Программирование в *nix 2 21-01-2009 19:18


« Предыдущая тема | Следующая тема »


 
Переход