본문 바로가기
반응형

개발15

(ETL) TALEND OPEN STUDIO를 설치해보자. 안녕하세요 이번에는 ETL 그중에서도 TALEND OPEN STUDIO에 대해 소개해 드리려고 합니다 툴을 설치하고 다음 포스팅에는 DB데이터를 엑셀로 출력하는 과정을 소개하려고 합니다. 먼저 ETL과 TALEND가 생소하신 분들이 좀 계실텐데 TALEND는 시리즈 느낌으로 계속 포스팅 해볼테니 같이 공부하면 좋겠네요. ETL ETL은 조직에서 여러 시스템의 데이터를 단일 데이터베이스, 데이터 저장소, 데이터 웨어하우스 또는 데이터 레이크에 결합하기 위해 일반적으로 허용되는 방법이라고 구글 클라우드는 소개하고있네요. 그냥 간단하게 말해서 데이터를 추출 하고 그 데이터를 가공하고 다른 곳에 이관하는 시스템등을 얘기한다고 저는 이해했습니다. 여러 ETL 플랫폼중 저는 TALEND를 사용하였고 아마 다른 ET.. 2022. 5. 12.
파이썬 머신러닝 Ensemble voting 기법 예제(KNeigborsClassifier,DecisionTree,KFold,SVM) 이번에는 여러 분류 모델들을 결합하여 사용하는 앙상블기법 그중 하나인 voting 방법에대해 예제로 간단히 설명 드리려고 합니다. 앙상블에 쓰인 모델들은 SVM,Kneighbors , decisiontree, Kfold의 모델을 사용하였고 역시나 사이킷런 라이브러리를 이용 하였습니다. 데이터 불러오기 def load_data(filename): # 데이터 불러오기 df = pd.read_csv("training_data.csv") X = df.loc[:, ["GR", "ILD_log10", "DeltaPHI", "PHIND", "NM_M", "RELPOS"]].values y = df.loc[:, "Facies"].values return X, y 역시나 데이터는 이번에도 Facies classifica.. 2022. 5. 11.
파이썬 keras layers LSTM 간단한 예제 이번에는 tensorflow keras model 라이브러리를 사용하여 특정 LSTM을 들고와 간단한 모델을 구성해 보겠습니다. 이론은 다른 블로그에서 정리를 아주 잘해두셔서 생략하겠습니다. pandas라이브러리로 csv파일을 불러와 데이터로 사용 하였습니다. 거두절미하고 예제 보시죠 데이터 로드 import pandas as pd def load_data(filename, label=True): # 필요에 따라 레이블을 사용할수도 안할수도 있음 df = pd.read_csv(filename) X = df.loc[:, ["GR", "ILD_log10", "DeltaPHI", "PHIND", "NM_M", "RELPOS"]].values if label: y = df.loc[:, "Facies"].valu.. 2022. 5. 11.
파이썬 DB연결 (pymssql - insert select update 예제) 안녕하세요 이번에는 python to mssql을 라이브러리 pymssql을 사용하여 직접 구현해보도록 하겠습니다. 연결부터 insert select update 모두 예제 코드를 보며 이해 하시면 됩니다. Pymssql Conneection import pymssql conn = pymssql.connect(host='localhost', user='fa' , password='fa',database='POS',as_dict=True) 연결 부분입니다. host에 ip주소 user에 id password는 비밀번호 database 는 접속할 db명을 쓰시면 됩니다. 이러면 연결 부분은 끝입니다. cursor.conn.cursor() select insert update delete등의 쿼리문을 실행하려.. 2022. 5. 10.
파이썬 TCP 통신 UDP 통신 예제 (소켓 프로그래밍) 파이썬 TCP통신과 UDP통신은 socket 라이브러리를 import하여 쉽게 구현할 수 있습니다. 이번에도 예제로 쉽게 서버와 클라이언트를 나눠서 작성해보았습니다. 파이썬 TCP 통신 TCP 통신과 UDP 통신은 전체적으로 코드가 비슷하지만 세부적으로 약간씩 다릅니다. 우선 TCP 통신 서버예제를 보시죠. 파이썬 TCP 통신 서버 import socket host = "127.0.0.1" #로컬호스트 port = 2001 #포트번호는 겹치지않는선에서 정하자 serverSocket= socket.socket(socket.AF_INET, socket.SOCK_STREAM) serverSocket.bind((host, port)) serverSocket.listen() 서버 쪽에서는 호스트 ip번호와 포트번.. 2022. 4. 19.
파이썬 영상저장 (opencv를 이용한 ip카메라 영상저장) 저번에 파이썬으로 rtsp로 ip카메라 영상을 불러와 출력하는 글을 작성했었는데 이번에는 ip카메라 영상을 저장하는 방법에 대해 소개 하려고 합니다. 파이썬으로 영상을 저장하는 방법은 역시나 매우 간단합니다. 1. 코드 import cv2 cam=cv2.VideoCapture(rtsp://admin:admin123@192.168.29.30:554/cam/realmonitor?channel=1&subtype=1) fourcc = cv2.VideoWriter_fourcc(*'DIVX') out = cv2.VideoWriter('TEST.avi', fourcc, 25.0, (1280, 640)) #해상도 while True: _,img=cam.read() cv2.imshow("TEST",img) out.wri.. 2022. 3. 2.
반응형

티스토리툴바