개발기록/DB
-
PostgreSQL - 개행문자 제거하기개발기록/DB 2018. 4. 1. 20:07
원천에서 데이터를 HDFS에 적재할 때, 데이터의 형식은 가끔 상식적이지 않을 때가 있다. 데이터에 엔터가 들어가 있을 줄 누가 아냐구여..? 그러면 컬럼도 밀려서 적재가 된다..ㅜㅜ그럼 다시 재적재 고고.. 그래서 초반에 SELECT 할때, 개행문자를 제거하고 가져오는걸로 하자. DB가 PostgreSQL 기준으로 개행문자 제거를 알아보자. select regexp_replace(field, E'[\\n\\r]+', ' ', 'g' ) 간단하게 요런 형태이다. 더 검색해보니, 역슬래쉬를 깔끔하게 하나만 사용하고자 한다면, E prefix를 제거하면 된다select regexp_replace(field, '[\n\r]+', ' ', 'g' )저 'g' flag는 뭔가 싶어서 보니 음 영어가 짧아서.. @..
-
PostgreSQL - 테이블 컬럼 스키마정보 알아보기개발기록/DB 2018. 3. 30. 11:52
원천DB에서 숑 하고 HDFS로 올려야 하는 빅데이터 작업의 경우, 하둡 HDFS에 데이터를 적재할 때, 기본적으로 원천 DB에 스키마 조사를 먼저 시작한다. 위의 그림과 같은 형식으로 조사를 하는데, PostgreSQL은 처음인데 검색을 해도 많지는 않은것 같아서 올려본다. select (ROW_NUMBER() OVER()) AS "번호", table_name as "테이블 논리명", table_name as "테이블명", column_name as "컬럼명", data_type as "type", CASE WHEN data_type = 'numeric' THEN CASE WHEN numeric_scale > 0 THEN numeric_precision::varchar||','||numeric_prec..