뭐든지 다 알아보자

ⓐ 비즈니스 AI 빅데이터 분석 교과목

1. PDF 파일내 표를 DataFrame으로 변환하고자 한다.

from tabula import read_pdf
import pandas as pd

def read_pdf_table_to_dataframe(pdf_path, page_number):
    # tabula-py can only read tables from a PDF, ensure your PDF contains tables.
    df_list = read_pdf(pdf_path, pages=page_number, multiple_tables=True)



    # read_pdf returns a list of DataFrames, so concatenate them if there are multiple tables.
    df = pd.concat(df_list, ignore_index=True) if df_list else pd.DataFrame()

    return df

# Specify the path to your PDF, and the page number you want to extract the table from.
pdf_path = '젠톡_김지은_2.pdf'  # Change to your PDF file path.
page_number = '8'  # Change to your specific page number.

# Call the function and get the DataFrame.
df = read_pdf_table_to_dataframe(pdf_path, page_number)

# Now you can work with the DataFrame.
print(df.head())

① tabula-py를 pip install 한다.(2.9.0) , tabula를 install 하면 안된다.

②

해당 에러가 뜰경우 

pip install JPype1

1. 취업 준비기간 INTRO

2022.01~2023.06 (1년 6개월) 의 기간이 걸렸다.

그럼 왜 이렇게 오래 걸렸느냐??

내 진로가 맞는지에 대한 갈팡질팡 하면서 소비한 시간들이 많았다. 

컴퓨터 공학과로의 진로가 맞는지도 잘 몰라했다.

2. 무작정 학생실습생(2021.09~2021.12)

공부가 잘 안되다 보니(코딩도 잘 못하고) 내 진로에 대해 잘 모르겠고 해서 4학년 2학기 때 무작정 학생실습생 IPP 를 신청해서 실무에서

뭐라도 배우면 되겠지 라는 마인드로 한 대기업의 자회사 SI기업의 IT인프라 팀에서 일하게 되었다.

https://knowallworld.tistory.com/204

==> 이처럼 클라우드(AZURE)를 접해보며 일을 해보았는데 생각보다 재미는 있었다 하지만 인프라 쪽만 관리하면 너무 재미없을 거 같았다.

(물론 여기 회사에서 4개월동안 일하면서 IT인프라에 대한 이해와 지식을 많이 쌓을 수 있게되어 추후 면접 CS 질문에 대답하는데 큰 도움이 되기는 했다.)

IT인프라를 공부할때 지식은 얻었지만 내가 이 일을 평생 할 수 있을까? 라는 질문에 절대 NEVER 라는 마인드가 장착이 되었고, 이 일을 계속한다고 상상하니 너무나 머리 아프고 가슴이 답답했다.

특히 이 회사에서 IPP기간이 만료되기 전 정규직으로의 입사제의를 받았지만 나는 단호히(?) 거절했다.

거절한뒤 내가 그려야 할 커리어의 방향을 잡았어야 했다.

그중 생각나는 것이 방학때 우리과 후배들과 함께 한 데이터 분석 프로젝트에서 장려상을 수상한 것이 기억이 났다.

3. DATA  ANALYSIST로의 방향이 아닌 갑작스런 방황(2022.01~2022.06)

우선 나는 코딩을 잘 못하는 IT 전공생이었다. JAVA , C , C++ 등 진짜 못했다.

그래서 선택한것이 PYTHON , BIG DATA 를 전공하며 코딩 테스트를 통과하는데 가장 유용한 언어인 PYTHON을 선택해서 비좁은 DATA 분석가로의 취업을 준비하기 시작했다.

하지만!! DATA 분석가로의 취업문은 너무나도 비좁았다.(학사로 DATA 분석가를 노릴려고 하는건 비추.. 석사를 무조건하자)

특히 IT의 수요의 대부분은 BACK END , FRONT END에 몰려있으며 공공기관들도 JAVA, C의 역량을 갖고 있으면 취업은 쉬워보였다.

이에 갑작스럽게 VUE.JS를 공부하면서 프론트엔드를 공부하며 학교 캡스톤디자인(나는 IPP를 해서 안해도 되었지만 친한 후배와 함께 수강하였다.) 글자인식 OCR 키오스크 프로젝트를 진행하면서 갈팡질팡하는 모습을 보이게 되었고, 내 전문성은 애매해진 상태가 되었다.

4. CODING TEST(2022.01~2023.07)

코딩 테스트의 경우 블로그에 1일 5 업로드 하는 것을 목표로 백준 , 프로그래머스를 지속적으로 풀며 준비를 했다.

https://knowallworld.tistory.com/category/Python%28%EB%B0%B1%EC%A4%80%29

https://knowallworld.tistory.com/category/Python%28%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%98%EB%A8%B8%EC%8A%A4%29

워낙에 코딩을 잘 못하던 나 였지만 , 계속해서 1일 5문제 씩 풀려고 노력하고 '이코테' 라는 책을 바탕으로 계속 도전하다 보니 

서류를 통과하고 나서 금융권 코테에서는 웬만하면 통과하는 실력을 갖추게 되었다.(몇개월 준비기간 이런거 보지말고 계속 반복하는것이 중요한거 같다.)

물론 지금 합격한 CJ제일제당에서는 코딩테스트는 없었지만, IT 취업에 있어서 코딩테스트 준비는 계속해야하니깐 열심히 풀자

금융권의 경우 총 4문제 정도로 알고리즘 2문제 SQL 1문제  or 알고리즘 1문제 SQL 2문제 정도 풀면 안정권으로 합격했으니 선택과 집중 잘하자 

5. DATA 청년인재 양성 사업 & 외교부 인턴 생활(2022.05~2023.02)

그야말로 내 인생의 터닝포인트

지금은 정권이 바뀌어서 사라졌다고 하는데 아쉽다 ㅠ 

내 진로가 데이터 분석가가 맞다는 확신을 준 DATA 청년인재 양성 사업에 참여하게 된뒤 내가 나아가야할 커리어 목표를 잘 설정할 수 있었다.

https://knowallworld.tistory.com/category/%EC%9D%B8%ED%84%B4%EC%9D%BC%EC%A7%80/%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%B6%84%EC%84%9D%20%EC%B2%AD%EB%85%84%EC%9D%B8%EC%9E%AC

https://knowallworld.tistory.com/404

5. 스펙 정리

스펙정리를 나는 NOTION, GITHUB 에 다 정리를 해놓았다! 

위 사진은 예시이며 자기가 한 프로젝트 등등 다 업로드를 해놓자. 

서류 작성시 포트폴리오 제출하라는 기업들을 위한 과정이다

5. 서류 작성

서류는 계속해서 써보는 것이 중요하다. 특히 두괄식!!

솔직히 나는 경험이 많았다. 축구 직관동아리 창설, 학교 중앙동아리 회장 경험, 국토종주 , 공모전 , 인턴 경험 2번, 그리고 지금 쓰고 있는 블로그 등등..

하지만 경험이 많다 해서 무조건 좋다는 것이 아닌 이것을 자기소개서에 잘 녹여야 하는것이 중요하다. 

솔직히 말해서 자기소개서는 많이 써보는것이 답이고, 주변 선배 , 취준 동기들에게 피드백을 받자.

그러면 10개, 15개  정도 쌓이면 그때부터 자기소개서는 거기서 거기라 조금만 변형하면서 기업의 인재상에 맞게 변경하면 되었다.

최근 CHAT GPT를 사용할 경우 AI 검사에서 걸릴수도 있다고 하는데, 너무 맹신하지 말자

6. 지원

올해 상반기의 취준 키워드로는 '난사' 였다. 본래 금융권을 희망하였지만 '대기업' , '중견기업' 위주로 DATA 분석가 직무가 있는 곳으로의 지원을 하였다.

이에, 서류 불합격 22개 ,

서류 합격 12개

서류 합격후 코딩테스트 진행 or 필기시험 진행(12개 기업중 7곳 합격)

1차 면접 7번 진행(6개 탈락) 

2차 면접 CJ제일제당 1개 진행(최종합격)

운이 좋게도 CJ제일제당이 처음이자 마지막으로 2차면접까지가서 내 최종 1승을 달성 시켜주었다.

7. 후기

글 쏨씨가 워낙 없다보니 코딩만 올리고 띡띡 올려놓는게 편한거 같다.

이 글을 보면서 분명히 나처럼 코딩이 어려워서 해메어 아까운 시간만 보내는 친구들이 많을 거 같다.

내 주변 컴공 친구들만 봐도 개발자면 다 돈 잘벌줄 알고 진입했다가 시간만 허비하는 친구들이 많은걸 보아왔기 때문이다.

솔직히 말해 이번 CJ 제일제당에 입사한것도 운이 좋았다라고 말하고 싶다.

아직 실무에 투입하기 전에 인재원에서 교육을 받는 신분이라서 실무가 어떻다 할 수는 없지만,

취준에 있어서 자기가 해온 모든 일들이 의미 없는 일이 하나도 없다라는 점이다. 물론 집에만 있어서 경험이 별로 없다면 

자기소개서 쓰는데 어려울 수 있다. 나는 이런 어려움을 겪기 싫어서

모든지 다 알아보고 , 모든지 다 시도해보았고, IT프로젝트 이외에도 많은 사람들과의 교류를 통해 내 미래를 그렸다. 

코딩을 못한다해서 주눅이 들지말고 많은 경험을 통해 극복해나가자

def find_missing_point(points):
    x_coords = []
    y_coords = []
    for point in points:
        x_coords.append(point[0])
        y_coords.append(point[1])

    missing_x = 0
    missing_y = 0
    for x in x_coords:
        if x_coords.count(x) == 1:
            missing_x = x

    for y in y_coords:
        if y_coords.count(y) == 1:
            missing_y = y

    return missing_x, missing_y

# 3개의 좌표
points = [(1, 1), (1, 3), (3, 1)]

# 나머지 한 점의 좌표 계산
missing_point = find_missing_point(points)

print("나머지 한 점의 좌표:", missing_point)

https://school.programmers.co.kr/learn/courses/30/lessons/131534

1. USER_INFO 테이블 ==> USER_ID , JOINED(년, 월)

SELECT USER_ID , JOINED ,TO_CHAR(JOINED, 'YYYY') AS YEAR, TO_CHAR(JOINED , 'MM') AS MONTH FROM USER_INFO
WHERE TO_CHAR(JOINED, 'YYYY') = 2021

2. 2021년 가입한 회원 수 ==> 중복 제거하기

SELECT  COUNT(DISTINCT(USER_ID)) AS COUNT_2021 FROM USER_INFO
GROUP BY TO_CHAR(JOINED ,'YYYY')  
HAVING TO_CHAR(JOINED ,'YYYY') = 2021

3. 상품을 구매한 회원(자료가 2022년 만 있다)

SELECT DISTINCT(USER_ID) , TO_CHAR(SALES_DATE , 'YYYY') AS YEAR , TO_CHAR(SALES_DATE , 'MM') AS MONTH 
FROM ONLINE_SALE

4. 2021년 가입한 회원 USER_ID 와 2021년에 가입한 회원 중 상품을 구매한 회원 JOIN

SELECT A.USER_ID  , B.YEAR , B.MONTH  FROM 
(SELECT USER_ID , JOINED ,TO_CHAR(JOINED, 'YYYY') AS YEAR, TO_CHAR(JOINED , 'MM') AS MONTH FROM USER_INFO
WHERE TO_CHAR(JOINED, 'YYYY') = 2021) A INNER JOIN 

(SELECT DISTINCT(USER_ID) , TO_CHAR(SALES_DATE , 'YYYY') AS YEAR , TO_CHAR(SALES_DATE , 'MM') AS MONTH FROM ONLINE_SALE) B

ON A.USER_ID = B.USER_ID

==> 2번이 A , 3번이 B ==> INNER JOIN'

5. 최종

SELECT YEAR, TO_NUMBER(MONTH), COUNT(*) AS PURCHASED_USERS , ROUND(COUNT(*)/(SELECT  COUNT(DISTINCT(USER_ID)) AS COUNT_2021 FROM USER_INFO
GROUP BY TO_CHAR(JOINED ,'YYYY')  
HAVING TO_CHAR(JOINED ,'YYYY') = 2021),1) AS PURCHASED_RATIO FROM (
SELECT A.USER_ID  , B.YEAR , B.MONTH  FROM 
(SELECT USER_ID , JOINED ,TO_CHAR(JOINED, 'YYYY') AS YEAR, TO_CHAR(JOINED , 'MM') AS MONTH FROM USER_INFO
WHERE TO_CHAR(JOINED, 'YYYY') = 2021) A INNER JOIN 

(SELECT DISTINCT(USER_ID) , TO_CHAR(SALES_DATE , 'YYYY') AS YEAR , TO_CHAR(SALES_DATE , 'MM') AS MONTH FROM ONLINE_SALE) B

ON A.USER_ID = B.USER_ID) 

GROUP BY YEAR, MONTH

ORDER BY YEAR ASC , MONTH ASC

https://school.programmers.co.kr/learn/courses/30/lessons/151141

단계별로 풀자

1. CAR_RENTAL_COMPANY_CAR 테이블 ==> CAR_ID CAR_TYPE =  자동차 종류 트럭, DAILY_FEE 뽑기

SELECT CAR_ID, CAR_TYPE , DAILY_FEE FROM CAR_RENTAL_COMPANY_CAR 
WHERE CAR_TYPE = '트럭'

2. CAR_RENTAL_COMPANY_RENTAL_HISTORY 테이블 ==> HISTORY_ID, CAR_ID , END_DATE- START_DATE + 1 뽑기

 SELECT HISTORY_ID, CAR_ID , 
     CASE WHEN (END_DATE- START_DATE + 1) >= 90 THEN '90일 이상'
          WHEN (END_DATE- START_DATE + 1) >= 30 THEN '30일 이상'
          WHEN (END_DATE- START_DATE + 1) >= 7 THEN '7일 이상'
          ELSE '7일 이하'
          END AS DURATION 
FROM CAR_RENTAL_COMPANY_RENTAL_HISTORY

3. CAR_RENTAL_COMPANY_DISCOUNT_PLAN 테이블 트럭, DISCOUNT_RATE 뽑기

SELECT CAR_TYPE , DURATION_TYPE , DISCOUNT_RATE FROM CAR_RENTAL_COMPANY_DISCOUNT_PLAN
WHERE CAR_TYPE = '트럭'

4. JOIN 하기_1

SELECT B.HISTORY_ID , B.CAR_ID , B.DURATION, B.DURATION_1 ,A.CAR_TYPE , A.DAILY_FEE FROM
(SELECT CAR_ID, CAR_TYPE , DAILY_FEE FROM CAR_RENTAL_COMPANY_CAR 
WHERE CAR_TYPE = '트럭') A LEFT JOIN

(SELECT HISTORY_ID, CAR_ID , 
    CASE WHEN (END_DATE- START_DATE + 1) >= 90 THEN '90일 이상'
         WHEN (END_DATE- START_DATE + 1) >= 30 THEN '30일 이상'
         WHEN (END_DATE- START_DATE + 1) >= 7 THEN '7일 이상'
         ELSE '7일 이하'
         END AS DURATION,
    (END_DATE- START_DATE + 1) AS DURATION_1
FROM CAR_RENTAL_COMPANY_RENTAL_HISTORY) B 

ON A.CAR_ID = B.CAR_ID

5. JOIN 하기_2

SELECT A.HISTORY_ID , A.CAR_ID , A.DURATION, A.DURATION_1 , A.CAR_TYPE , A.DAILY_FEE , 

CASE WHEN B.DISCOUNT_RATE IS NULL THEN 0
    ELSE B.DISCOUNT_RATE END AS DISCOUNT_RATE

FROM
(SELECT B.HISTORY_ID , B.CAR_ID , B.DURATION, B.DURATION_1 ,A.CAR_TYPE , A.DAILY_FEE FROM
(SELECT CAR_ID, CAR_TYPE , DAILY_FEE FROM CAR_RENTAL_COMPANY_CAR 
WHERE CAR_TYPE = '트럭') A LEFT JOIN

(SELECT HISTORY_ID, CAR_ID , 
    CASE WHEN (END_DATE- START_DATE + 1) >= 90 THEN '90일 이상'
         WHEN (END_DATE- START_DATE + 1) >= 30 THEN '30일 이상'
         WHEN (END_DATE- START_DATE + 1) >= 7 THEN '7일 이상'
         ELSE '7일 이하'
         END AS DURATION,
    (END_DATE- START_DATE + 1) AS DURATION_1
FROM CAR_RENTAL_COMPANY_RENTAL_HISTORY) B 

ON A.CAR_ID = B.CAR_ID) A LEFT JOIN 

(SELECT CAR_TYPE , DURATION_TYPE , DISCOUNT_RATE FROM CAR_RENTAL_COMPANY_DISCOUNT_PLAN
WHERE CAR_TYPE = '트럭') B 

ON A.CAR_TYPE = B.CAR_TYPE AND A.DURATION = B.DURATION_TYPE

6. 최종

SELECT HISTORY_ID , (DAILY_FEE*(1-(DISCOUNT_RATE*0.01))*DURATION_1) AS FEE FROM

(SELECT A.HISTORY_ID , A.CAR_ID , A.DURATION, A.DURATION_1 , A.CAR_TYPE , A.DAILY_FEE , 

CASE WHEN B.DISCOUNT_RATE IS NULL THEN 0
    ELSE B.DISCOUNT_RATE END AS DISCOUNT_RATE

FROM
(SELECT B.HISTORY_ID , B.CAR_ID , B.DURATION, B.DURATION_1 ,A.CAR_TYPE , A.DAILY_FEE FROM
(SELECT CAR_ID, CAR_TYPE , DAILY_FEE FROM CAR_RENTAL_COMPANY_CAR 
WHERE CAR_TYPE = '트럭') A LEFT JOIN

(SELECT HISTORY_ID, CAR_ID , 
    CASE WHEN (END_DATE- START_DATE + 1) >= 90 THEN '90일 이상'
         WHEN (END_DATE- START_DATE + 1) >= 30 THEN '30일 이상'
         WHEN (END_DATE- START_DATE + 1) >= 7 THEN '7일 이상'
         ELSE '7일 이하'
         END AS DURATION,
    (END_DATE- START_DATE + 1) AS DURATION_1
FROM CAR_RENTAL_COMPANY_RENTAL_HISTORY) B 

ON A.CAR_ID = B.CAR_ID) A LEFT JOIN 

(SELECT CAR_TYPE , DURATION_TYPE , DISCOUNT_RATE FROM CAR_RENTAL_COMPANY_DISCOUNT_PLAN
WHERE CAR_TYPE = '트럭') B 

ON A.CAR_TYPE = B.CAR_TYPE AND A.DURATION = B.DURATION_TYPE)

ORDER BY FEE DESC , HISTORY_ID DESC

https://school.programmers.co.kr/learn/courses/30/lessons/164670

SELECT B.USER_ID , B.NICKNAME ,B.ADDRESS AS 전체주소 ,B.TLNO AS 전화번호  FROM
(SELECT WRITER_ID ,  COUNT(WRITER_ID) FROM USED_GOODS_BOARD
GROUP BY WRITER_ID
HAVING COUNT(WRITER_ID)>=3) A LEFT JOIN 
(SELECT USER_ID , NICKNAME , CITY ||' '|| STREET_ADDRESS1 || ' '|| STREET_ADDRESS2 AS ADDRESS, SUBSTR(TLNO,0,3)||'-'||SUBSTR(TLNO,4,4)||'-'||SUBSTR(TLNO,8,4)  AS TLNO  FROM USED_GOODS_USER) B
ON A.WRITER_ID = B.USER_ID
ORDER BY B.USER_ID DESC

==> SUBSTR(열 , 시작번호, 끝번호)