화이팅

AWS Certified Data Engineer – Associate (DEA-C01) 만점 합격 후기

이라후 — Wed, 12 Feb 2025 17:41:54 +0900

요약

덤프 문제만 공부함. (총 205문제)
총 준비기간은 2주 반
(25년 2월 기준)실제 시험은 내 기억으로는 1문제가 처음 보는 문제였고
나머지는 모두 덤프 문제와 똑같이 나왔고 대부분 보기의 순서까지 같았다.

시험 접수

AWS Certified Data Engineer – Associate(DEA-C01)

위 링크에서 시험에 대한 기본적인 정보를 확인하고 예약할 수 있다.

AWS Certified Data Engineer - Associate(DEA-C01)은(는) 100~1,000의 점수로 구분되어 평가됩니다. 시험 합격에 필요한 점수는 720입니다.

30분 추가시간 받기

영어 원어민이 아니라면 30분의 시간을 더 받을 수 있다.

기존 130분 + 30분 => 160분
EXAM REGISTRATION -> Exam accommodations에서 신청
접수 전 미리 신청해야함
한국어 시험으로 선택해도 적용됨

시험 준비

시험 준비용 자료로는 유데미 강의와 덤프 문제를 준비 했는데

결과적으로 덤프 문제만 공부해서 합격했다.

ExamTopics의 DEA 문제들을 한 파일로 정리해 둔 파일을 공유받아서 공부했다.

파일에는 196번 문제까지 있었고 시험 시점에는 205번 문제까지 업데이트가 되어있었다.

추가 문제는 examtopics dea-c01 question 200 형식으로 구글링 하면 해당 문제 확인이 가능하다.

덤프 공부 방법

각 문제 의 정답과 해설 확인(ExamTopics의 Discussion이 도움됨)
정리된 문제와 해설 공부(2-3회 반복)
백지 상태에서 풀어보기
3에서 틀리거나 모르는 문제만 다시 풀기

tmi: 1번이 조금 오래 걸리고 하루에 10문제밖에 보지 못한 날도 있었다.

온라인 시험으로 접수했다가 시스템 문제가 있어서 오프라인으로 다시 접수하면서 1주일간 대기시간도 생겼는데

모두 포함해서 시작일부터 시험일까지 2주 반정도 걸렸다.

처음에는 잘 모르는 서비스도 많고

문제를 있는 그대로 읽고 보기도 있는 그대로 읽으면서 공부해서 어렵고 시간이 오래 걸렸는데

문제별로 정리를 하고 계속 반복하면 키워드 기준으로 보기를 소거하거나 정답 키워드를 찾을 수 있게 된다.

시험 당일

온라인/오프라인 모두 예약한 시각에 맞춰서 시험이 시작되는 시스템이 아니고

감독관이 한명씩 확인을 한 후 개별적으로 시작, 본인의 시작시간 기준으로 종료시간이 정해지는 방식이었다.

온라인

30분 전부터 시스템에 접속 후 여러가지 테스트 후에 감독관과 연결된다.

감독관이 주변환경 체크를 다시 한번 하고 승인해주면 시험이 시작되는 시스템

테스트 마친후 감독관 연결 대기시간이 꽤 길었다

처음에 온라인 시험을 신청 했는데 시험날 시스템 문제가 있어서 두번 재시작 후 시험기회가 없어졌다ㅠ

AWS와 시험 대행사인 Pearson VUE 측에 모두 메일을 보내서 2일 후 환불을 받고 오프라인으로 재접수 했다.

Pearson VUE 이메일 문의 링크

AWS에서 먼저 답장이 왔는데 Pearson Vue에서 5일동안 연락이 없으면 본인들이 처리해주겠다는 내용.

두군데 모두 문의를 해보는게 좋을 것 같다.

오프라인 (LEXIS EXAM CENTRE)

들어가자마자 이름과 접수한 시험을 확인 하고

대기실에 있다가 도착한 순서대로 한명씩 시험실로 안내되는 시스템

결과

먼저 시험을 본 지인이 시험이 끝나면 바로 합/불 여부가 나온다고 했던 것 같은데

오프라인에서 봐서 그런지(?) 그 자리에서는 결과가 나오지 않았다.

다른 후기들처럼 시험 끝난 후 5시간 정도 후에 Credly에서 먼저 합격여부를 알려주는 이메일이 왔고

AWS에서는 12시간정도 지나서 왔다.

시험에 합격하면 자격증 시험 50% 할인 바우처를 주는데

자격증 계정에서 Benefits -> Certification benefits 에서 확인 가능.

유효기간은 합격한 시험 만료일까지.

합격만 하면 되는 시험이지만 만점받아서 기분이 좋다^^!

사실 틀린 문제도 있는 것 같은데 채점에 들어가지 않는 문제에서 틀린 듯 하다.

시험 안내서 기준으로 시험범위에 해당하는 서비스의 10%도 사용해보지 못한 것 같은데

시험준비하며 덤프 문제를 공부한 것 만으로도 다양한 서비스를 알게됐고 이미 사용해본 서비스도 더 깊게 이해하는 데 도움이 되었다.

[AWS] Elastic Beanstalk 에러: failed to create: [AWSEBInstanceLaunchWaitCondition].

이라후 — Wed, 23 Oct 2024 01:06:38 +0900

Elastic Beanstalk 환경 생성 중 에러

내용은 아래와 같다.

아래 링크에서 해결법을 찾았다.

https://repost.aws/questions/QUuSGs2tFHQkyoiESiyeHtnA/awsebinstancelaunchwaitcondition-error-on-deploying-java-app-on-elastic-beanstalk

AWSEBInstanceLaunchWaitCondition error on deploying Java app on Elastic Beanstalk

Hello, I keep having issues when trying to deploy a simple Java (.war) application to Elastic Beankstalk. Basically, everyime I get these messages on the events tab: > Environment health has transi...

repost.aws

원인과 해결법

애플리케이션이 비공개 서브넷에 배포된 것이 문제였습니다. 다음과 같이 해결했어요:

EC2 > 인스턴스로 이동
실행 중인 EC2 인스턴스를 선택
Instance summary에서 서브넷 ID를 열어 할당된 서브넷을 확인
서브넷 테이블이 VPC에서 열림
서브넷 ID를 클릭
Route table에서 라우트 테이블 ID 선택
작업(Actions) > 서브넷 연결 편집(Edit subnet associations) 선택
이름에 rds-pvt 접두사가 없는 서브넷을 선택

이제 0.0.0.0/0로 가는 추가 목적지가 있고, 타겟은 인터넷 게이트웨이로 설정되었습니다. 이 변경을 한 후에는 새로운 Elastic Beanstalk 인스턴스를 오류 없이 몇 분 만에 생성할 수 있었습니다.

서브넷 연결 편집

환경 다시 빌드

결과

그 밖에 찾아봤던 페이지

https://docs.aws.amazon.com/ko_kr/elasticbeanstalk/latest/dg/troubleshooting-kb.html

https://docs.aws.amazon.com/ko_kr/elasticbeanstalk/latest/dg/vpc.html

[AWS] Elastic Beanstalk 에러: The instance profile aws-elasticbeanstalk-ec2-role associated with the environment does not exist.

이라후 — Tue, 22 Oct 2024 23:57:14 +0900

https://stackoverflow.com/questions/30790666/error-with-not-existing-instance-profile-while-trying-to-get-a-django-project-ru/76620598#76620598

Error with not existing instance profile while trying to get a django project running on AWS Beanstalk

I`m trying to deploy a django project to AWS Beanstalk following this tutorial. I executed eb create and after a while I get the error The instance profile aws-elasticbeanstalk-ec2-role associa...

stackoverflow.com

문제 원인

이전에는 Elastic Beanstalk가 AWS 계정에서 처음으로 환경을 생성할 때 기본 EC2 인스턴스 프로파일인 aws-elasticbeanstalk-ec2-role을 자동으로 생성했습니다. 그러나 최근 AWS 보안 가이드라인에 따라 AWS 서비스가 다른 AWS 서비스(이 경우 EC2)와 신뢰 정책을 가진 역할을 자동으로 생성하는 것이 허용되지 않습니다. 문이 문제를 해결하기 위해서는 수동으로 인스턴스 프로파일을 생성해야 합니다.

인스턴스 프로파일 권한 정책 확인

환경 생성 시

2단계 서비스 엑세스 구성 -> EC2 인스턴스 프로파일 -> 권한 세부 정보 보기

권한 보기에서 어떻게 만들어야 하는지 확인 가능.

신뢰할 수 있는 엔터티: ec2.amazonaws.com
권한: AWSElasticBeanstalkWebTier, AWSElasticBeanstalkWorkerTier, AWSElasticBeanstalkMulticontainerDocker

권한 생성

IAM -> 역할 -> 역할생성

1단계 신뢰할 수 있는 엔터티 선택

신뢰할 수 있는 엔터티 유형: AWS 서비스
사용 사례: EC2

2단계 권한 추가

AWSElasticBeanstalkWebTier
AWSElasticBeanstalkWorkerTier
AWSElasticBeanstalkMulticontainerDocker

3단계 이름 지정, 검토 및 생성

역할 이름: aws-elasticbeanstalk-ec2-role

EB 환경 생성 시 적용

2단계 EC2 인스턴스 프로파일에서 방금 만든 프로파일 선택

[AWS] Elastic Beanstalk 에러: The following resource(s) failed to create: [AWSEBAutoScalingLaunchConfiguration].

이라후 — Tue, 22 Oct 2024 23:17:22 +0900

https://docs.aws.amazon.com/elasticbeanstalk/latest/dg/environments-cfg-autoscaling-launch-templates.html

Launch Templates - AWS Elastic Beanstalk

Once an environment is using launch templates, Elastic Beanstalk will never move it back to launch configurations. This is the case even if any these option settings that prompted the original use of launch templates are removed.

docs.aws.amazon.com

2024년 10월 1일부터 Amazon EC2 Auto Scaling 서비스는 새로운 계정에서 더 이상 런치 구성(Launch Configurations)을 생성하는 것을 지원하지 않습니다. 이 변경은 런치 구성이 단계적으로 폐지되고, EC2 Auto Scaling 서비스에서 런치 템플릿(Launch Templates)으로 대체되기 때문입니다. 자세한 내용은 Amazon EC2 Auto Scaling 사용자 가이드의 Auto Scaling 런치 구성(Launch Configurations)을 참조하세요.

Elastic Beanstalk 계정 및 환경에 대한 런치 템플릿 전환의 영향은 다음과 같습니다:

기존 환경: 2024년 10월 1일 이전에 생성된 기존 환경은 영향을 받지 않습니다.
새로운 계정: 새로운 계정은 환경을 성공적으로 생성하기 위해 런치 템플릿 옵션 설정에 나열된 옵션 중 적어도 하나를 일시적으로 설정해야 합니다. Auto Scaling 서비스는 새로운 계정에 대해서는 런치 템플릿을 사용하여 환경을 생성합니다.
기존 계정: 새로운 계정과 마찬가지로, 계정에 환경이 없는 특정 리전에서는 기존 계정도 동일한 절차를 따라야 합니다. 이 경우, 기존 계정은 주어진 리전에서 새 환경을 성공적으로 생성하려면 런치 템플릿 옵션 설정에 나열된 옵션 중 적어도 하나를 일시적으로 설정해야 합니다. Auto Scaling 서비스는 주어진 리전의 해당 계정에 대해서만 런치 템플릿을 사용하여 환경을 생성합니다.

Elastic Beanstalk 환경을 새로 만들던 중 에러 발생.

"The Launch Configuration creation operation is not available in your account. Use launch templates to create configuration templates for your Auto Scaling groups."

"The following resource(s) failed to create: [AWSEBAutoScalingLaunchConfiguration]"

위 Launch Templates 안내 페이지를 읽어보다가 새로운 계정은 런치 템플릿 옵션 설정 의 옵션을 최소 하나 설정하라는 것을 발견. 새로운 계정은 Launch Configuration 이 아닌 Launch Template을 사용해서 환경을 생성하기 때문.

기존 환경 확인

https://docs.aws.amazon.com/elasticbeanstalk/latest/dg/environments-cfg-autoscaling-launch-templates.html#environments-cfg-autoscaling-launch-templates-determine

Launch Templates - AWS Elastic Beanstalk

docs.aws.amazon.com

링크에 나와있는대로

AWS CloudFormation console -> 스택 -> 스택 세부 정보 -> 템플릿 탭

ctrl + f 로 launchtemplate / launchconfiguration 를 검색해보면 알 수 있다.

LaunchConfiguration으로 되어있음

런치 템플릿 옵션 설정 :

https://docs.aws.amazon.com/elasticbeanstalk/latest/dg/environments-cfg-autoscaling-launch-templates.html#environments-cfg-autoscaling-launch-templates-options

Launch Templates - AWS Elastic Beanstalk

docs.aws.amazon.com

RootVolumeType option set to gp3. You can set this option with the console or the namespace .
BlockDeviceMappings option contains gp3. You can set this option with the console or the namespace.
DisableIMDSv1 option set to true. We recommend that you set this option using the namespace.
EnableSpot option set to true. For more information, see Spot instance support and Configuration Auto Scaling group configuration .

1번 RootVolumeType gp3으로 설정

나는 1번 루트 볼륨을 gp3으로 설정해서 해결했다.

환경 생성 -> 4단계 (인스턴스 트래픽 및 크기 조정 구성)

루트 볼륨(부팅 디바이스) 에서 루트 볼륨 유형을 범용 3(gp3)으로 선택한다.

4번

~~IMDSv1은 기본이 비활성화 true인데 기본값으로 생성했을때 launch configuration으로 생성되었다. 그래서 namespace에서 설정하는 것을 권장하는 것 같은데..~~

환경 확인

AWS CloudFormation console -> 스택 -> 스택 세부 정보 -> 템플릿 탭

이번에 생성된 스택 탬플릿을 보면 launch template를 사용해서 만들어진것을 알 수 있다.

결과

기존 에러도 나지 않고 ec2 인스턴스도 잘 생성되었다.

Django 모델에서 기본 키 참조: pk vs id

이라후 — Thu, 10 Oct 2024 00:56:23 +0900

Question.objects.get(pk=1000)과 Question.objects.get(id=1000)은 Django에서 동일한 결과를 반환한 다. 여기서 pk는 "primary key"의 약자로, Django 모델에서 기본 키를 참조하는 짧은 표현이다. 두 표현의 차이와 pk를 사용하는 이유는 다음과 같다:

1. 명확성:

pk는 모델의 기본 키를 명시적으로 나타내므로, 모델의 기본 키가 무엇인지 확실히 알 수 있다.
id를 사용할 경우, id가 기본 키임을 알고 있는 경우에만 이해할 수 있다. 다른 필드명이 기본 키인 경우, id를 사용하면 혼동할 수 있다.

2. 유연성:

모델에서 기본 키를 id가 아닌 다른 필드로 설정했을 때도 pk를 사용할 수 있다. 예를 들어, unique_id라는 필드를 기본 키로 설정하면 Question.objects.get(pk=1000)은 유효하지만 Question.objects.get(id=1000)은 오류를 발생시킨다.

3. 관습:

Django의 많은 개발자들은 기본 키를 다룰 때 pk를 사용하여 코드를 일관되게 유지한다. (기본 키를 참조할 때의 일반적인 관습)

결론:

둘 중 어떤 것을 써도 작동하지만, 일반적으로 pk를 사용하는 것이 더 명확하고 유연하다. 기본 키를 나타낼 때 pk를 사용하는 것이 좋은 관행으로 여겨지므로, 가능하다면 pk를 사용하는 것이 좋다.

파이썬 자료구조

이라후 — Tue, 8 Oct 2024 19:33:58 +0900

1. 리스트(list)

인덱스 접근 []: O(1)
append(): O(1)
pop() (맨 끝 요소 제거): O(1)
pop(i) (임의 위치 i에서 제거): O(n)
insert(i, x): O(n)
del del list[i]:
- 마지막 요소 제거: O(1)
- 임의 위치에서 제거: O(n)
remove(x): O(n) (값을 찾기 위한 선형 탐색 필요)
index(x): O(n)
sort(): O(nlog⁡n)
reverse(): O(n)
len(): O(1)
슬라이싱 list[start:end]: O(k) (슬라이싱되는 길이에 비례)

2. 딕셔너리(dict)

인덱스 접근 d[key]: O(1)
삽입 및 업데이트 d[key] = value: O(1)
삭제 del d[key]: O(1)
get(key): O(1)
pop(key): O(1)
keys(): O(n) (모든 키를 반환)
values(): O(n) (모든 값을 반환)
items(): O(n) (키-값 쌍을 반환)
len(): O(1)

3. 세트(set)

삽입 s.add(x): O(1)
삭제 s.remove(x): O(1)
탐색 x in s: O(1)
교집합 s1 & s2: O(min(len(s1),len(s2)))
합집합 s1 | s2: O(len(s1)+len(s2))
차집합 s1 - s2: O(len(s1))
대칭차집합 s1 ^ s2: O(len(s1)+len(s2))

4. 튜플(tuple)

인덱스 접근 t[i]: O(1)
count(x): O(n)
index(x): O(n)
len(): O(1)

튜플은 불변(immutable) 자료구조로, 리스트와 유사하지만 요소를 변경할 수 없다는 점에서 리스트와 다르다.

5. deque (collections.deque)

append() (끝에 요소 추가): O(1)
appendleft() (앞에 요소 추가): O(1)
pop() (끝에서 요소 제거): O(1)
popleft() (앞에서 요소 제거): O(1)
extend(iterable): O(k)(길이에 비례)
extendleft(iterable): O(k)
rotate(n): O(n) (n번 회전)
len(): O(1)

[프로그래머스] 기능개발: math.ceil 대체 수식

이라후 — Sat, 5 Oct 2024 15:05:00 +0900

문제

https://school.programmers.co.kr/learn/courses/30/lessons/42586

프로그래머스

코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요.

programmers.co.kr

풀이1

def solution(progresses, speeds):
    answer = []
    days_left = [(100 - progresses[i] + speeds[i] -1) // speeds[i] for i in range(len(progresses))]
   
    day = days_left[0]
    cnt = 1
    
    for d in days_left[1:]: 
        if d <= day:
            cnt += 1
        else:
            answer.append(cnt)
            day = d
            cnt = 1
    
    answer.append(cnt)
    return answer

시간복잡도는 days_left 구할때 O(n), for문에서 O(n)

-> O(n)

zip을 이용해서 progresses랑 speeds를 한번에 돌면서 하고싶었는데

어떻게할지 모르겠음+문제 조건에서 리스트 길이가 100 이하래서

그냥 새로운 리스트 days_left를 따로 만들어서 풀었다

다른풀이1

from math import ceil

def solution(progresses, speeds):
    answer = []
    max_duration = ceil((100 - progresses[0]) / speeds[0])
    count = 0
    
    for progress, speed in zip(progresses, speeds):
        duration = ceil((100 - progress) / speed)
        # duration = -(-(100 - progress) // speed)
        if max_duration < duration:
            answer.append(count)
            count = 0
            max_duration = duration
        count += 1
    
    if count > 0:
        answer.append(count)
    
    return answer

처음에 풀려던 의도대로 해결한 풀이법

다른풀이2

def solution(progresses, speeds):
    Q = []
    for p, s in zip(progresses, speeds):
        days_left = (100 - p + s - 1) // s  # 남은 일수 계산 (올림 효과)
        if not Q or Q[-1][0] < days_left:
            Q.append([days_left, 1])  # 새로운 배포 그룹 시작
        else:
            Q[-1][1] += 1  # 같은 배포 그룹에 포함
    return [q[1] for q in Q]

zip() 이용한 풀이

2차원리스트 활용

비교: 이전 코드와의 차이점

첫 번째 코드 (기존 코드):
- 각 작업이 완료될 일수를 계산한 후, 다시 한 번 순회하여 배포 가능한 작업들을 그룹화합니다.
- 시간 복잡도는 O(n)입니다.
두 번째 코드 (새 코드):
- zip을 이용해 한 번의 순회만으로 남은 일수 계산과 그룹화를 동시에 처리합니다.
- 시간 복잡도는 O(n)입니다.

어떤 코드가 더 나은가?

가독성: 첫 번째 코드는 각 단계를 명확히 나눠서 처리합니다. 첫 번째 코드는 각 작업의 완료 일수를 먼저 계산하고, 그 이후에 배포 가능 여부를 판단하는 구조라서 이해하기 쉽습니다. 반면, 두 번째 코드는 한 번의 루프에서 모든 것을 처리하기 때문에 다소 복잡하게 느껴질 수 있습니다.
성능: 두 코드는 모두 시간 복잡도가 O(n)으로 동일하므로, 입력 크기 n에 따른 성능 차이는 크지 않습니다. 하지만 두 번째 코드는 그룹화를 계산하는 과정을 반복해서 처리하지 않고, 한 번의 루프에서 모든 것을 해결하므로 약간 더 효율적입니다.

결론

첫 번째 코드는 가독성이 좋고, 직관적으로 단계별로 문제를 해결하는 방식입니다.
두 번째 코드는 한 번의 루프에서 작업을 처리하므로, 효율성이 조금 더 뛰어납니다. 단, 가독성 측면에서 약간 불리할 수 있습니다.

따라서, 두 번째 코드가 미세하게 더 효율적일 수 있지만, 코드의 명확성과 유지보수성을 고려하면 프로젝트 상황에 따라 두 코드 중 선택할 수 있습니다.

math.ceil

원래 math.ceil()함수를 사용해서 풀었는데 챗지피티가 다른 방법을 알려주었다

# import math
# math.ceil((x - p) / s)

# 대신 아래 식으로 쓸 수 있다

(x - p + s - 1) // s

함수 호출 비용: math.ceil은 Python에서 함수를 호출하는 것이므로, 함수 호출에 대한 오버헤드가 발생합니다. 이 오버헤드는 특히 반복문 안에서 호출할 경우 성능에 영향을 미칠 수 있습니다.
산술 연산: 반면, (x - p + s - 1) // s는 단순한 산술 연산이므로, 계산이 더 빠르게 수행됩니다. 이 방식은 일반적으로 상수 시간 O(1)로 처리됩니다.

또 -((p - 100) // s)로 푸는 방법도 있었는데 가독성과 미미한 성능의 차이에서 모두(x-p+s-1)//s가 낫다고 한다.

[프로그래머스] 예산: O(n^2) -> O(n log n)

이라후 — Sat, 5 Oct 2024 01:16:16 +0900

문제 링크

https://school.programmers.co.kr/learn/courses/30/lessons/12982

프로그래머스

programmers.co.kr

O(n^2)

def solution(d, budget):
    d.sort() 
    while sum(d) > budget:
        d.pop()      
    return len(d)

sum()을 이용해 간단하게 푼 방법 but..

1. d.sort()

시간 복잡도: O(n log n)
sort()는 Timsort 알고리즘을 사용하므로 리스트 크기 n에 대해 O(n log n)의 시간이 걸립니다.

2. while sum(d) > budget:

sum(d)의 시간 복잡도는 리스트 내 모든 요소의 합을 구하는 작업으로, O(n)입니다.
while 루프 내에서 sum(d)는 매번 반복되므로, 가장 나쁜 경우는 d의 모든 요소를 하나씩 제거하는 상황입니다. 즉, 루프는 최악의 경우 n번 반복되며, 매번 O(n)의 시간이 걸립니다. -> O(n^2)

3. d.pop()

리스트의 마지막 요소를 제거하는 pop()은 O(1)입니다. 따라서, 이 부분은 루프 내에서 시간 복잡도에 크게 영향을 미치지 않습니다.

최종 시간 복잡도:

O(n^2)

개선 방법: sum(d)를 루프 안에서 매번 계산하는 대신, budget에서 각 요소를 하나씩 빼나가면 시간 복잡도를 줄일 수 있다.

O(n log n)

def solution(d, budget): 
    d.sort()
    count = 0
    
    for cost in d:
        if budget - cost >= 0:
            budget -= cost
            count += 1
        else:
            break
            
    return count

개선된 로직의 시간 복잡도:

d.sort(): O(n log n) - 예산이 작은 부서부터 처리하기 위해 정렬.
for 루프: O(n) - 각 부서의 소요 비용을 하나씩 처리하면서 예산에서 차감.

최종 시간 복잡도:

O(n log n)

이 코드는 매번 sum(d)를 다시 계산하는 부분을 개선했다.

실행 결과 비교

일부 테스트에서 확연한 차이가 보인다

다시 한번 짧은 코드가 좋은 코드가 아님을 명심,,

[프로그래머스] 큰 수 만들기: 문자열보다 리스트 사용하기

이라후 — Thu, 3 Oct 2024 01:02:40 +0900

문제 링크

https://school.programmers.co.kr/learn/courses/30/lessons/42883

프로그래머스

programmers.co.kr

프로그래밍을 하다 보면, 코드가 짧을수록 좋다는 착각에 빠질 때가 있다. 나는 문제를 풀 때 문자열이 주어지면, 바로 그 문자열로만 해결하려는 경향이 있다. 하지만 짧은 코드가 항상 좋은 코드를 의미하는 것은 아니다.

문자열과 리스트의 차이점, 그리고 언제 리스트를 사용하는 것이 더 좋은가?

https://ginghambagle.tistory.com/155

mutable(변경 가능)과 immutable(변경 불가능)

파이썬에서 리스트(List)는 mutable(변경 가능)하고, 문자열(String)은 immutable(변경 불가능)하다는 의미는 그 데이터 타입이 변경 가능한지, 즉 그 안에 저장된 요소를 직접 수정할 수 있는지와 관련이

ginghambagle.tistory.com

문자열은 immutable하다

def solution(number, k):
    answer = ''
    for n in number:
        while answer and answer[-1] < n and k > 0:
            answer = answer[:-1]
            k -= 1
        answer += n
    if k > 0:
        answer = answer[:-k]
    return answer

이 코드는 문자열 answer를 계속해서 반복적으로 생성하고 덧붙이며 수정해 나가는 방식이다. 문자열은 immutable하기 때문에 answer += n이 실행될 때마다 새로운 문자열이 생성되고, 메모리 할당과 복사 과정이 포함되어 있다. 문자열이 길어질수록 성능에 부담을 줄 수 있다.

리스트는 mutable하다

def solution(number, k):
    collected = []
    for i, num in enumerate(number):
        while len(collected) > 0 and collected[-1] < num and k > 0:
            collected.pop()
            k -= 1
        if k == 0:
            collected += list(number[i:])
            break
        collected.append(num)
        
    collected = collected[:-k] if k > 0 else collected
    answer = ''.join(collected)
    return answer

이 코드는 리스트를 사용해서 필요한 조작을 수행하고, 마지막에 리스트를 문자열로 변환하여 반환한다. 리스트는 mutable하기 때문에 요소를 더하거나 빼는 작업이 효율적이다. append, pop 등을 통해 리스트를 수정할 때 새로운 객체를 생성하지 않고 기존 리스트를 변경하기 때문에 성능이 더 좋다.

결과 비교

왼: 문자열, 오: 리스트

테스트 7-10에서 큰 차이를 보인다

결론

문자열을 사용하고 그대로 반환하는 것이 코드 작성자에게는 편리하지만 컴퓨터의 관점에서 효율적인 코드를 작성하는 것이 중요하다. 성능이나 메모리 사용량을 고려해야 할 때는, mutable한 리스트 같은 자료구조를 적극적으로 사용하는 것이 더 나은 선택일 수 있다.

앞으로 코드를 작성할 때는 입력 데이터의 특성과 처리 방법을 고민하고, 문자열 대신 리스트를 사용하는 것이 적합한 상황인지 신경 써보겠다.

mutable(변경 가능)과 immutable(변경 불가능)

이라후 — Wed, 2 Oct 2024 23:40:16 +0900

파이썬에서 리스트(List)는 mutable(변경 가능)하고, 문자열(String)은 immutable(변경 불가능)하다는 의미는 그 데이터 타입이 변경 가능한지, 즉 그 안에 저장된 요소를 직접 수정할 수 있는지와 관련이 있습니다.

1. 리스트 (mutable)

mutable(변경 가능)하다는 것은 리스트의 요소를 직접 수정할 수 있다는 뜻입니다. 리스트의 특정 요소를 바꾸거나, 요소를 추가하거나, 삭제할 수 있습니다.

예시:

my_list = [1, 2, 3]
my_list[0] = 10  # 리스트의 첫 번째 요소를 10으로 변경
print(my_list)  # 출력: [10, 2, 3]

my_list.append(4)  # 새로운 요소 추가
print(my_list)  # 출력: [10, 2, 3, 4]

여기서 리스트는 원래 있던 값이 변하고, 새로운 값을 추가하거나 제거할 수 있습니다. 즉, mutable하다는 것은 데이터를 "수정"할 수 있다는 의미입니다.

2. 문자열 (immutable)

immutable(변경 불가능)하다는 것은 한 번 생성된 문자열을 직접 수정할 수 없다는 뜻입니다. 즉, 문자열의 특정 문자를 바꾸거나, 문자열 중 일부를 삭제하는 것이 불가능합니다. 만약 문자열을 변경하려면, 새로운 문자열을 만들어야 합니다.

예시:

my_string = "hello"
# my_string[0] = 'H'  # 오류 발생: 문자열은 변경할 수 없음
new_string = "H" + my_string[1:]  # 새로운 문자열을 만듦
print(new_string)  # 출력: "Hello"

여기서 my_string[0] = 'H'는 오류를 발생시킵니다. 문자열을 수정하려면 항상 새로운 문자열을 생성하는 방식으로 작업해야 합니다.

요약:

mutable (변경 가능): 리스트처럼 한 번 생성된 객체의 내부 값을 변경할 수 있음.
immutable (변경 불가능): 문자열처럼 한 번 생성된 객체의 내부 값을 변경할 수 없고, 값을 바꾸려면 새로운 객체를 만들어야 함.

파이썬에서의 mutable(변경 가능)과 immutable(변경 불가능) 데이터 타입

Mutable (변경 가능) 데이터 타입:

List (리스트):
- 예시: [1, 2, 3]
- 요소를 추가, 삭제, 수정할 수 있음.
Dictionary (딕셔너리):
- 예시: {'key1': 'value1', 'key2': 'value2'}
- 키-값 쌍을 추가하거나 삭제하고, 값을 수정할 수 있음.
Set (집합):
- 예시: {1, 2, 3}
- 요소를 추가하거나 삭제할 수 있음. 중복된 값을 허용하지 않음.
Bytearray:
- 예시: bytearray(b"hello")
- 바이트 배열로, 개별 바이트 값을 변경할 수 있음.

Immutable (변경 불가능) 데이터 타입:

String (문자열):
- 예시: "hello"
- 문자열의 개별 문자를 변경할 수 없음.
Tuple (튜플):
- 예시: (1, 2, 3)
- 한 번 생성된 튜플은 수정할 수 없음.
frozenset (고정 집합):
- 예시: frozenset([1, 2, 3])
- 집합처럼 동작하지만, 요소를 추가하거나 삭제할 수 없음.
Bytes:
- 예시: b"hello"
- 바이트 배열의 불변 버전. 변경할 수 없음.
Numbers (숫자형):
- int, float, complex 등.
- 예시: 42, 3.14
- 숫자는 한 번 생성되면 값이 변하지 않음.

[프로그래머스/SQL] 가격이 제일 비싼 식품의 정보 출력하기: 정렬 vs 서브쿼리

이라후 — Fri, 26 Jul 2024 17:26:19 +0900

코딩테스트 연습 > SUM, MAX, MIN > 가격이 제일 비싼 식품의 정보 출력하기

1. 정렬->1개만 출력

SELECT PRODUCT_ID, PRODUCT_NAME, PRODUCT_CD, CATEGORY, PRICE
FROM FOOD_PRODUCT
ORDER BY PRICE DESC
LIMIT 1;

2. max

SELECT PRODUCT_ID, PRODUCT_NAME, PRODUCT_CD, CATEGORY, PRICE
FROM FOOD_PRODUCT
WHERE PRICE = (SELECT MAX(PRICE) FROM FOOD_PRODUCT);

성능 비교

서브쿼리 vs. 정렬 및 제한
- 쿼리 1번은 테이블을 가격 기준으로 내림차순 정렬한 다음 상위 한 행만 가져옵니다. 인덱스가 제대로 설정되어 있다면, 이 방식이 더 효율적일 수 있습니다. 인덱스를 사용하여 정렬 작업이 빠르게 수행될 수 있기 때문입니다.
- 쿼리 2번은 서브쿼리를 사용하여 FOOD_PRODUCT 테이블의 최대 가격을 먼저 계산합니다. 그런 다음 이 최대 가격과 일치하는 행을 찾습니다. 서브쿼리를 사용하기 때문에 두 번의 검색 작업이 필요합니다. 이 방식은 특히 대용량 테이블에서 성능에 영향을 미칠 수 있습니다.
인덱스 사용 여부
- 쿼리 1번은 가격 기준으로 정렬하는 작업에 인덱스를 효과적으로 활용할 수 있습니다. 가격에 인덱스가 있다면, 내림차순 정렬과 LIMIT 1 작업이 빠르게 수행될 수 있습니다.
- 쿼리 2번은 서브쿼리가 최대 가격을 찾는 작업을 먼저 수행합니다. 이 작업에 인덱스가 사용될 수 있습니다. 그러나 메인 쿼리가 다시 한 번 검색을 수행해야 하므로, 인덱스를 활용하더라도 효율성이 떨어질 수 있습니다.

결론

일반적으로 쿼리 1번이 성능 면에서 더 나을 가능성이 높습니다. 이유는 정렬과 LIMIT를 사용하여 인덱스를 효율적으로 활용할 수 있기 때문입니다. 물론, 실제 성능은 데이터베이스 엔진, 데이터의 분포, 인덱스의 존재 여부 등에 따라 달라질 수 있습니다.

따라서, 대용량 데이터셋을 다루고 있고, PRICE 컬럼에 인덱스가 설정되어 있다면 쿼리 2번을 사용하는 것이 더 나은 선택이 될 것입니다. 반면에, 데이터베이스의 구체적인 상황을 고려하여 실제 성능 테스트를 수행하는 것도 좋은 방법입니다.

MySQL Workbench | ERROR: Error 1064: You have an error in your SQL syntax; check the manual that corresponds to your MariaDB server version for the right syntax to use near ') ENGINE = InnoDB' at line 11

이라후 — Wed, 8 Mar 2023 16:04:21 +0900

MySQL Workbench를 이용해서 원격 서버에 있는 MariaDB에 디비 구축을 해보았다.

다이어그램으로 작성하면 한눈에 테이블간 관계 등을 눈으로 쉽게 확인할 수 있어서

EER Diagram으로 모델 작성 후 Forward Engineer를 통해 데이터베이스에 테이블 생성을 하려고 했는데 제목과 같은 오류가 났다.

ERROR: Error 1064: You have an error in your SQL syntax; check the manual that corresponds to your MariaDB server version for the right syntax to use near ') ENGINE = InnoDB' at line 11

에러메세지 검색을 통해 이 에러가 내 db 버전과 워크벤치 설정의 타겟 db버전이 맞지 않아서 생기는 에러라는 것을 알게 되었다. (기본 타겟 db버전은 8.0.32로 설정되어 있었다.)

해결

내 MariaDB 버전 확인

접속 시 나오는 웰컴 메세지나

mysql -V

mysql -V 명령어를 통해 확인 가능하다.

호환되는 MySQL 버전 확인

MySQL MariaDB version mapping 검색어로 아래 참고사이트를 찾았고

MariaDB 10.3은 MySQL 5.7과 호환된다는 것을 확인했다.

MySQL Workbench 설정 변경

노란네모부분을 클릭하면 preferences 변경을 할 수 있다.

Modeling -> MySQL에서

Default Target MySQL Version을 5.7로 변경하고 저장해준다.

결과

다시 Forward Engineer를 실행하면 정상적으로 동작이 완료되고 데이터베이스에 테이블이 생성된다.

참고

https://mariadb.com/kb/en/mariadb-vs-mysql-compatibility/#mysql-57

MantisBT | 첨부파일 최대크기 늘리기

이라후 — Fri, 17 Feb 2023 19:30:02 +0900

mantisbt에서 이슈 등록할때 첨부파일을 함께 올릴 수 있는데 최대 크기는 기본 2048KiB로 설정돼있다.

공식문서를 찾아보면 g_max_file_size를 변경하면 된다는 것을 알 수 있다.

config_inc.php

$g_max_file_size

Maximum file size that can be uploaded. Default value is about 5 MiB. The maximum size is also affected by the PHP options post_max_size (default 8 MiB), upload_max_filesize (default 2 MiB) and memory_limit (default 128 MiB) specified in php.ini.

일단 config_defaults_inc.php파일을 보면 기본값이 5MiB로 설정되어 있다.

config_inc.php파일에서 값을 원하는 값으로 설정해서 덮어씌워준다.

그래도 업로드 가능한 최대 파일 크기는 변하지 않는데 php.ini파일에서 공식문서에 언급된 두 변수를 바꿔주면 된다.

기본값이 5인데 업로드 가능 최대 크기가 2인 이유도 php.ini파일의 upload_max_filesize의 기본값이 2MiB로 설정되어 있기 때문이다.

php.ini

upload_max_filesize int

The maximum size of an uploaded file. post_max_size must be larger than this value.

post_max_size는 upload_max_filesize값보다 커야 한다고 한다.

두 값을 넉넉하게 바꿔준 후 서버를 다시 시작하고 mantisbt에 접속해보면

이렇게 첨부파일 최대 크기가 변경된 것을 볼 수 있다.

참고

https://brunch.co.kr/@leedongins/133

https://www.mantisbt.org/docs/master/en-US/Admin_Guide/html/admin.config.uploads.html

https://www.php.net/manual/en/ini.core.php#ini.upload-max-filesize

리눅스 scp 명령어로 아마존 리모트 서버에 파일 복사하기

이라후 — Thu, 16 Feb 2023 15:45:15 +0900

scp: Secure Copy

scp 명령어는 리모트 서버로(부터) 파일을 안전하게 복사할 때 사용한다.

파일이 현재 디렉토리에 있으면 파일명만, 아니라면 full path가 필요하다.

사용법

scp 복사할파일경로 가져다놓을디렉토리경로

현재 디렉토리의 로컬파일 -> 리모트 디렉토리

scp -i my_key.pem hi.txt username@퍼블릭ip:/경로/경로/경로

리모트서버에 hi라는 디렉토리를 하나 만들고 실험해봤다.

리모트서버

그리고 로컬에서 hi.txt를 만들고

로컬

리모트 서버에 파일이 복사되었다

리모트

리모트 서버의 파일 -> 현재 로컬 디렉토리

scp -i my_key.pem username@주소:/경로/경로/파일명 ./

이것도 실험을 해봤지만 모자이크하다가 현타와서 이만...

전에 이 명령어를 몰라서 filezilla를 이용해서 리모트 서버에 파일을 복사했었다.

프로그램을 쓰는게 훨씬 편하지만 별도 프로그램 설치 없이 터미널에서 바로 파일 복사하는 법도 알아두면 좋을 것 같다.

Go | Reference types (pointers)

이라후 — Sun, 29 Jan 2023 17:28:17 +0900

포인터는 메모리에서 특정 위치를 가리키는것이다.

func main() {
	x := 10
	
	// x(10이저장)돼있는 메모리의 주소를 myFirstPointer에 저장
	// &x: x의 레퍼런스
	myFirstPointer := &x  
	
	// *: 메모리에서 myFirstPointer가 가리키는주소에 가서 그 내용을 15로바꿔라 
	*myFirstPointer = 15
	// x: 15
}

func changeValueOfPointer(num *int) {
	*num =25
}

포인터 왜쓰냐:

값을 패스하고 리턴하지 않고도,

변수를 포함하지 않는 스코프에서도 변수의 값을 변경할 수 있다.

직접접근가능

func main() {
	x := 10

	myFirstPointer := &x  
	
	*myFirstPointer = 15
	// x: 15

	changeValueOfPointer(&x)
	// x: 25
}

func changeValueOfPointer(num *int) {
	*num =25
}

Go | Aggregate types (arrays, struct)

이라후 — Sun, 29 Jan 2023 15:24:02 +0900

배열

go에서 배열은 다른 언어에서만큼 많이 쓰이지 않는다.

Go에는 slice가 있기 때문. (배열비슷한데 추가적인 기능이 있음)

//선언: [길이]타입
var myStrings [3]string

//할당
myStrings[0] = "cat"
myStrings[1] = "dog"
myStrings[2] = "fish"

struct

type Car struct {
    NumberOfTires int
    Luxury bool
    BucketSeats bool
    Make string
    Model string
    Year int
}

func main() {
	// var myCar Car
    // myCar.NumberOfTires = 4
    // myCar.Luxury = false
    // ...
    
    // --->
    myCar := Car{
    	NumberOfTires: 4,
        Luxury: true,
        BucketSeats: true,
        ...
    }
}

Go | 기본타입 (numbers, strings, booleans)

이라후 — Sun, 29 Jan 2023 15:10:18 +0900

number

int

uint: 0과 양수

~~int16: 16비트 인티저~~

~~int32: 32비트...~~

~~int64: 64...~~

왜 int(숫자)타입들이 있음?

프로그램이 폰 옛날컴 현재컴 등 어떤 아키텍쳐에서 컴파일될지 모르기 때문에 다양한 종류가 있다.

절대로 확실하게 64비트 아키텍처용 만든다면 int64쓰는게 조오금 낫다. 하지만 그냥 int를 쓰는게 좋다.

float

float32: 32비트

float64: 64비트

그냥 float는 없다.

사이즈에 따라서 골라서 쓰기

string

스트링은 go에서 이뮤터블 변경 불가능하다.

myString := "홍길동"

myString = "김말동"

값을 바꾸는게 아니라 새로운 스트링을 생성해서 변수에 할당하는것

그래서 엄청큰 나노세컨드 단위가 중요한 프로그램에서 문제가 될수 있긴 하다. 그치만 대부분의 경우 그냥 뮤터블이라고 생각해도 문제 없을것(하지만 아님!!)

boolean

true false만 가능

0 할당: 에러, 스트링할당: 에러

MantisBT | 프로젝트 생성 권한 변경하기

이라후 — Wed, 11 Jan 2023 13:42:57 +0900

mantisbt는 커스터마이징이 가능한 무료 이슈 관리 툴이다.

https://computingforgeeks.com/install-and-configure-mantis-bug-tracker-on-ubuntu/

위 링크를 보고 우분투 서버에 설치를 했다

맨티스 유저의 권한은 보기가능, 보고가능, 갱신가능, 개발자, 매니저, 관리자(VIEWER, REPORTER, UPDATER, DEVELOPER, MANAGER and ADMINISTRATOR)로 5개 권한이 있다. 뒤로 갈수록 높은 권한을 가지고 있다.

프로젝트 관련해서는 각각 아래 작업이 가능하다.(기본값)

매니저 권한인 manager1로 로그인한 상황. 프로젝트 생성이 불가능하다.

나는 매니저도 프로젝트 생성이 가능하도록 만들고 싶다.

디폴트 환경 설정값을 보기 위해 mantisbt 설치 위치의 config_defaults_inc.php 파일을 열어 본다.

config_defaults_inc.php

이렇게 프로젝트 생성할 수 있는 최소 권한이 ADMINISTRATOR로 설정돼 있는 것을 볼 수 있다.

이 값을 변경하고싶다면 config_inc.php 파일에 해당 변수를 오버라이딩 하면 된다.

파일은 mantis가 설치된 위치의 config 디렉토리 내에 위치한다.

config_defaults_inc.php를 직접 변경하지 않는 이유는 mantisbt 업그레이드 등을 위해 백업할 때 기본값에서 변경사항만 담긴 config_inc.php파일만 백업하면 되기 때문이다 등등의 이유가 있다

config_inc.php

이렇게 config_inc.php에 프로젝트 생성 최소권한을 MANAGER로 설정해주고 저장후

서버를 재시작 한다.

$ sudo systemctl restart apache2

다시 MANAGER권한을 가진 manager1로 로그인 후 프로젝트 관리 페이지를 보면

이제 매니저권한도 프로젝트를 생성할 수 있다.

참고

https://yckim.wordpress.com/2010/02/22/mantis-%ED%99%98%EA%B2%BD%EC%84%A4%EC%A0%95%EC%9D%98-%EB%B9%84%EB%B0%80/

https://www.mantisbt.org/docs/master/en-US/Admin_Guide/html/admin.user.access.html

NestJS | TypeORM: entity 정의(soft delete, 추상클래스)

이라후 — Mon, 21 Nov 2022 20:16:59 +0900

✔️ soft delete

전에는 soft delete를 위해서 is_active라는 컬럼을 추가해서 삭제 요청이 오면 실제 삭제 대신 is_active=false로 바꿔주는 작업을 했었다.

TypeORM에서는 soft delete를 지원한다.

레코드를 삭제하는 대신 @DeleteDateColumn()이 붙어있는 컬럼(날짜)을 업데이트한다.

이 컬럼이 포함되면 데이터를 읽을 때 이 컬럼이 null인지 체크하는 where절이 추가된다.

soft delete의 cascade도 가능하다.

✔️ 이력관리

데이터의 생성, 수정 이력을 관리하기 위한 컬럼으로 created, updated가 필요하다.

각각 데이터가 생성됐을때, 업데이트됐을 때의 시간을 timestamp로 기록해야 하는데 이것도 typeorm의 데코레이터를 사용하면 된다.

@CreateDateColumn()
@UpdateDateColumn()

✔️ 추상클래스

모든 테이블에 soft delete를 포함한 이력관리를 하려고 한다.

그리고 모든 테이블에 pk로 auto increse되는 id값을 주려고 한다.

그러면 엔티티를 정의할때마다 id, created, updated, deleted컬럼를 반복해서 넣어줘야 하는데 이럴때 추상클래스를 활용하면 된다.

import { CreateDateColumn, DeleteDateColumn, PrimaryGeneratedColumn, UpdateDateColumn } from "typeorm";
// @Entity 데코레이터가 없으면 테이블이 생성되지 않는다
export abstract class Common {
    @PrimaryGeneratedColumn()
    id: number;

    @CreateDateColumn()
    created: Date; // 생성날짜

    @UpdateDateColumn()
    updated: Date; // 마지막 업데이트 날짜

    @DeleteDateColumn()
    deleted: Date; // soft-delete된 날짜
}

import { Column, Entity } from "typeorm";
import { Common } from "./common.entity";

@Entity()
export class User extends Common { // Common 클래스를 상속해서 User에 필요한 다른 컬럼들을 추가한다.
  @Column({ unique: true })
  email: string;

  @Column()
  password: string;

  @Column()
  firstName: string;

  @Column()
  lastName: string;

  @Column({ nullable: true }) // nullable의 기본값은 false이다.
  profileImageUrl: string;
}

npm run start:dev 로 개발환경에서 서버를 켜고 show tables를 해보면(TypeOrmModuleOptions의 synchronize: true로 설정)

user테이블이 생성된 것을 볼 수 있다.

의도대로 잘 생성되었다!

*몇몇 컬럼들이 쓸데없이 255자까지 공간을 차지하고있으니까 @Column에 옵션을 준다.

ex) @Column({ type: "varchar", length: 50 })

참고

https://orkhan.gitbook.io/typeorm/docs/entities

https://typeorm.io/many-to-many-relations#soft-deleting-a-relationship-with-cascade

https://stackoverflow.com/questions/62696628/how-can-i-create-columns-with-type-date-and-type-datetime-in-nestjs-with-typeorm

https://doug-martin.github.io/nestjs-query/docs/persistence/typeorm/soft-delete/

NestJS | @nestjs/config 패키지를 활용한 환경변수 관리 -> db연결

이라후 — Mon, 21 Nov 2022 14:56:57 +0900

dotenv.config를 활용해서 NODE_ENV에 따라 각각 다른 db를 연결했던것을

@nestjs/config 패키지를 활용해서 ConfigModule을 동적 모듈로 사용하는 방법으로 변경하기

✔️env파일 경로 설정하기

ConfigModule.forRoot()에 옵션값을 넘겨주면 동적 모듈을 생성할 수 있다.

(method) ConfigModule.forRoot(options?: ConfigModuleOptions): DynamicModule

옵션에는 이런 값들을 넣을 수 있는데

envFilePath에 env파일의 경로를 주면 해당 파일을 루트경로에 있는 .env대신 읽어서 환경변수를 구성한다.

환경변수 파일들은 src/configs/envs에 넣어놨고

참고사이트를 참고해서 NODE_ENV에 따라 다른 env파일의 경로를 리턴하고, 없으면 sample.env의 경로를 리턴하는 getEnvPath함수를 작성해서 envFilePath를 지정했다.

@Module({
  imports: [
    ConfigModule.forRoot({ 
      envFilePath: getEnvPath(`${__dirname}/configs/envs`), 
      isGlobal: true 
    })
  ],

그리고 isGlobal은 true로 설정해서 어디서든 ConfigService에 접근할 수 있게 한다.

Nest가 제공하는 ConfigModule은 .env 파일에서 읽어온 환경변수 값을 가져오는 프로바이더인 ConfigService가 있습니다. 이를 원하는 컴포넌트에서 주입하여 사용하면 됩니다.

ConfigService를 활용해서 환경변수를 가져와 db를 연결하려고 한다.

✔️ db연결

TypeOrmModule의 forRootAsync에는 TypeOrmModulesAsyncOptions형의 옵션을 줄 수 있다.

(method) TypeOrmModule.forRootAsync(options: TypeOrmModuleAsyncOptions): DynamicModule

TypeOrmModulesAsyncOptions은

이렇게 생겼는데 그중 useClass에 들어가는 TypeOrmOptionsFactory는

Promise<TypeOrmModuleOptions> | TypeOrmModuleOptions 를 리턴하는 createTypeOrmOptions를 가지고 있다.

그래서...

개발환경에 따라 다른 db를 연결하려면 환경변수값을 ConfigService로 가져오기 위해서 클래스로 만들어야 하는데

해당 클래스로 TypeOrmModule을 설정하려면 forRootAsync 메서드를 사용하고 useClass옵션에 해당 클래스를 주면 된다.

그리고 그 클래스는 TypeOrmOptionsFactory 타입이어야 하고, TypeOrmModuleOptions를 리턴하는 createTypeOrmOptions를 가지고있어야한다.

// typeorm.config.ts
import { Injectable } from "@nestjs/common";
import { ConfigService } from "@nestjs/config";
import { TypeOrmModuleOptions, TypeOrmOptionsFactory } from "@nestjs/typeorm";

@Injectable()
export class TypeOrmConfigService implements TypeOrmOptionsFactory {

    constructor(private configService: ConfigService) {}

    createTypeOrmOptions(): TypeOrmModuleOptions {
      return {
        type: 'mysql',
        host: this.configService.get('DATABASE_HOST'),
        port: Number(this.configService.get('DATABASE_PORT')),
        username: this.configService.get('DATABASE_USERNAME'),
        password: this.configService.get('DATABASE_PASSWORD'),
        database: this.configService.get('DATABASE_NAME'),
        entities: [__dirname + '/../**/*.entity.{js,ts}'],
        synchronize: Boolean(this.configService.get('DATABASE_SYNCHRONIZE'))
      };
  }
}

// app.module.ts
...
@Module({
  imports: [
    ConfigModule.forRoot({ 
      envFilePath: getEnvPath(`${__dirname}/configs/envs`), 
      isGlobal: true 
    }),
    TypeOrmModule.forRootAsync({
      useClass: TypeOrmConfigService
    })
  ],
  ...

그래서 이렇게 작성해서 연결완료

(참고자료 보고 먼저 만들고 후학습!)

참고

https://dev.to/raphael_haecker/nestjs-and-typeorm-database-configuration-15ob

https://blog.devgenius.io/environment-variables-in-nest-js-b989bb0370bf

https://wikidocs.net/158584

NestJS | production/development환경 각각 다른 DB 사용하기(dotenv)

이라후 — Sat, 19 Nov 2022 22:06:39 +0900

✔️ production/development 환경 구분하기

개발을 하면서 이것저것 테스트를 해보게될텐데 배포해서 출시된 프로덕트와 연결된 디비에다가 테스트를 막 하면 안되겠쥬..?

그래서 배포환경/개발환경일때 따라서 각각 다른 db를 사용해야 하는데 환경변수 관리 라이브러리 dotenv를 이용해서 하는 방법이 있다.

환경에 따라 서로 다른 .env파일을 읽도록 하는것.

node.js는 NODE_ENV라는 환경변수를 활용하여 서버의 환경을 구분한다.

package.json 파일을 수정하여 npm run start:dev 명령이 수행될 때 NODE_ENV가 development로 설정되도록 한다.

// package.json
"scripts": {
    ...
    "start:dev": "NODE_ENV=development nest start --watch",
    ...
  },

그리고 env라는 폴더를 만들어 개발환경에서 사용할 환경변수를.development.env에, 프로덕션환경에서 사용할 환경변수를 .production.env에 저장해준다.

난 테스트를 위해 CURRENT_MODE에 prod, dev를 저장해놨다.

그리고 main.ts에 아래와 같은 코드를 추가해준다.

// main.ts
import * as dotenv from 'dotenv';
import * as path from 'path';

dotenv.config({
  path: path.resolve(
    (process.env.NODE_ENV === 'development') ? 'env/.development.env' : 'env/.production.env'
  )
});

NODE_ENV가 development일 때는 .development.env, 아닐때는 .production.env파일을 읽도록 설정해준다.

// main.ts
async function bootstrap() {
  const app = await NestFactory.create(AppModule);
  await app.listen(process.env.SERVER_PORT);
  console.log(process.env.CURRENT_MODE);
}

테스트하기위해 콘솔에 CURRENT_MODE를 출력하게 하고 실행해보면

> npm run start

> npm run start:dev

환경에 맞게 다른 env파일을 잘 읽는걸 확인할 수 있다.

✔️ DB 연결하기

난 configs/typeorm.config.ts에 typeORMConfig를 작성하고

app.module.ts에서 임포트했다.

main.ts는 이렇게 작성해놨는데

[Nest] 66182  - 2022. 11. 19. 오후 9:32:49   ERROR [TypeOrmModule] Unable to connect to the database. Retrying (1)...
Error: Access denied for user ''@'localhost' (using password: YES)

계속 이런 에러가 났다.

그래서 typeORMConfig를 환경변수를 불러오지 않고 각각 넣어줘봤는데 잘 돌아갔다.

그럼 환경변수를 못읽는건가? 해서 전체 환경변수도 콘솔에 찍어봤는데 제대로 나왔다......ㅠ

그래서 옵션을 한줄한줄 환경변수를 불러오도록 바꾸면서 계속 실행해봤다.

이런식으로......

port까지는 정상적으로 돌아가는데

username: process.env.DATABASE_USERNAME

을 하는 순간 같은 에러가 났다ㅠ

host port는 잘 불러오면서 왜 username하고 password만???

username하고 password만 못읽어오는 이유는.............?

고통의흔저규

아무데서도 답을 찾을수가 없었다ㅠ

겹치는 로컬 변수가 있나 해서 다시 찍어봐도 정상적으로 잘 나오는데 왜 접속실패일까

그러다가 에러메세지에서 ''@'localhost' 이부분이 눈에 들어와서

username: 'root',
password: process.env.DATABASE_PASSWORD,

코드를 이렇게 수정했더니 에러메세지가

Error: Access denied for user 'root'@'localhost' (using password: YES)

이렇게 바뀌었다

못읽는거네 근데왜............?????????

그러다 아 설마설마............;;;;;;;;;;;;;;;ㅠㅠㅠㅠㅠㅠㅠㅠㅠ

하고 main.ts의 코드를 바꿔봤다 이렇게 환경변수 설정을 위로...

그랬더니 정상동작했당..ㅎㅎ

AppModule 안에 typeORMConfig가 있으니까 env파일을 먼저 읽고 AppModule을 불러와야하는데

순서가 거꾸로돼서 환경변수가 안읽혔던것같다.

그런데 대체왜.............

DATABASE_HOST랑 DATABASE_PORT랑은 읽고 username부터 못읽은걸까???????

-> 는 host랑 port를 읽은게 아니었다~

https://github.com/mysqljs/mysql#connection-options

여기 들어가서 보면

host의 기본값은 localhost,

port의 기본값은 3306으로 설정돼있다

그래서 host, port에 환경변수를 넣었을때 아무것도 안들어가서 기본값으로 설정되어 정상적으로 연결됐던것!ㅠ~~(내 2시간 돌려줘)~~

아무튼 이렇게 해서 개발/프로덕션 환경에 따라 다른 디비에 연결되도록 설정을 했다~

참고

https://wikidocs.net/158579

NestJS | 패키지 버전 지정해서 세팅하기

이라후 — Sat, 19 Nov 2022 16:29:48 +0900

글로벌환경과 다른 nest 버전으로 프로젝트 시작하기

내 컴터에 깔린 nestjs 버전은 9.1.4이다.

그래서 그냥 nest new 프로젝트명 명령어로 프로젝트를 시작하면

아래처럼 ^9.0.0으로 깔리게 된다.

나는 8.2.x버전의 프로젝트가 필요한 상황이라 아래 명령어로 프로젝트를 시작했다.

$ npx @nestjs/cli@버전 new 프로젝트명

npx @nestjs/cli@^8.2 new 프로젝트명

그럼 이렇게 8.0.0이상 버전으로 깔리게 된다.

8.2.0이 아니라 8.0.0이라서 package.json에서 직접 ^8.2.0으로 변경 후 npm install을 해봤는데 에러가 났다.

^8.0.0은 8이상이니까 8.2에서도 돌아가긴 할테니까 패쓰....

9.1.4버전에서 nest new를 해도 ^9.0.0으로 깔리는걸 보니 원래 0.0으로 끊는건가봉가?

typeorm 0.2.41 설치

db는 mysql을 사용하고 typeorm을 사용할건데 typeorm 버전은 0.2.41이 필요하다

$ npm install @nestjs/typeorm typeorm@0.2.41 mysql2

이렇게 하면 @nestjs/typeorm이 먼저 최신 버전으로 깔려서 typeorm 0.2.41이 깔리지 않고 에러가 난다.

그래서 먼저 typeorm@0.2.41을 깔고

npm install @nestjs/typeorm을 하면 또 최신버전으로 까는건지 에러가 난다~~(npm이 원래 깔려있는 패키지들 버전 보고 알아서 호환되는 버전으로 깔아줄줄 알았다ㅠ)~~

그래서 "typeorm 0.2.41 nestjs"로 검색을 해서 나온 참고페이지에서 보고 @nestjs/typeorm은 8.0.2 버전으로 지정해서 설치했다.

데이터베이스 | 인덱스란?

이라후 — Thu, 10 Nov 2022 15:02:39 +0900

데이터베이스에 대한 대다수 요청은 전체 데이터 중 극히 일부분만을 필요로 한다. 그런데 레코드를 검색하기 위한 보조 기술이 따로 없다면 DBMS는 요청에 만족하는 데이터를 검색하기 위해 존재하는 레코드를 처음부터 끝까지 순차적으로 검사하게 되는 비효율적인 결과를 낳는다.

인덱싱 기법

DBMS에서 신속한 데이터 검색을 지원하기 위한 보조 기술

탐색키를 이용해서 해당 데이터가 저장된 블럭을 빠르게 파악해서 검색 결과를 생성해 준다.

탐색키: 파일에서 레코드를 찾는데 사용되는 컬럼(들).

인덱스 기반 검색

사용자가 어떤 레코드를 검색하면 DBMS는 찾을레코드 블럭을 바로 메모리에 올리는 것이 아니라 인덱스 블럭을 올린다.

어차피 올리는거 그냥 올리면 되는거 아닌가? 괜히 한단계 더 추가된거 아닌가?

-> 인덱스블럭은 실제 레코드 블럭보다 사이즈가 작기 때문에 한번에 많은 양을 메모리에 올릴 수 있다.

인덱스가 없으면 데이터 일부를 메모리에 올리고->아니네? 다음블럭-> 아니네?다음블럭 이렇게 하나하나 탐색하게 되는데

인덱스만 있는 블럭으로 한번에 많은 범위를 탐색할 수 있고 이를 통해 찾을 레코드의 위치를 빠르게 알아낼 수 있고 위치를 알기 때문에 해당 위치에 바로 접근해 데이터를 찾을 수 있기 때문에 훨씬 성능이 좋아진다.

데이터베이스 | 트랜잭션 동시성 제어 - 락 기반 규약

이라후 — Thu, 3 Nov 2022 13:17:24 +0900

여러 트랜잭션이 동시에 같은 데이터에 대한 읽기나 갱신 작업을 할때 데이터의 무결성이 훼손될 수 있다.

ex)

계좌 B 잔액: 0원

트랜잭션 1: A -> B 1000원 입금

트랜잭션 2: ATM에서 B에 1000원 입금

작업완료 후 계좌 B의 잔액은 2000원이 되어야 한다.

그런데 두 트랜잭션이 동시에 실행될 경우

t1	t2
READ(A) A := A - 1000 WRITE(A) READ(B) B := B +1000 WRITE(B)	READ(B) B := B +1000 WRITE(B)

두 트랜잭션 모두 B의 잔액이 0원일 때 읽은 후 1000원을 더해서 데이터를 갱신하고 있다.

그래서 B의 잔액이 2000원이 아니라 1000원이 되는 상황이 발생한다.

동시성 제어

트랜잭션 사이 연산 순서를 제어해서 데이터의 무결성을 유지하면서도 동시 실행하는 트랜잭션의 수를 최대한으로 증가시키기 위한 기법

락 기반 규약은 동시성 제어 기법 중 하나이다.

락 기반 규약

데이터에 연산 적용 전 트랜잭션이 락을 획득하고 연산 종료 후 락을 다시 반납하도록 하는 규약

락의 종류

공유 락(shared lock: S)

읽기 작업만 할 때 사용. 공유 락끼리는 양립 가능.

나 지금 이 데이터 읽을거니까 아무도 갱신하지마 그대신 다른애들이 와서 읽기만 하는건 상관없음.

배타 락(exclusive lock: X)

읽고 쓰기 작업을 할 때 사용. 다른 락과 양립 불가능.

지금 이 데이터 읽고 갱신도 할거니까 작업 끝날때까지 아무도 읽지도 마

분산락

서버가 여러 대인 상황에서 동일한 데이터에 대한 동기화를 보장하기 위해 사용하는것.

서버가 여러대인 경우 여러 서버로 API가 분산 호출 된다.
서버들간에 동기화된 처리가 필요하고, 여러 서버에 공통된 락을 적용해야 하기 위해 사용한다.
분산 락은 db 등 공통된 데이터 저장소를 이용해 자원이 사용중인지 확인하기 때문에 전체 서버에 동기화된 처리가 가능 하다.

교착상태

t1: B -> A 로 1000원 입금

t2: A + B 계좌의 합을 보여줌

트랜잭션들이 작업완료후 락을 반납하는 경우 두 트랜잭션이 동시에 수행되면

t1	t2
LX(B) - B에대한 배타락 획득 READ(B) B := B - 1000 WRITE(B) LX(A) - A에대한 배타락 요청...획득안됨. t1이 A에 공유락을 걸어서.. ... ~~READ(A)~~ ~~A := A +1000~~ ~~WRITE(A)~~	LS(A) - A에대한 공유락 획득 READ(A) LS(B) - B에대한 공유락 요청...획득안됨. t1이 B에 배타락을 걸어서 ... ~~READ(B)~~ ~~DISPLAY(A+B)~~ ~~UN(A)~~ ~~UN(B)~~

이렇게 서로 맞물려서 영원히 멈춰있게된다.

이런 상태를 교착상태라고 한다.

교착상태는 한 트랜잭션을 롤백해서 해결할 수 있다. 트랜잭션이 롤백되면 해당 트랜잭션이 갖고있던 락은 모두 반납된다.

참고

https://soyeon207.github.io/db/2021/08/29/distributed-lock.html

git & github | 레포지토리 복제하기(clone --mirror 에러)

이라후 — Mon, 24 Oct 2022 19:51:20 +0900

팀과제 리팩토링을 위해 개인레포로 복제했다.

$ git clone --mirror {old_repository_url}
$ cd {프로젝트명}.git
$ git remote set-url --push origin {new_repository_url}
$ git push --mirror

그런데 마지막 명령에서 아래처럼 에러가 났다

 ! [remote rejected] refs/pull/1/head -> refs/pull/1/head (deny updating a hidden ref)
 ! [remote rejected] refs/pull/10/head -> refs/pull/10/head (deny updating a hidden ref)
 ! [remote rejected] refs/pull/11/head -> refs/pull/11/head (deny updating a hidden ref)
...

검색을 해보니 깃허브는 pull요청을 특별한 git ref로 관리하는데 그래서 미러링을 하면 원래 레포의 모든 브랜치와 기록들이 복제되면서 깃허브에서 pull한 기록까지 가져와버린다고 한다. 그래서 레포지토리 용량이 두 배로 커질 수 있고 어떤 pull request들은 오래된 브랜치에서 pull했기 때문에 그대로 가져오면 충돌이 일어날 수도 있다. 그래서 그런 상황을 막기 위해 에러를 발생시키는것같다.

에러 없이 레포지토리 복제하기

bare 옵션으로 원래 레포를 clone하고 mirror 옵션으로 새로운 레포에 push하면 된다.

$ git clone --bare https://github.com/exampleuser/old-repository.git
$ cd old-repository
$ git push --mirror https://github.com/exampleuser/new-repository.git

참고

https://christoph.ruegg.name/blog/git-howto-mirror-a-github-repository-without-pull-refs.html

https://stackoverflow.com/questions/34265266/remote-rejected-errors-after-mirroring-a-git-repository

https://projooni.tistory.com/entry/%EA%B8%B0%EC%A1%B4-Git-Repository%EB%A5%BC-%EB%B3%B5%EC%82%AC%ED%95%98%EC%97%AC-%EC%83%88%EB%A1%9C%EC%9A%B4-Repository-%EB%A7%8C%EB%93%A4%EA%B8%B0

프리온보딩 | 2차과제 - 3: auth미들웨어, Swagger

이라후 — Mon, 10 Oct 2022 16:55:14 +0900

✨ 로그인 적용

로그인기능이 머지되기 전이라서 임의로 is_admin과 province_id를 코드에 적어놓고 테스트를 했었는데

미들웨어가 완성돼서 적용시켰다.

// hospitalRouter.js
const { authMiddleware } = require("../middlewares/auth");
...

router.get("", authMiddleware, errorHandler(hospitalController.getHospitalDataController));
router.get("/download", authMiddleware, errorHandler(hospitalController.downloadHospitalDataController));

authMiddleware에는 요청 headers의 Authorization키로 들어온 토큰을 빼서 나온 유저의 정보를 req.user에 저장하는 코드가 있다.

그걸 라우터에서 컨트롤러 전단계에 넣어주면 마치 파이썬 로그인 데코레이터처럼 컨트롤러로 가기 전에 authMiddleware에 들러서 토큰을 분석해서 인가처리를 할 수 있게 된다.

const getHospitalDataController = async (req, res) => {
  // //====페이로드예시===========
  // const payLoad = {
  //   id: 1,
  //   is_admin: 1,
  //   province_id: null,
  // }
  // //=======================
  // const {is_admin, province_id} = payLoad;
  const {userId, isAdmin, provinceId } = req.user;

그래서 임의로 사용하던 코드(주석처리된부분)를 지우고 미들웨어를 적용해서 코드를 수정했다.

✨ Swagger 적용

이번 과제에는 API문서를 swagger를 이용해서 작성해야 한다는 조건이 있었다.

세팅

// swagger/swagger.js
const swaggerUi = require("swagger-ui-express");
const swaggereJsdoc = require("swagger-jsdoc");

const options = {
  swaggerDefinition: {
    openapi: "3.0.n",
    info: {
      version: "1.0.0",
      title: "Haii",
      description: "Admin용 데이터 관리 프로그램 만들기",
    },
    servers: [
      {
        url: "http://localhost:8000",
      },
    ],
    components: {
      securitySchemes: {
        Authorization: {
          type: "http",
          scheme: "bearer",
          bearerFormat: "JWT",
          value: "bearer <JWT token here>",
        },
      },
    },
  },
  apis: ["./swagger/*/*.js"], // swagger폴더안에 기능에 따라 폴더를 나눠놓고 그 안에 작성할 모든 파일들을 api문서로 이용
};

const specs = swaggereJsdoc(options);

module.exports = {
  swaggerUi,
  specs,
};

// app.js
const createApp = () => {
  ...
  const { swaggerUi, specs } = require("./swagger/swagger");
  app.use("/api-docs", swaggerUi.serve, swaggerUi.setup(specs));
  return app;
};

세팅을 한 후엔..노가다

요청 url, 바디에 들어갈 데이터 등 요청방식과 응답방식을 모두 직접 적어줘야 한다.

// swagger/hospital/hospitalList.js

/**
* @swagger
*
* /hospital:
*  get:
*    //요청에대한정보
*
*    responses:
*    //응답정보
*      400:
*        //400응답의 정보
*      200:
*        //200응답의 정보
*                 
 */

이런 형식으로 적어주면 된다.

요청 파라미터 정의

스웨거 공식문서

헤더의 토큰

원래 다른 코드를 찾아보다가

...
* /hospital:
*  get:
*    security:
*      - Authorization: []
...

위와 같은 코드를 발견하고 이게 headers의 Authorization키에 담긴 토큰 확인하는 방법인줄 알고 복사해서 썼는데

이건 내가 만든 API에 요청할때 토큰이 필요하다는게 아니고

해당 API문서를 확인하려면 Authorization이 필요하다는 뜻이다.

이렇게 작성하고 명세서를 확인하면 제목에 열려있는 자물쇠 아이콘이 뜬다(인가가 필요하다곤 했는데 [ ]빈칸으로 둬서 열린 자물쇠로 나오고 누르면 열리는것같다.)

원래 목적인 header-Authorization키에 담긴 토큰을 확인하는건 아래 코드

...
* /hospital:
*  get:
*    summary: "치매센터 리스트 검색 & 조회 기능"
*    parameters:
*       - in: header           // 어디에 담겨오는지: 헤더
*         name: Authorization  // 키: Authorization
*         description: "인가에 필요한 토큰"
*         required: true       // 필수
*         schema:
*          type: string        // 데이터타입
...

쿼리파라미터

조건검색을 위한 쿼리 파라미터도 문서를 보고 아래처럼 작성했다.

...
*       - in: query
*         name: name
*         schema:
*          type: string
*         description: 치매센터명 검색(단어 부분검색)
*       - in: query
*         name: representative
*         schema:
*           type: string
*         description: 운영기관대표자명 검색(단어 부분검색)
...

나는 get메서드 요청 기능만 맡아서 요청 바디를 기술해줄 필요는 없었는데

바디에 대한 설명은 아래처럼 적어주면 된다.

...
*   /users:
 *     post:
...
 *       requestBody:
 ...

응답

http 상태코드가 같은데 다른 응답일때

...
*
*      200:
*        description: 정상 요청일 경우 치매센터 리스트 엑셀파일 다운로드
*        content:
*          application/json:
*            schema:
*              type: object
*              properties:
*                  status:
*                    type: number
*                    example: 200
*                  message:
*                    type: string
*                    example: "success"
*
*       400:
*         description: 관리자에게 담당지역이 있을때
*         content:
*           application/json:
*             schema:
*               type: object
*               properties:
*                 message:
*                   type: string
*                   example: "admin cannot have province_id"
*       400:
*         description: 관리자가 아닌데 담당지역이 없을때
*         content:
*         ...

응답도 이렇게 적어주면 되는데

위처럼 400이라는 응답이 두개면 에러가 난다.

(근데 이제보니까 403응답을 줬어야 했던것같다 권한이 없는거니까! 고치고싶은데 제출한 다음이라 못건드리겠다.....)

그래서 검색을 해서 스택오버플로우에서 방법을 찾았다.

schema에 oneOf옵션을 주는것!

*    responses:
*      400:
*        description: 관리자에게 담당지역이 있을때 / 관리자가 아닌데 담당지역이 없을때
*        content:
*          application/json:
*            schema:
*              oneOf:
*                - $ref: '#/components/schemas/adminwprovince'
*                - $ref: '#/components/schemas/noadminwoprovince'
*              examples:
*                adminwprovince:
*                  summary: 관리자에게 담당지역이 있을때
*                  value:
*                    status: 400
*                    message: "admin cannot have province_id"
*                noadminwoprovince:
*                  summary: 관리자가 아닌데 담당지역이 없을때
*                  value:
*                    status: 400
*                    message: "province_id not provided"
*
...
*
* components:
*   schemas:
*     adminwprovince:
*       type: object
*       properties:
*         status:
*           type: number
*           example: 400
*         message:
*           type: string
*           example: "admin cannot have province_id"
*     noadminwoprovince:
*       type: object
*       properties:
*         status:
*           type: number
*           example: 400
*         message:
*           type: string
*           example: "province_id not provided"
*                 
 */

이렇게 만들고 명세서를 열면

이렇게 예시 하나만 나오고 옆에 "Schema" 를 누르면

이렇게 모든 예시를 확인할 수 있다.

나머지 참고했던 링크

https://github.com/belgif/rest-guide/issues/79

https://swagger.io/docs/specification/data-models/data-types/

프리온보딩 | 2차과제 - 2: 엑셀다운로드, 검색기능

이라후 — Sun, 9 Oct 2022 21:46:38 +0900

엑셀다운로드기능

각 지역별 담당자는 해당 지역에 대한 데이터만을 조회하여 엑셀 파일로 다운로드받을 수 있어야 하며...

라고 나와있는데 조회-다운로드가 한기능인가 싶었는데 조회만 하고, 다운로드 하고싶을때 다운로드 하는게 맞는것같아서 따로 나눠서 만들었다.

조회 url은 '/hospital'이고 다운로드는 '/hospital/download'로 만들었다.

조회한 데이터랑 같은 데이터를 엑셀로 받는거기 때문에 컨트롤러만 나눠서 조회할때랑 같은 서비스로 보냈다.

// controllers/hospitalController.js
// 조회기능
const getHospitalDataController = async (req, res) => {
  ...

  const hospitalData = await hospitalService.getHospitalDataService(is_admin, province_id, reqQuery);
  res.status(200).json({data: hospitalData});
};
// 다운로드기능
const downloadHospitalDataController = async (req, res) => {
  ...

  const hospitalData = await hospitalService.getHospitalDataService(is_admin, province_id, reqQuery);
  await xlsxWriter.writeExcelFile(hospitalData);
  res.status(200).json({message: "success"});
};

그리고 조회는 받은 데이터를 응답으로 리턴해주고

다운로드는 받은 데이터를 가지고 엑셀파일을 만들고 응답으로는 성공메세지를 보냈다.

엑셀파일로 내보내는건 따로 utils 폴더를 만들어서 그 안에 작성을 했다.

exceljs라는 라이브러리를 사용해서 간단하게 만들 수 있었다.

const Excel = require('exceljs');

const writeExcelFile = async (data) => {
    const workbook = new Excel.Workbook();   //워크북생성
    const worksheet = workbook.addWorksheet("sheet1");  //시트생성. 괄호안은 시트명

    if (data.length) {   // 조건에 맞는 데이터가 존재할 때만 아래가 실행된다. 없는데 파일을 다운로드하면 빈 엑셀파일 생성
        const columns = Object.keys(data[0]);  // 데이터가 리스트에 객체 여러개가 담겨오기 때문에 맨처음 객체의 키만 가지고 컬럼을 만든다

        worksheet.columns = columns.map((column) => ({
        header: column, // 컬럼 이름(치매센터명, 치매센터유형,.....)
        key: column, // data에서 컬럼의 값을 구분하기 위한 key
        }));

        // 두 번째 줄부터 데이터 행들을 한꺼번에 입력
        worksheet.insertRows(2, data);
    }
    const filename = `치매센터${new Date().getTime()}.xlsx`;  // 파일명 중복 방지를 위해 현재시간을 파일명에 넣음
    await workbook.xlsx.writeFile(filename);   // 위에서 지정한 파일명으로 파일생성
};

module.exports = { writeExcelFile };

hospital/download로 요청을 보내면 프로젝트 폴더에 파일이 생성된다.

admin 유저가 대표자명 '필'로 검색했을 때 데이터

추가구현-검색기능

- ‘치매센터명', ‘운영기관대표자명', ‘운영기관전화번호': 단어 부분 검색 가능

(hospitals.name, hospitals.representative, hospitals.operator_contact)

where 항목 like "%검색어%"

- ‘치매센터유형': 모든 단어 일치

(types.name)

where 항목 = "검색어"

- ‘의사인원수’, ‘간호사인원수', ‘사회복지사인원수': 일정 숫자 이상 검색 가능

(hospitals.doctor, hospitals.nurse, hospitals.social_worker)

where 항목 >= 입력숫자

검색은 쿼리스트링으로

/hospital?name="어쩌고" 이렇게 받을거다

위처럼 온 요청에서 "어쩌고"는 req.query.name에 담겨있다.

// 컨트롤러
const reqQuery = req.query;

// Dao
const getHospitalData = async (provinceId, reqQuery) => {  
  const {name, representative, operatorcontact, type, doctor, nurse, socialworker} = reqQuery;
  
  ...
  
  if (name) {
    query += ` AND h.name LIKE "%${name}%"`;
  }
  if (representative) {
    query += ` AND h.representative LIKE "%${representative}%"`;
  }
  if (operatorcontact) {
    query += ` AND h.operator_contact LIKE "%${operatorcontact}%"`;
  }
  if (type) {
    query += ` AND t.name = "${type}"`;
  }
  if (doctor) {
    query += ` AND h.doctor >= ${doctor}`;
  }
  if (nurse) {
    query += ` AND h.nurse >= ${nurse}`;
  }
  if (socialworker) {
    query += ` AND h.social_worker >= ${socialworker}`;
  }

  query += ";"
  
  return await myDataSource.query(query);
};

그래서 req.query를 reqQuery에 담아서 Dao까지 보내서 하나하나씩 있으면 조건에 추가했다.

키가 아예 들어오지 않으면 undefined로 falsey하고 키만 넣고 아무것도 넣지 않으면 빈 문자열로 falsey하기 때문에 키값만 가지고 조건에 넣을 수 있다.

그런데 기능은 구현했지만 이게 최선일까.................ㅠ너무...길고요....dao에는 sql만 들어가고 로직처리는 service에서 한다고 들었는데 dao에 조건문이 이렇게 많이 들어가도 되는것인가? 근데 고친다면 어떻게 고쳐야하는거지!

근데 아직 로그인기능도 적용안했고 리드미도 작성해야하니깐 이건 일단 추가구현을 한것에 만족하고 패스

참고

https://www.npmjs.com/package/exceljs

https://tesseractjh.tistory.com/236

프리온보딩 | 2차과제 - 1: db모델링, 데이터조회기능

이라후 — Sun, 9 Oct 2022 00:28:21 +0900

치매센터 관리자, 지역별 담당자용 어플리케이션 만들기!

db모델링

데이터베이스 모델링은 이런식으로 했다.

province_id가 null이면 대표관리자인걸 알수 있지만 is_admin 컬럼을 하나 더 추가했다. -> province_id가 없는걸로만 admin을 판단하면 담당자가 아직 지역 배정이 안됐을경우 admin권한을 가져버리는걸 막기위해!
hospitals에는 전국치매센터표준데이터 이 데이터들이 들어가는데 주소데이터를 파싱해서 시/도(특별시 광역시나 도)별로 분류할 수 있도록 province_id를 넣어서 지역 테이블과 연결시켰다.
그리고 types에는 센터의 종류(데이터에서 '치매센터유형'에 해당하는것)를 넣었다.

내 기능

데이터를 조회해서 엑셀파일로 다운받을 수 있는 기능을 만들어야함
지역관리자는 소속지역의 데이터만 조회할 수 있고, 대표관리자는 모든 데이터 조회 가능이다.

데이터조회

처음에 토큰에 넘어오는 id값으로 admin인지, 어디지역 관리자인지 알아내는 코드와 sql문을 작성하려고 했는데,

토큰에 is_admin과 province_id를 넣으면 id만 받아서 관리자인지, 어느지역 담당자인지 확인할 필요도 없고 토큰발급때만 user테이블에 조회가 들어가니까 데이터베이스 접근 횟수도 줄일 수 있어서 토큰에 id, is_admin, province_id를 담기로 했다.

엑셀 컬럼명이 원래 데이터 필드명이랑 같아야 한다는 조건이 있어서 영어로 넣어놓은 컬럼명을 다시 한국말로 볼수있게 바꿨다..

그리고 admin은 모든 데이터 조회가 가능하고 나머지는 본인 지역만 조회가 가능해서 admin일때, 아닐때를 나눠서 where절만 추가하는것으로 바꿨다.

// models/hospitalDao.js
const getHospitalData = async (provinceId) => {  
  let query = `SELECT
    h.name AS 치매센터명,
    t.name AS 치매센터유형,
    h.street_address AS 소재지도로명주소,
    h.address AS 소재지지번주소,
    h.latitude AS 위도,
    h.longitude AS 경도,
    h.establishment AS 설립연월,
    h.area AS 건축물면적,
    h.facility AS 부대시설정보,
    h.doctor AS 의사인원수,
    h.nurse AS 간호사인원수,
    h.social_worker AS 사회복지사인원수,
    h.extra_people AS 기타인원현황,
    h.operator AS 운영기관명,
    h.representative AS 운영기관대표자명,
    h.operator_contact AS 운영기관전화번호,
    h.trust AS 운영위탁일자,
    h.data AS 주요치매관리프로그램소개,
    h.management_contact AS 관리기관전화번호,
    h.management AS 관리기관명,
    h.standard_date AS 데이터기준일자,
    p.name AS 제공기관명
  FROM hospitals AS h
  JOIN types AS t ON t.id=h.type_id
  JOIN provinces AS p ON p.id=h.province_id`;

  if (provinceId) {
    query += ` WHERE province_id = ${provinceId}`;
  }
  query += ";"
  
  return await myDataSource.query(query);
};

예외처리

is_admin=0이고 province_id=null일경우는 빈 배열로 결과가 나와서 따로 예외처리를 할까말까 하다가

클라이언트입장에서 아무것도 없는데 200이 뜨면 뭐가 잘못됐는지 모르기때문에 예외처리를 해줬다.

그리고 admin인데 관리지역이 있을때도 예외처리를 해줬다.

// services/hospitalService.js
const getHospitalDataService = async (isAdmin, provinceId) => {
  if (isAdmin && provinceId) {
    throw new ErrorCreator("admin cannot have province_id", 400);
  }
  if (!isAdmin && !provinceId) {
    throw new ErrorCreator("province_id not provided", 400);
  }
  return await hospitalDao.getHospitalData(provinceId);
};

프리온보딩 | 1차과제 - 3

이라후 — Thu, 6 Oct 2022 23:48:24 +0900

회의

유닛테스트는 각자 맡은 기능별로 할수있는 사람만 하기로

api명세서는 포스트맨 사용

기능구현

특정유저 정보수정

이것도 비활성유저 정보 수정하려는경우, 없는유저 정보 수정하려는 경우로 예외처리를 나눠야겠다

이번엔 처음부터 라우터, 레이어드 패턴 적용해서 짜봤다

// routers/user_router.js

const errorHandler = require("../middlewares/error_handler");
const userController = require("../controllers/user_controller");

router.patch("/:userId", errorHandler(userController.editUserProfile));



// controllers/user_controller.js

const userService = require("../services/user_service");

const editUserProfile = async (req, res) => {
    const { userId } = req.params;
    const { name, birthday, height, mobileNumber } = req.body;
    await userService.editUserProfile(userId, name, birthday, height, mobileNumber);
    res.status(200).json({ message: "USER_EDITED" })
};

module.exports = {
	...
    editUserProfile
};



// services/user_services.js

const userDao = require("../models/user_dao")

const editUserProfile = async (userId, name, birthday, height, mobileNumber) => {
    return await userDao.editUserProfile(userId, name, birthday, height, mobileNumber);
};

module.exports = {
    ...
    editUserProfile
};



// models/user_dao.js

const editUserProfile = async (userId, name, birthday, height, mobileNumber) => {
  return await pool.query(
    `
    UPDATE users 
    SET 
      name = ?,
      birthday = ?,
      height = ?,
      mobile_number = ?
    WHERE id = ?
    ;`, [name, birthday, height, mobileNumber, userId]
  );
};

module.exports = {
  ...
  editUserProfile
};

* 회원수정페이지에 들어가면 원래 정보가 있고, 수정버튼을 누르면 수정된 정보 안된정보 그대로 요청과 함께 보내는걸로 가정하고 모든 컬럼을 요청에 담겨온 값으로 변경하는 코드로 작성했다~~(시간이없어)~~

유효성검사와 키에러 처리는 회원가입 구현할때 사용한 코드를 재활용 했다. -> 다른팀원 코드라서 에러처리부분이 다르게 돼있어서 에러코드가 전달이 안돼서 500에러로 처리됐다. -> 에러핸들러의 코드저장 키 변경(status -> statusCode)

const errorHandler = () => {
  const err = new Error("INVALID_DATA_INPUT");
  err.statusCode = 500;   // 다른분의 errorHandler. statusCode에 에러코드 저장
  throw err;
};

//=====================================================================================

// 이건 내 코드에 적용되는 errorHandler
// 원래 status로 돼있는데 위에서 err.statusCode로 돼있어서 err.status에는 아무것도 안들어간다. -> statusCode로 변경
  
module.exports = class ErrorCreator extends Error {
    constructor(message, statusCode) {
        super(message);
        this.name = this.constructor.name;

        Error.captureStackTrace(this, this.constructor);

        this.statusCode = statusCode || 500;
    }
};

function errorHandler(asyncController) {
    return async (req, res) => {
        try {
            await asyncController(req, res)
        } catch (err) {
            res.status(err.statusCode ? err.statusCode : 500).json({ message : err.message });
        } 
    }
}

module.exports = errorHandler;

유효성검사에 키-숫자값 체크하는게 없어서 문자를 넣으면 500에러가 났다. -> 키 유효성검사 추가

// services/user_service.js

const checkVaildate = async (name, birthday, height, mobile_number) => {
    ...

    const validateHeight = /[0-9]/;
        if(!validateHeight.test(height)){
            const err = new Error('INVALID_HEIGHT')
            err.statusCode = 400
            throw err
    }
	...

존재하지 않는 유저정보 변경하려할때도 다른코드 재활용하고

+ 비활성화된 유저정보 수정하려하면 에러처리

존재하는 유저인지 체크 -> 활성화상태인 유저인지 체크 -> 키에러 체크 -> 유효성검사 ->수정

const editUserProfile = async (userId, name, birthday, height, mobileNumber) => {
    const isExist = await userDao.isExistUser(userId);
    if(!isExist.length){
        throw new ErrorCreator("USER_NOT_EXISTS", 404);
    }
    const isActive = await userDao.checkActiveUser(userId);
    if (!isActive) {
        throw new ErrorCreator("INVALID_USER", 404);
    }

    if (!name || !birthday || !height || !mobileNumber ) {
        throw new ErrorCreator("KEY_ERROR", 400);
    }

    await checkVaildate(name, birthday, height, mobileNumber);

    return await userDao.editUserProfile(userId, name, birthday, height, mobileNumber);
};

* 폰번호 유효성검사가 /^01([0|1|6|7|8|9])-?([0-9]{3,4})-?([0-9]{4})$/ 이렇게돼있는데 중간에 작대기가 없어도 유효성검사에 안걸린다! 일단패쓰...

* 내가 작성한거 말고는 예외처리 상태코드가 거의 409 conflict로 돼있는데 처음보는코드다 뭔지 찾아봐야지 -> HTTP 409 Conflict응답 상태 코드는 요청이 대상 리소스의 현재 상태와 충돌함을 나타냅니다. -> 옛날버전의 파일을 업데이트하려고 할때 발생한다고 예시로 있는데 엄...

프리온보딩 | 1차과제 - 2

이라후 — Thu, 6 Oct 2022 03:00:17 +0900

회의

깃허브

pr템플릿 추가 -> 팀으로 프로젝트 하는 부분에 있어서 그래도 서로 리뷰를 하고 머지를 해야될것같아서 추가했다.

키(height) 데이터타입 float으로 수정 -> decimal, double, float중에서 정확하지 않아도 상관없는 데이터니까 빠르고 적은 메모리를 차지하는 타입으로 선택

record_data에 타임스탬프 안찍기로 결정 -> 계속 고민했는데 각 기록은 어차피 한나의 기록에 종속된거라서 타임스탬프 추가 안하기로

schema.sql .gitignore에 추가 -> schema.sql에 어디까지 마이그레이션 진행했는지 기록돼있어서 다른사람이 같은 마이그레이션 파일을 가지고 마이그레이트 하면 제대로 작동안하니까

typeorm 안쓰는걸로 변경 -> 조건에 orm사용하지 말라는게 있었는데 typeorm을 원래도 db랑 연결 목적으로만 사용하고 쿼리를 직접 쓰고있어서 그냥 사용하는걸로 했다가, 사용하지 않는걸로 변경

// models/common.js
const mysql = require("mysql2/promise");

const pool = mysql.createPool({
  host: process.env.MYSQL_HOST,
  port: process.env.MYSQL_PORT,
  user: process.env.MYSQL_USERNAME,
  password: process.env.MYSQL_PASSWORD,
  database: process.env.MYSQL_DATABASE,
  connectionLimit: 10,
});

module.exports = pool;

// server.js
const pool = require("./models/common");
...

app.get("/test", async (req, res) => {
    const [result] = await pool.query(`select * from users;`);
    res.json({message: result});
});

기능

특정 측정기록+데이터 가져오기

측정기록을 아이디로 조회하면 데이터도 가져오는데 유저삭제를 하면 비활성화되고 데이터는 살아있다.

이 살아있는 데이터를 조회하려고 했을때 그냥 조회가 되게 할것인지, 삭제한 유저의 정보니까 보여주지 않을것인지 회의를 했고

비활성화된 유저의 기록을 조회하려고 하면 보여주지 않는것으로 결정했다.

기능구현

특정 측정기록+데이터 가져오기

records의 id를 가지고 기록을 조회했을때 네 테이블을 전부 조인해서

유저정보, 기록일시, 당시몸무게, 각 타입별 타입명과 데이터를 모두 보여줘야 한다.

하나의 기록에 타입별로 여러 데이터가 들어있을 수 있어서 응답 데이터 형태는

{
    유저정보: ...,
    기록일시: ...,
    기록데이터: [
        {
            측정타입:어쩌고,
            수치: 몇몇,
            ...
        },
        {
            ...
        },
        ...
    ]
}

이런식으로 나오게 하고싶었다. -> JSON_ARRAYAGG(JSON_OBJECT())사용

const [[result]] = await pool.query(`
        SELECT
            users.id as userId,
            users.name as userName,
            users.birthday as userBirthday,
            users.height as userHeight,
            users.mobile_number as userMobileNumber,
            records.id as recordId,
            records.weight as userWeightOnRecord,
            records.created_at as recordDateTime,
            JSON_ARRAYAGG(
                JSON_OBJECT(
                    'recordDataId', record_data.id,
                    'recordTypeId', record_data.record_type_id,
                    'recordType', record_types.type,
                    'recordDataOnType', record_data.data
                )
            ) as recordData
        FROM record_data
        JOIN record_types ON record_types.id = record_data.record_type_id
        JOIN records ON records.id = record_data.record_id
        JOIN users ON users.id = records.user_id
        WHERE records.id = ?
        GROUP BY records.id
    ;`, [recordId]);
    res.status(200).json({result: result});
});

내가 원하는 결과가 배열로 두번 감싸져서 나와서 두번 벗겼다[[result]]

예외처리

1. 삭제(비활성화된) 유저의 기록이면 데이터를 보내주지 않는다. -> 해당 기록의 주인의 is_active값 확인

const [[isActive]] = await pool.query(`
        SELECT users.is_active 
        FROM users
        JOIN records ON users.id = records.user_id
        WHERE records.id=?;`, [recordId]);

이렇게 하면 isActive에는 {is_active: 1 또는 0}이 들어있다.

    if(!isActive.is_active){
        return res.status(400).json({message: "INVALID_RECORD"})
    }

그래서 isActive.is_active로 조건을 줬다.

2. 없는데이터 요청했을경우

기록의 id값으로 요청이 오는데 기록 자체가 없을 경우

    const [[isExists]] = await pool.query(`
    SELECT EXISTS (SELECT 1 FROM records WHERE id = "${recordId}");`);

    if (!Object.values(isExists)[0]) {
        return res.status(404).json({message: "RECORD_DOES_NOT_EXIST"})
    }

isExists의 값은 { 'EXISTS (SELECT id FROM records WHERE id = "4")': 1 } 이렇게 들어가있다.

그래서 1을 뽑으려고 Object.values(isExists)[0] 를 사용했다ㅠ

~~다른사람 코드를 보니까 이렇게까지 안했던데 어떻게한거지.......~~

자원이 존재하지 않는다는 의미인 404를 에러코드로 넣었다.

아직 레이어드 나눠진채로 짜는게 익숙하지 않아서 일단 이렇게 server.js에 전부 하나로 만들었다.

레이어드패턴

이제 나누기

// server.js
const recordController = require("./controllers/record_controller")

app.get("/records/:recordId", recordController.getRecordWithData);



// controllers/record_controller.js
const recordService = require("../services/record_service")

const getRecordWithData = async (req, res) => {
    const {recordId} = req.params;
    const result = await recordService.getRecordWithData(recordId);
    res.status(200).json({result: result});
};

module.exports = {getRecordWithData}



// services/record_services.js
const recordDao = require("../models/record_dao")

const getRecordWithData = async (recordId) => {
    console.log("service1");
    return await recordDao.getRecordWithData(recordId);
};

module.exports = {getRecordWithData}



// models/record_dao.js
const pool = require("./common");

const getRecordWithData = async(recordId) => {
    console.log("model1");
    const [[result]] = await pool.query(`
        SELECT
            users.id as userId,
            users.name as userName,
            users.birthday as userBirthday,
            users.height as userHeight,
            users.mobile_number as userMobileNumber,
            records.id as recordId,
            records.weight as userWeightOnRecord,
            records.created_at as recordDateTime,
            JSON_ARRAYAGG(
                JSON_OBJECT(
                    'recordDataId', record_data.id,
                    'recordTypeId', record_data.record_type_id,
                    'recordType', record_types.type,
                    'recordDataOnType', record_data.data
                )
            ) as recordData
        FROM record_data
        JOIN record_types ON record_types.id = record_data.record_type_id
        JOIN records ON records.id = record_data.record_id
        JOIN users ON users.id = records.user_id
        WHERE records.id = ?
        GROUP BY records.id
    ;`, [recordId]);
    console.log("model2");
    return result
};

module.exports = {getRecordWithData}

정상요청일때만 옮겨놨다

이제 에러처리하고 라우터 적용하면 된다...

라우터

// server.js
// 위에 코드블럭에 있던 두줄 없어짐


// routes/index.js
const express = require("express");
const router = express.Router();

const recordRouter = require("./record_router");

router.use("/records", recordRouter)

module.exports = router;


// routes/record_router.js
const express = require("express");
const recordController = require("../controllers/record_controller")

const recordRouter = express.Router();

recordRouter.get("/:recordId", recordController.getRecordWithData)


module.exports = recordRouter;

다시 에러처리(예외처리)

에러 열심히 던져보다가 트라이캐치...매번써야돼..?싶어서 위코드 레포 구경하다가 편리한 도구를 복붙해왔다 복붙도 실력이야~

error_creator.js는 메세지랑 상태코드 던져주면 에러 만들어주는거,

error_handler.js는 에러 잡으면 상태코드랑 메세지 리턴해주는거

// routes/record_router.js
const errorHandler = require("../middlewares/error_handler");
const recordRouter = express.Router();

recordRouter.get("/:recordId", errorHandler(recordController.getRecordWithData));

그래서 이렇게 라우터에 던질때부터 errorHandler에 감싸서 던지면 안에서 에러를 throw만 해도 메세지랑 코드가 리턴된다.

예외처리한거 어디다가 끼워넣어야할지 기웃대면서 생각하다가

원래 목적대로 sql은 dao에, sql결과가지고 에러내는건 로직처리하는 service에 넣는게 맞는거같아서 각 예외처리의 sql과 if문을 갈랐다

// models/record_dao.js

// 없는기록 불렀을때
const checkExistRecord = async (recordId) => {
    const [[isExists]] = await pool.query(`
    SELECT EXISTS (SELECT 1 FROM records WHERE id = "${recordId}");`);
    return Object.values(isExists)[0]
}

// 비활성화유저의 기록 불렀을때
const checkActiveRecord = async (recordId) => {
    const [[isActive]] = await pool.query(`
        SELECT users.is_active 
        FROM users
        JOIN records ON users.id = records.user_id
        WHERE records.id=?;`, [recordId]);
    return isActive.is_active
};

record_dao.js에 이렇게 예외처리에 필요한 sql문 추가하고 조건으로 판단할 데이터 리턴해주고

// services/record_service.js

const getRecordWithData = async (recordId) => {
    // 존재안할때
    const isExists = await recordDao.checkExistRecord(recordId);
    if (!isExists) {
        throw new ErrorCreator("RECORD_NOT_EXISTS", 404)
    }

    // 비활성화유저꺼일때
    const isActive = await recordDao.checkActiveRecord(recordId);
    if (!isActive) {
        throw new ErrorCreator("INVALID_RECORD", 404)
    }

    return await recordDao.getRecordWithData(recordId);
};

이렇게 추가해서 완성...자야지

프리온보딩 | 1차과제 - 1

이라후 — Wed, 5 Oct 2022 02:17:01 +0900

회원, 회원 건강기록 관리 앱 만들기

데이터모델링

유저 삭제는 진짜 데이터를 지우지 않고 비활성화 상태로 두는거라서 is_active컬럼을 추가해서 삭제시 비활성화상태로 바뀌도록 했다.
회원 측정 데이터는 같이 삭제되면 안되는데, 유저 삭제가 진짜 삭제가 아니기 때문에 외래키제약은 그냥 on delete cascade로 줬다. 당장은 그냥 비활성화 상태지만 나중에 보관기간이 지나고 회원정보를 진짜로 삭제한다면 기록도 같이 삭제되어야 할것같기 때문..
mysql은 boolean타입이 없다고 한다. 우리가 boolean으로 지정해서 true false란 값을 넣을순 있는데 내부적으로 tinyint로 바꿔서 true면 1 false면 0을 저장한다고함. 어쩐지 프로젝트때 boolean타입넣어서 true false로 저장한게 1, 0으로 들어가더라~암튼 그래서 협업할때는 아예 tinyint로 지정하는것이 좋다. boolean이라고 해놓고 0, 1로 들어가있으면 헷갈릴수 잇으니까!
records에 항목별 record_data가 따라오는거라서 각 측정항목에 대한 측정시간기록은 하지 않고 전체 측정시간만 기록하도록 했다.
내가 맡은 기능이 데이터 수정/조회라서 테스트 데이터 넣다보니 height데이터타입을 int로 한걸 발견했다. 몸무게처럼 실수형으로 바꿔야함.

레이어드패턴

초기세팅부터 controllers/services/models 나뉘어있어서 레이어드패턴을 먼저 공부했다.

레이어드패턴: 파일을 구조화해서 파일마다 역할을 명확하게 해서 각 레이어의 코드가 서로 독립적이고 서로에게 미치는 영향 최소화해서 가독성 높이고 재사용성을 높이는게 목적

path parameter

내가 맡은 기능은 특정회원 정보수정, 특정 측정기록+측정데이터 불러오기 두가지인데

여러 유저중 특정유저, 측정기록중 특정 기록에 대한 요청이라서 둘다 path parameter를 이용해서

users/유저아이디, records/측정기록 아이디 url로 요청을 받는걸로하면 될거같은데

익스프레스에서 path parameter 받는법은

'/:id' 이렇게 하고 id값은 req.params.id로 빼내면 된다.

// server.js
app.get("/records/:recordId", (req, res) => {
    console.log(req.params.recordId);
    res.json({message:"테스트"});
});

mysql에러해결

  어쩌고저쩌고
  code: 'ER_NOT_SUPPORTED_AUTH_MODE',
  errno: 1251,
  sqlMessage: 'Client does not support authentication protocol requested by server; consider upgrading MySQL client',
  sqlState: '08004',
  fatal: true

이런 에러가 나서 검색해봤는데 클라이언트에서 mysql 패스워드 플러그인 "caching_sha2_password"을 못알아먹으니까

ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'password';

이렇게 해서 플러그인을 "mysql_native_password"로 바꾸라는 내용

그런데 그전에는 잘 됐는데 왜바꿔야돼?해서 더 검색해봤는데

mysql2가 이럴때 쓰는거라고 나왔다.

그래서 더 검색하는데 mysql대신 강제로 mysql2로 mysql클라이언트 설정하는법 이런게 나왔다 -> 이거 해결할려면 mysql이 아니라 mysql2를 써야한다는거? -> package.json을 확인하니까 mysql, mysql2가 둘다 있었다.

그래서 mysql을 삭제하니까 바로 해결됐다.(이제보니까 에러메세지도 클라이언트를 업그레이드 하라고 나와있다. mysql->mysql2로 바꾸라는거였나보다)

자야지....

node.js | 인스타그램: 비밀번호 암호화(bcrypt)

이라후 — Tue, 4 Oct 2022 01:30:46 +0900

데이터베이스에 비밀번호를 암호화해서 저장하기 위해 bcrypt라이브러리를 사용한다.

비밀번호를 유추할 수 없게 하기 위해 솔팅, 키스트레칭을 해서 해시를 하는데 bcrypt를 사용하면 해시된 비밀번호에 솔트값도 같이 저장이 되기 때문에 비밀번호를 비교하기 쉽다.

설치

npm install bcrypt

사용

const bcrypt = require('bcrypt');
const saltRounds = 10;
const myPlaintextPassword = 's0/\/\P4$$w0rD'; // 얘를 암호화할거
const someOtherPlaintextPassword = 'not_bacon';

비밀번호 암호화하기

// 1. 솔트값을 만들고 해당 솔트값으로 해싱
bcrypt.genSalt(saltRounds, function(err, salt) {
    bcrypt.hash(myPlaintextPassword, salt, function(err, hash) {
        // Store hash in your password DB.
    });
});

// 2. 위 작업을 한번에 하는거(둘다 같은 결과가 나온다)
bcrypt.hash(myPlaintextPassword, saltRounds, function(err, hash) {
    // Store hash in your password DB.
});

(db에 저장된)암호화된 비밀번호와 입력 비밀번호 비교

// Load hash from your password DB.
bcrypt.compare(myPlaintextPassword, hash, function(err, result) {
    // result == true
});
bcrypt.compare(someOtherPlaintextPassword, hash, function(err, result) {
    // result == false
});

회원가입에 적용

app.post('/users', async (req, res) => {
    const {email, nickname, password, profileImage} = req.body;
    const hashedPassword = await bcrypt.hash(password, 10);
    await myDataSource.query(
        `INSERT INTO users (email, nickname, password, profile_image)
        VALUES (?, ?, ?, ?)`
        , [email, nickname, hashedPassword, profileImage]);
    
    res.status(201).json({"message" : "userCreated"});
});

확인

bcrypt.compare("encrypted", "$2b$10$AumIqWJxz6Lu194MKWmLeeeBPqUT61ggANG6uobtT8tvS/Jomd4be", (err, result)=>{console.log(result);});
// true

원래 비밀번호랑 비교해보면 같다고 잘 나온다.

참고

https://www.npmjs.com/package/bcrypt

node.js | 인스타그램: 게시글 CRUD

이라후 — Tue, 4 Oct 2022 00:25:01 +0900

Create

1. 알맞은 API 호출 URL을 설정하여서 클라이언트와(httpie/postman) 통신을 성공해주세요. -> '/postings': 포스팅 관련임을 알아볼수 있다
2. 알맞은 http 메소드를 선정하여서 게시글 내용 및 유저의 id 값을 백엔드 서버에 전달해주세요. -> post: body에 데이터를 담아 보낼때, 뭔가 생성할때
3. 데이터가 생성됬을 때에 알맞는 http 상태코드를 반환해주세요. -> 201: 무언가가 잘 생성됐을때 상태코드
5. http response로 반환하는 JSON 데이터의 형태는 다음과 같습니다.

{
  "message" : "postCreated"
}

req.body에는 어느 유저가 쓰는 글인지를 알기 위해 user의 id가 필수로 들어가고 내용은 없어도됨.

유저-포스팅은 1대다 관계이기 때문에 user_id만 넣으면 관계설정이 된다.

// app.js
app.post('/postings', async (req, res) => {
    const {userId, contents} = req.body;
    await myDataSource.query(
        `INSERT INTO postings (user_id, contents)
        VALUES (?, ?)`
        , [userId, contents]);
    res.status(201).json({"message" : "postCreated"});
});

아직 로그인기능 없이 유저아이디를 body에 받기 때문에 회원가입과 똑같이 작성해주면 된다.

Read

- 게시글 리스트 불러오기 API
    1. 알맞은 API 호출 URL을 설정하여서 클라이언트와(httpie/postman) 통신을 성공해주세요. -> '/postings' : posting관련이기때문에
    2. 데이터가 호출될 때의 알맞는 http 상태코드를 반환해주세요. -> 200: 요청에대한 처리가 성공했을 때 코드. 데이터를 읽기만 하니까
    3. http response로 반환하는 데이터의 형태는 다음과 같습니다.

{
    "data" : [
	{
            "userId"           : 1,
            "userProfileImage" : "userProfileImage1",
            "postingId"        : 1,
            "postingContent"   : "sampleContent1"
	},
	{
            "userId"           : 2,
            "userProfileImage" : "userProfileImage2",
            "postingId"        : 2,
            "postingContent"   : "sampleContent2"
	},
	...
]}

postings 테이블에서 가지고 있지 않은 usreProfileImage가 필요하다. 이 속성은 users테이블에 있는데 userId를 이용해서 가져와야 한다. -> join이용

그리고 각 컬럼의 이름도 카멜케이스로 변경해야한다. -> as 이용

"data" : [{},{},{},...] 의 형태로 반환해야 한다.

app.get('/postings', async (req, res) => {
    await myDataSource.query(`
        SELECT 
            users.id AS userId, 
            users.profile_image AS userProfileImage,
            postings.id AS postingId, 
            postings.contents AS postingContent 
        FROM postings JOIN users ON postings.user_id=users.id;
        `, (err, rows) => {
            res.status(200).json({data: rows});
        });
});

Read2

- 특정 유저가 작성한 게시글 상세 API
    1. 알맞은 API 호출 URL을 설정하여서 클라이언트와(httpie/postman) 통신을 성공해주세요. -> 포스팅을 보는거니까 일단 /postings로 들어가야 할것 같고, user의 id를 쿼리파라미터로 받으면 될 것 같다. -> 아직 모르니까 /postings/user/1로 고정으로 1번유저 포스팅들만 가져오는걸로 하기
    2. 하나의 유저가 올린 여러개의 게시글을 보여주는 상세 페이지용 API를 작성해주세요.
    3. 데이터가 호출될 때에 알맞는 http 상태코드를 반환해주세요. -> 200
    4. Http response로 반환하는 데이터의 형태는 다음과 같습니다.

{
    "data" : {
        "userId"           : 1,
        "userProfileImage" : "userProfileImage1",
        "postings"         : [{
            "postingId"        : 1,
            "postingContent"   : "samplePostingContent1"
        },{
            "postingId"        : 2,
            "postingContent"   : "samplePostingContent2"
        },{
            "postingId"        : 3,
            "postingContent"   : "samplePostingContent3"
        }]
    }
}

data 안에 유저id와 프로필이미지하고 postings를 주는데, postings에 해당 유저의 포스팅 객체들이 배열로 들어있다.

-> 어떻게하지.........

JSON_ARRAYAGG, JSON_OBJECT

https://dev.mysql.com/doc/refman/5.7/en/aggregate-functions.html#function_json-arrayagg

mysql> SELECT o_id, attribute, value FROM t3;
+------+-----------+-------+
| o_id | attribute | value |
+------+-----------+-------+
|    2 | color     | red   |
|    2 | fabric    | silk  |
|    3 | color     | green |
|    3 | shape     | square|
+------+-----------+-------+
4 rows in set (0.00 sec)

mysql> SELECT o_id, JSON_ARRAYAGG(attribute) AS attributes
    -> FROM t3 GROUP BY o_id;
+------+---------------------+
| o_id | attributes          |
+------+---------------------+
|    2 | ["color", "fabric"] |
|    3 | ["color", "shape"]  |
+------+---------------------+
2 rows in set (0.00 sec)

JSON_ARRAYAGG를 이용하면 제이슨요소가 담긴 1차원배열로 결과가 나온다.

그리고 그 안에 JSON_OBJECT(키, 밸류)를 이용하면 json_arrayagg에 담긴 요소를 객체로 만들 수 있다.

SELECT
      users.id as userId,
      users.profile_image as userProfileImage,
      JSON_ARRAYAGG(
        JSON_OBJECT(
          'postingId', postings.id,
          'postingContents', postings.contents
        )
      ) as postings
    FROM postings
    JOIN users ON users.id = postings.user_id
    WHERE users.id = 1
    GROUP BY users.id
  ;

이걸 코드에 적용하면

app.get('/postings/user/1', async (req, res) => {
    const data = await myDataSource.query(`
        SELECT
            users.id as userId,
            users.profile_image as userProfileImage,
            JSON_ARRAYAGG(
                JSON_OBJECT(
                    'postingId', postings.id,
                    'postingContents', postings.contents
                )
            ) as postings
        FROM postings
        JOIN users ON users.id = postings.user_id
        WHERE users.id = 1
        GROUP BY users.id
        ;`);
    res.status(200).json({data: data});
});

Update

- 게시글 정보 수정 엔드포인트 요구 사항
    1. 알맞은 API 호출 URL을 설정하여서 클라이언트와(httpie/postman) 통신을 성공해주세요. -> 포스팅중에 1번을 수정하는거니까 'postings/1'로 한다.
    2. 데이터베이스에 저장되어있는 1번 id 유저의 1번 id 게시글을 확인합니다. 이후 해당 내역의 content를 기존의 데이터와 다른 내용으로 수정하여 저장합니다.
    3. postingId가 1번인 게시물의 내용을 “기존과 다르게 수정한 내용입니다.”로 수정한다면, 데이터베이스에서 끌어와 http response로 반환하는 데이터의 형태는 다음과 같습니다.

{
    "data" : {
        "userId"           : 1,
        "userName"         : "weCode",
        "postingId"        : 1,
        "postingContent"   : "기존과 다르게 수정한 내용입니다."
    }
}

app.patch('/posting/1', async (req, res) => {
    const {contents} = req.body;
    await myDataSource.query(
        `UPDATE postings
        SET contents = ?
        WHERE id = 1;`, [contents]);

    const data = await myDataSource.query(
        `SELECT 
            postings.user_id AS userId,
            users.nickname AS userName,
            postings.id AS postingId,
            postings.contents AS postingContent
        FROM postings
        JOIN users ON users.id = postings.user_id
        WHERE postings.id = 1;
        `);
    res.status(200).json({data: data});
});

왜 배열로 감싸져서 나올까? select면 여러줄일수 있는데 내가 그냥 조건을 하나만 나올 조건으로 정해논거라서?

-> const [data] = await myDataSource.query(...)하면 알맹이만 data에 들어간다.

Delete

- 게시글 삭제 API
    1. 알맞은 API 호출 URL을 설정하여서 클라이언트와(httpie/postman) 통신을 성공해주세요. -> postings/6으로 해서 6번 게시글 삭제
    2. 데이터가 삭제 될 때에 알맞는 http 상태코드를 반환해주세요. -> 204: 주로 delete메소드 요청이 성공했을때
    3. http response로 반환하는 JSON 데이터의 형태는 다음과 같습니다.

{
	"message" : "postingDeleted"
}

app.delete('/postings/6', async (req, res) => {
    await myDataSource.query(
        `DELETE FROM postings
        WHERE id = 6;`);
    res.status(204).json({message: "postingDeleted"});
});

메세지 보냈는데 왜 안나오지? 204라서?

삭제는 잘 됐다.

node.js | 인스타그램: 서버-db연결, 회원가입

이라후 — Mon, 3 Oct 2022 19:52:34 +0900

비밀번호 암호화가 없는 회원가입

프로젝트 생성

mkdir westagram-node
cd westagram-node
npm init -y

초기설정

Express 설치 / 적용
nodemon 설치 / 적용
cors 설치 / 적용
dotenv 설치 / 환경 변수 적용
morgan 설치 / 적용

npm install express
...

morgan은 http요청과 에러를 기록해주는 미들웨어라고 한다. 아직 사용법을 모르겠으니 일단 설치만 했다.

모든 cors 요청 허용하는법

const express = require('express');
const cors = require('cors');

const app = express();
app.use(cors());

typeorm-db연결

npm install mysql2
npm install typeorm

// .env
TYPEORM_CONNECTION = mysql
TYPEORM_HOST = 127.0.0.1
TYPEORM_PORT = 3306
TYPEORM_USERNAME = root
TYPEORM_PASSWORD = 비밀번호
TYPEORM_DATABASE = db이름
TYPEORM_LOGGING = TRUE

// app.js
require('dotenv').config();
const http = require('http');
const express = require('express');
const cors = require('cors');
const { DataSource } = require('typeorm');

const myDataSource = new DataSource({
    type: process.env.TYPEORM_CONNECTION,
    host: process.env.TYPEORM_HOST,
    port: process.env.TYPEORM_PORT,
    username: process.env.TYPEORM_USERNAME,
    password: process.env.TYPEORM_PASSWORD,
    database: process.env.TYPEORM_DATABASE
});

myDataSource.initialize().then(() => {
    console.log("Data Source has been initialized")
    }).catch(() => {
    console.log("Database initiate fail")
    })

const app = express();
app.use(express.json());
app.use(cors()); // 모든 cors요청 허용

const server = http.createServer(app);
server.listen(8000, () => {console.log("서버켜짐");});

회원가입

1. 알맞은 API 호출 URL을 설정하여서 클라이언트와(httpie/postman) 통신을 성공해주세요.

- /users : 유저관련된 api이기때문에
2. 알맞은 http 메소드를 선정하여서 유저의 정보를 백엔드 서버에 전달해주세요.

- post : body에 담긴 내용으로 데이터를 생성/수정할때 사용
3. 데이터가 생성됐을 때에 알맞는 http 상태코드를 반환해주세요.

- 201 : post요청에 따라 백엔드 서버에 데이터가 잘 생성/수정되었을때 코드
5. http response로 반환하는 JSON 데이터의 형태는 다음과 같습니다.

        {
          "message" : "userCreated"
        }

회원 테이블 구조

mysql> desc users;
+---------------+---------------+------+-----+-------------------+-------------------+
| Field         | Type          | Null | Key | Default           | Extra             |
+---------------+---------------+------+-----+-------------------+-------------------+
| id            | int           | NO   | PRI | NULL              | auto_increment    |
| email         | varchar(100)  | NO   | UNI | NULL              |                   |
| nickname      | varchar(50)   | YES  |     | NULL              |                   |
| password      | varchar(300)  | NO   |     | NULL              |                   |
| profile_image | varchar(3000) | YES  |     | NULL              |                   |
| created_at    | datetime      | NO   |     | CURRENT_TIMESTAMP | DEFAULT_GENERATED |
+---------------+---------------+------+-----+-------------------+-------------------+

id, created_at은 db에서 자동으로 값을 할당한다.

// app.js
app.post('/users', async (req, res) => {
    const {email, nickname, password, profileImage} = req.body;
    // 쿼리를 날리는건 비동기식으로 처리되는데 쿼리를 실행한 후 응답을 해줘야 하니까 async await를 썼다.
    await myDataSource.query(
        `INSERT INTO users (email, nickname, password, profile_image)
        VALUES (?, ?, ?, ?)`
        , [email, nickname, password, profileImage]);
    
    res.status(201).json({"message" : "userCreated"});
});

필수값인 email, password만 넣어서 회원가입을 했다.

데이터가 잘 들어온 것을 확인할 수 있다.

파이썬 | functools.wraps

이라후 — Mon, 3 Oct 2022 18:34:52 +0900

1차프로젝트때 로그인 데코레이터에 붙어있던 @wraps

# core/utils.py
def accessCkeck(func):
    def wrapper(self, request, *args, **kwargs):
        ...
        return func(self, request, *args, **kwargs)
    return wrapper

# carts/views.py
...
class CartView(View):
    @accessCkeck
    def post(self, request):
    """carts에 post요청이 오면 카트생성""" # docstring추가
        ...

나도 2차때 써봤는데 정확히 무슨 역할을 하는건지 알아보지 않고

참고링크 글에서 다른 개발자와 협업할때 데코레이터를 만들거라면 사용하는게 좋다!는 말만 보고 사용했었다.

그래서 이번기회에 다시 알아봤다..

@wraps가 없을때

CartView의 post함수를 가지고 쉘에서 실험을 해봤는데

accessCkeck함수의 wrapper에서 @wraps데코레이터를 떼고 CartView.post함수를 찍어보면

>>> from carts.views import CartView
>>> CartView.post
<function accessCkeck.<locals>.wrapper at 0x10515a320>
>>> CartView.post.__doc__ # .__doc__은 함수의 docstring을 보여준다.

이렇게 CartView.post가 아닌 accessCkeck.<locals>.wrapper함수라고 나온다.

그리고 post함수의 docstring도 읽지 못한다. (당연한건가 CartView.post에 달려있는걸 읽어야하는데 CartView.post자체를 못읽으니까?)

@wraps가 있을때

다시 accessCkeck의 @wraps를 살리고 post함수와 독스트링을 찍어보면

>>> from carts.views import CartView
>>> CartView.post
<function CartView.post at 0x10729e3b0>
>>> CartView.post.__doc__
'carts에 post요청이 오면 카트생성'

이렇게 CartView.post로 잘 나오는 것을 볼 수 있다.

결론

아직 완전히 이해한 것은 아니지만!

데코레이터를 사용하면 데코레이터가 붙어있는 함수는 내부적으로 데코레이터의 wrapper로 인식되고 원래 어떤 함수인지는 알아볼수 없게 되는것 같다. 그래서 해당 함수에 달린 docstring을 읽을 수도 없게 되는것 같다.

*docstring: class, module, function, method의 첫 줄에 위치한, 개발된 기능을 사용하거나 개발에 기여하는 다른 개발자들의 이해를 돕기 위해 작성되는 주석

하지만 functools.wraps()를 데코레이터에 사용하면 이런 문제점들이 없어진다. 그래서 협업할 때 사용하는것이 좋은것 같은데, 사실 프로젝트때도 굳이 없어도 되는 기능이었고 그래서 지금도 완벽히 이해가 안가지만 언젠가 이해할수 있길.............

참고

https://velog.io/@doondoony/python-functools-wraps

node.js | express, TypeORM 적용한 CRUD API만들기 - 2 API작성

이라후 — Sun, 2 Oct 2022 20:50:11 +0900

db연결, 서버만들기 초기설정

// app.js
require('dotenv').config();   // db와 연결해서 typeorm사용하기위해 환경변수를 불러온다
const http = require('http');
const express = require('express');
const { DataSource } = require('typeorm');

const myDataSource = new DataSource({      // DataSource객체를 이용해서 typeorm과 db연결준비
    type: process.env.TYPEORM_CONNECTION,
    host: process.env.TYPEORM_HOST,
    port: process.env.TYPEORM_PORT,
    username: process.env.TYPEORM_USERNAME,
    password: process.env.TYPEORM_PASSWORD,
    database: process.env.TYPEORM_DATABASE
});

myDataSource.initialize().then(() => {    // db연결. 연결후 확인 위해 console.log
    console.log("Data Source has been initialized")
    }).catch(() => {
    console.log("Database initiate fail")
    })

const app = express();   // express를 실행해서 app에 담는다
app.use(express.json()); // 미들웨어 설정

const port = 8000;

const server = http.createServer(app); // app으로 서버를 만든다
server.listen(port, () => {console.log("서버켜짐");}); //서버를 켜고 확인 위해 console.log

1. 책정보 생성

'/books'로 post요청이 오면 body에 담긴 데이터로 책 정보를 생성한다(books테이블에 저장)

// app.js
app.post('/books', async (req, res) => {
    const {title, description, coverImage} = req.body;

    await myDataSource.query(
        `INSERT INTO books(
            title, description, cover_image
            ) VALUES (?, ?, ?);
        `, [title, description, coverImage]
    );
    res.status(201).json({message: "successfully created"});
});

쿼리를 날리는 비동기이다. 그래서 기다렸다가 다되면 응답해줄수있게 async await사용

* 요청을 cover_image로 보내고 받을때 coverImage로 받아서 데이터가 안들어감!..coverImage에 undefined가 할당됐다

2. 책+작가정보 조회

'/books'에 get요청이 오면 책과 작가의 정보를 보내준다.

책-작가는 중간 테이블(books_authors)이 있는 다대다 관계이다.

확인용으로 데이터를 이렇게 넣어놓은 상황

중간테이블을 이용해서 books와 authors를 조인해서 데이터를 가져오면 된다.

mysql> select
    -> books.id, books.title, books.description, books.cover_image, authors.first_name, authors.last_name, authors.age
    -> from books_authors ba
    -> inner join authors on ba.author_id=authors.id
    -> inner join books on ba.book_id=books.id;

위 sql문을 이용해서 get요청이 왔을때 테이블의 각 로우를 객체 형태로 보내주면 된다.

app.get('/books', async(req, res) => {
    await myDataSource.query(
        `SELECT books.id,
        books.title,
        books.description,
        books.cover_image,
        authors.first_name,
        authors.last_name,
        authors.age
        FROM books_authors ba
        INNER JOIN authors ON ba.author_id = authors.id
        INNER JOIN books ON ba.book_id = books.id
        `, (err, rows) => {
            res.status(200).json(rows); //rows에는 각 로우들이 객체 형태로 들어있다. err을 프린트해보면 에러가 출력된다. 에러가 없으면 null
        }
    );
});

3. 책 정보 수정

'/books' 경로로 수정할 책 데이터를 바디에 담아 put 요청을 보내면 책 정보가 수정되도록 하기

'UPDATE 테이블 SET 수정사항 WHERE 조건' 이용

app.put('/books', async (req, res) => {
    const {title, description, coverImage, bookId} = req.body;

    await myDataSource.query(
        `UPDATE books
        SET
        title = ?,
        description = ?,
        cover_image = ?
        WHERE id = ?`,
        [title, description, coverImage, bookId]
    );
    res.status(201).json({message: "successfully updated"});
});

url주소를 바꾸는 작업을 한 결과.

title은 not null조건이 있기 때문에 값을 넣지 않거나 null을 넣으면 에러가 난다.

그리고 put은 일부가 아닌 전체 수정을 의미하는 http 메소드이기 때문에 모든 컬럼값을 가지고 요청을 보내도록 한다.

node.js | express, TypeORM 적용한 CRUD API만들기 - 1 db(dbmate)

이라후 — Sun, 2 Oct 2022 14:02:03 +0900

지금까지 배운걸 종합해서 간단한 CRUD구현해보기

데이터베이스 테이블 생성

데이터베이스 생성

mysql> create database typeorm_prac character set utf8mb4 collate utf8mb4_general_ci;

dbmate

db 변경 이력을 남겨서 관리하기 위한 파일을 migration파일이라고 하는데 이 migration파일들을 관리하는 프로그램중 하나이다.

설치

npm install dbmate

npm으로 프로젝트 내부에 설치된 프로그램 실행하는법

npm으로 dbmate를 설치하면 그냥 터미널에서는 dbmate명령어를 사용할 수 없다.

이때 npx 명령어를 사용하면 된다(poetry run과 같은 동작을 하는 명령어) 프로젝트 내부에서 프로그램을 돌린다.

npm 5.2.0부터 자동설치..낮은버전이라면 수동으로 npx를 설치해서 사용 가능

db연결

.env파일 안에 본인db에 맞춰 아래처럼 적어서 db와 연결한다

DATABASE_URL="mysql://username:password@127.0.0.1:3306/database_name"

migration파일 생성

$ npx dbmate new create_books_table
$ npx dbmate new create_authors_table
$ npx dbmate new create_books_authors_table

이렇게 프로젝트 안에 db폴더가 만들어지고 그 안에 migrations폴더 안에 파일들이 생긴다.

-- migrate:up


-- migrate:down

migration 파일은 이렇게 생겼는데

migrate:up 아래는 적용할 sql문을 적어주고

migrate:down아래는 위에 적용한 sql문을 되돌리는 sql문을 적어주면 된다.

(테이블 생성을 했다면 테이블 삭제하는 sql문, 테이블 이름을 변경했다면 다시 이전 이름으로 변경하는sql문)

# create_books_table.sql
-- migrate:up
CREATE TABLE books (
    id INT NOT NULL AUTO_INCREMENT PRIMARY KEY,
    title VARCHAR(100) NOT NULL,
    description VARCHAR(2000) NULL,
    cover_image VARCHAR(1000) NULL,
    created_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
    updated_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
);

-- migrate:down
DROP TABLE books;

# create_authors_table.sql
-- migrate:up
CREATE TABLE authors (
    id INT NOT NULL AUTO_INCREMENT PRIMARY KEY,
    first_name VARCHAR(100) NOT NULL,
    last_name VARCHAR(100) NOT NULL,
    age INT NULL,
    created_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
    updated_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
);

-- migrate:down
DROP TABLE authors;

# create_books_authors_table.sql
-- migrate:up
CREATE TABLE books_authors (
    id INT NOT NULL AUTO_INCREMENT PRIMARY KEY,
    book_id INT NOT NULL,
    author_id INT NOT NULL,
    CONSTRAINT books_authors_book_id_fkey FOREIGN KEY (book_id) REFERENCES books (id) ON DELETE CASCADE,
    CONSTRAINT books_authors_author_id_fkey FOREIGN KEY (author_id) REFERENCES authors (id) ON DELETE CASCADE
);

-- migrate:down
DROP TABLE books_authors;

migrate

마이그레이션 파일을 db에 실제로 적용하는 작업

$ npx dbmate up

schema.sql은 migration을 통해 데이터베이스에 생긴 변화를 모두 기록하는 파일.

구방문방구 | 리팩토링: 상품리스트 모듈화

이라후 — Sat, 1 Oct 2022 22:11:34 +0900

프로젝트 코드를 쳐다보고있는데 메인페이지와 카테고리별 상품 페이지의 리스트 만드는 코드가 완전히 똑같은걸 발견했다.

당연함. 메인페이지의 상품 리스트는 전체상품에서 필터링(신상품, 친환경, 베스트)된 리스트를 보여주는 것이기 때문...

✏️ 메인페이지 뷰(수정전)

메인페이지 신상품 리스트

class MainPageView(View):
    def get(self, request):
        def get_list(products):
            product_list =  [{
                'id'      : product.id,
                'name'    : product.name,
                'price'   : product.price,
                'is_green': product.is_green,
                'is_best' : product.is_best,
                'images'  : [{
                    'id' : image.id,
                    'url': image.url
                    } for image in product.productimage_set.all()]
            } for product in products]
            
            return product_list

        new_products   = Product.objects.all().prefetch_related('productimage_set').order_by('-created_at')[:8]
        best_products  = Product.objects.filter(is_best = True).prefetch_related('productimage_set').order_by('-created_at')[:8] 
        green_products = Product.objects.filter(is_green = True).prefetch_related('productimage_set').order_by('-created_at')[:8]

        return JsonResponse({
            'new_products'  : get_list(new_products),
            'best_products' : get_list(best_products),
            'green_products': get_list(green_products)}, status=200)

메인페이지에서는 같은 리스트 세 개를 만들어야 해서 get_list라는 함수를 만들어서 활용했었다.

✏️ 카테고리별 페이지 뷰(수정전)

전체 카테고리 상품 리스트

class ProductListView(View):
    def get(self, request, category_id):
        try:
            ...
            products_data = [{
                    'id'      : product.id,
                    'name'    : product.name,
                    'price'   : product.price,
                    'is_green': product.is_green,
                    'is_best' : product.is_best,
                    'images'  : [{
                        'id' : image.id,
                        'url': image.url
                        } for image in product.productimage_set.all()]
                } for product in products]

            return JsonResponse({
                'category_data': category_data,
                'products_data': products_data}, status=200)
            ...

상품 리스트 페이지에서도 완전히 같은 로직으로 변수명까지 같았는데 왜 몰랐을까~

그래서 MainPageView의 get_list함수를 core/utils에 옮겨서 ProductListView에서도 사용할 수 있도록 만들었다.

수정후

# core/utils.py
...
def get_product_list(products):
    product_list =  [{
        'id'      : product.id,
        'name'    : product.name,
        'price'   : product.price,
        'is_green': product.is_green,
        'is_best' : product.is_best,
        'images'  : [{
            'id' : image.id,
            'url': image.url
            } for image in product.productimage_set.all()]
    } for product in products]
    
    return product_list

# products/views.py
...
from core.utils import get_product_list

class MainPageView(View):
    def get(self, request):
        new_products   = Product.objects.all().prefetch_related('productimage_set').order_by('-created_at')[:8]
        best_products  = Product.objects.filter(is_best = True).prefetch_related('productimage_set').order_by('-created_at')[:8] 
        green_products = Product.objects.filter(is_green = True).prefetch_related('productimage_set').order_by('-created_at')[:8]

        return JsonResponse({
            'new_products'  : get_product_list(new_products),
            'best_products' : get_product_list(best_products),
            'green_products': get_product_list(green_products)}, status=200)

class ProductListView(View):
    def get(self, request, category_id):
        try:
            ...
            products = products.prefetch_related('productimage_set').order_by(sort_by[request.GET.get('sorting', None)])[ offset : offset + limit ]

            products_data = get_product_list(products)

            return JsonResponse({
                'category_data': category_data,
                'products_data': products_data}, status=200)
        ...

테스트

메인

전체

2번 카테고리

node.js | TypeORM 적용하기

이라후 — Sat, 1 Oct 2022 16:14:14 +0900

TypeORM의 풀링(데이터베이스 연결기능)과 raw query이용하기, 데이터베이스는 mysql사용

TypeORM설치

npm install mysql2  # typeorm-mysql 연동을 도와주는 드라이버
npm install typeorm

typeorm을 먼저 설치하면 ER_NOT_SUPPORTED_AUTH_MODE에러가 날 수 있다.

mysql2먼저 설치하기!

dotenv 설정

데이터베이스 관련 환경변수를 관리하기 위해 dotenv를 사용한다.

dotenv 설치

npm install dotenv #dotenv 설치

프로젝트 루트경로에 .env파일 생성후 환경변수 저장

// .env파일
TYPEORM_CONNECTION = mysql
TYPEORM_HOST = 127.0.0.1
TYPEORM_USERNAME = root
TYPEORM_PASSWORD = 비밀번호
TYPEORM_DATABASE = typeorm_prac
TYPEORM_PORT = 3306
TYPEORM_LOGGING = TRUE

환경변수는 string으로 들어가는데 =뒤에는 전부 ""를 붙이거나 전부 안붙여야 한다.

typeorm_prac데이터베이스는 미리 만들어놓기

mysql> create database typeorm_prac character set utf8mb4 collate utf8mb4_general_ci;

환경변수 불러오기

.env에 저장해놓은 프로젝트 환경변수를 사용하기 위해 불러온다.

// app.js
const dotenv = require('dotenv');
dotenv.config(); // 아니면 한줄로 require('dotenv').config();

console.log(process.env); 로 잘 불러오는지 확인해볼 수 있다. 내 컴퓨터 내 환경변수와 방금 추가한 프로젝트 내부 환경변수를 전부 불러온다. 제대로 되지 않았다면 전역변수만 불러옴

(process객체는 node.js의 기본 글로벌 객체이다. require없이 모든 모듈에 접근이 가능하다.그중 환경변수가 담겨있는 .env객체에 접근해서 환경변수를 가져왔다.)

TypeORM-DataSource로 db와 앱 연결

환경변수 이용해서 typeorm-db연결

typeorm의 DataSource를 이용한다.

// db연결 환경세팅
const { DataSource } = require('typeorm');
const myDataSource = new DataSource({
    type: process.env.TYPEORM_CONNECTION,
    host: process.env.TYPEORM_HOST,
    port: process.env.TYPEORM_PORT,
    username: process.env.TYPEORM_USERNAME,
    password: process.env.TYPEORM_PASSWORD,
    database: process.env.TYPEORM_DATABASE
});
// 실제 연결은 initialize메소드 사용
myDataSource.initialize();

typeorm의 DataSource는 애플리케이션 코드랑 데이터베이스를 연결시켜주는 역할을 한다.

DataSource를 이용해서 내가 사용할 db(아까 만든거)랑 연결이 되는 myDataSource라는 인스턴스를 만들고,

인스턴스의 Initialize메소드를 이용하면 실제로 연결이 된다.

* 잘 연결되었는지 확인하는법

myDataSource.initialize().then(()=>{
    console.log("success")
}).catch(()=>{
    console.log("fail")
});

잘 연결이 되면 success, 아니면 fail이 출력된다.

쿼리 날려보기

데이터베이스와 연결된 myDataSource의 query메소드를 이용한다.

myDataSource.query('SQL쿼리문');

db조회

현재 typeorm_prac에 아무 것도 없어서

저번에 만든 justgram데이터베이스에 연결을 하고 users테이블에 있는 데이터들을 가져와보기

.env파일에서 연결 데이터베이스 이름을 바꿔주고

// app.js
myDataSource.initialize().then(()=>{
    console.log("success")
    const queryRes = myDataSource.query('select * from users'); //쿼리의 결과 (queryRes)는 비동기로 오기때문에
    queryRes.then((value) => {   // 여기서 .then()이용
        console.log(value); //출력해서 확인해보기
    });
}).catch(()=>{
    console.log("fail");
});

데이터입력

데이터 입력은 보통 요청으로 오는 값을 가지고 입력하게 되는데 변수를 넣어주려면

.query()의 괄호 안에 백틱``으로 쿼리문을 적고 입력값을 ?로 한다. 그리고 뒤에다가 ,를 하고 배열로 값을 적어주면 된다.

myDataSource(`SQL문, 변수는 ?로 적는다`, [변수1, 변수2,...]);

myDataSource.initialize().then(()=>{
    console.log("success");
    const nickname = "테스트";
    const email = "test@test.com";
    const password = "testpassword";

    myDataSource.query(`
    insert into users (email, nickname, password)
    values (?, ?, ?)`,
    [nickname, email, password])
    });

npm install 패키지명 "--save"를 꼭 해야할까

이라후 — Fri, 30 Sep 2022 00:13:32 +0900

강의 영상을 보는데 어디서는 npm install만 하고 어디서는 --save를 해야된다고 해서 찾아봤다.

패키지 이름 뒤에 --save를 붙였던 이유:

npm install 패키지이름 --save

npm 5.0.0버전 이전에는 --save를 붙여야 package.json파일 dependencies에 설치한 패키지가 추가됐다.

// package.json
{
    ...
    "dependencies": {
    "express": "^4.18.1"
  }
}

하지만 npm 5.0.0 버전 이후로는 npm install과 npm install --save가 차이 없다고 한다.

--save를 붙이지 않아도 기본적으로 package.json 파일 dependencies에 추가된다.

npm 버전 확인하기

npm -V

>>>npm@8.5.5 /usr/local/lib/node_modules/npm

내 npm 버전은 8.5.5라서 npm install만 해도 package.json에 패키지가 추가될것같다.

npm install express

package.json파일을 열어보면 dependencies에 express가 잘 추가돼 있다.

결론

최신 버전의 npm(5.0.0 이상)에서는 npm install 까지만 해도 된다!

참고

https://www.geeksforgeeks.org/what-is-the-meaning-of-save-for-npm-install/#:~:text=%E2%80%93save%20or%20%2DS%3A%20When,will%20not%20give%20desired%20results.

ORM(Object–relational mapping)

이라후 — Thu, 29 Sep 2022 00:21:53 +0900

ORM

객체지향 프로그래밍(Object Oriented Programming)과 관계형 데이터베이스(Relational Database) 사이의 호환되지 않는 데이터를 변환하는 기술

관계형 데이터베이스의 2차원 테이블을 어플리케이션 Class에, 테이블 안에 저장된 행을 애플리케이션의 인스턴스에 각각 매핑해주는 역할

->프로그래밍 언어를 사용해서 선언한 클래스와 인스턴스를 이용해서 데이터베이스 내부 자료 속성에 접근할 수 있다.

ORM 사용의 장점

부수적인 코드가 사라지면서 개발의 생산성이 향상된다.
ORM을 이용해서 문법 실수 없이 잘 짜여진 SQL 쿼리문을 사용할 수 있기 때문에 버그와 실수가 감소한다.
개발자 친화적인 간결하고 직관적인 코드작성이 가능하다 -> 가독성 향상
대부분의 ORM이 다양한 데이터베이스 시스템에 연결이 가능하기 때문에 데이터베이스 시스템이 아닌 데이터 객체에 집중해서 개발할 수 있다.

ORM 사용의 단점

미세한 수정이나 디버깅이 상대적으로 어려워진다.
ORM에서 미리 선언해놓은 패턴에 따른 SQL 쿼리 명령만 사용할 수 있기 때문에 복잡한 쿼리문을 작성해야 할때 원래 의도보다 복잡한 쿼리가 만들어질 수 있다.
DB에 직접 명령을 내리지 않고 중간단계를 한번 거치기 때문에 Raw쿼리문에 비해 실행속도가 느리다. (mysqlclient, mysql2같은 데이터베이스 드라이버를 한번 추상화하고, 이를 다시 추상화한다.)
내부에서 실제로 어떤 쿼리를 실행하는지 파악하기 어렵다.
사용하는 ORM에 따른 문법을 매번 익혀야 한다.

In-memory DB | Redis, Memcached

이라후 — Wed, 28 Sep 2022 18:38:35 +0900

In-memory DB?

데이터 저장을 위해 메인 메모리(RAM)에 주로 의존 하는 데이터베이스 관리 시스템. 디스크 기반 데이터베이스 관리 시스템과 대조된다 .

디스크 엑세스에 비해 메모리 엑세스 속도가 빠르기 때문에 응답시간이 중요한 어플리케이션에서 종종 in-memory database(IMDB)를 사용한다. 대용량 메모리를 처리할 수 있는 멀티 코어 프로세서가 등장하고 RAM의 가격이 저렴해지면서 IMDB는 특히 2000년대 중반 부터 데이터 분석 분야 에서 많은 주목을 받았다.

메인 메모리에 주로 사용되는 RAM은 일반적으로 전원이 차단되면 내용이 지워지는 휘발성 기억 장치이다. 이런 RAM의 변동성이 인메모리 데이터베이스의 단점이 될 수 있다.

Redis & Memcached

Redis와 Memcached는 많이 사용되는 오픈소스 IMDB의 종류이다.

Memcached는 단순함을 위해서 설계되었고, Redis는 다양한 범위에 효율적으로 사용할 수 있도록 많은 기능을 제공한다는 차이점이 있다.

공통점

밀리초 미만의 응답시간 지원
개발자의 사용 용이성: 구문적으로 사용하기 쉽고 어플리케이션에 통합하기 위해 최소한의 코드만 필요로 한다.
데이터 파티셔닝: 수요가 증가하더라도 scale-out을 통해 더 많은 데이터를 잘 처리할 수 있다.
광범위한 프로그래밍 언어 지원: Java, Python, PHP, C, C++, C#, JavaScript, Node.js, Ruby, Go 등을 지원한다.

차이점

✔️ Redis

고급 데이터 구조: 문자열 외에도 목록, 집합, 정렬된 집합, 해시, 비트 배열 및 하이퍼로그를 지원한다.
스냅샷: 특정 시점의 스냅샷으로 데이터를 디스크에 보관해서 기록하고 데이터 복구에 사용할 수 있다.
복제: 복제본을 여러개 생성해서 데이터베이스 읽기를 확장할 수 있다.
트랜잭션 지원
채팅방, 실시간 댓글창, 소셜미디어 피드등에 사용할 수 있는 패턴매치 sub/pub메세징을 지원한다.
루아스크립팅: 어플리케이션을 단순화하고 성능을 높일 수 있다.
지리정보 : 대규모 지리데이터를 실시간으로 처리하기 위한 명령이 있다.

✔️ Memcached

멀티스레드 구조: scale-up방식을 통해 컴퓨팅 용량을 확장해서 더 많은 작업을 처리할 수 있다.

참고

https://aws.amazon.com/ko/elasticache/redis-vs-memcached/

https://en.wikipedia.org/wiki/In-memory_database#cite_note-3

LeetCode | 009. Palindrome Number

이라후 — Wed, 28 Sep 2022 00:06:59 +0900

문제

주어진 숫자가 뒤집었을때도 같은 숫자면 True, 아니면 False반환

Input: x = 121
Output: true
Explanation: 121 reads as 121 from left to right and from right to left.

Input: x = -121
Output: false
Explanation: From left to right, it reads -121. From right to left, it becomes 121-. Therefore it is not a palindrome.

내 풀이

class Solution(object):
    def isPalindrome(self, x):
        """
        :type x: int
        :rtype: bool
        """
        return list(reversed(str(x))) == list(str(x))
# Runtime: 104 ms, faster than 43.79% of Python online submissions for Palindrome Number.
# Memory Usage: 13.3 MB, less than 85.23% of Python online submissions for Palindrome Number.
        return str(x) == str(x)[::-1]
# Runtime: 66 ms, faster than 84.25% of Python online submissions for Palindrome Number.
# Memory Usage: 13.5 MB, less than 35.99% of Python online submissions for Palindrome Number.

1번

reversed를 활용하기 위해 x를 문자열로 바꾸고 reversed함수를 활용했는데 스트링을 reversed하면 거꾸로 된 스트링이 반환되는 게 아니라 reversed object가 반환된다. 그래서 이걸 다시 리스트로 바꾸고, 비교를 위해 스트링으로 바꾼 x를 리스트로 바꿔서 비교를 했다.

2번

스트링을 인덱스 활용해서 거꾸로 돌릴 수 있어서 스트링으로 바꾼 x랑 그걸 거꾸로 돌린거랑 비교해서 바로 리턴했다.

다른풀이1

class Solution(object):
    def isPalindrome(self, x):
        if x<0:
            return False

        inputNum = x
        newNum = 0
        while x>0:
            newNum = newNum * 10 + x%10
            x = x//10
        return newNum == inputNum
# Runtime: 129 ms, faster than 20.48% of Python online submissions for Palindrome Number.
# Memory Usage: 13.2 MB, less than 85.27% of Python online submissions for Palindrome Number.

수학적으로 접근한 풀이.

x가 0보다 작으면 무조건 False니까 처음에 if문으로 걸러주고

x값을 따로 inputNum에 저장하고 나서 x를 뒤집은 수를 만드는 작업을 했다. print로 반복문을 돌때마다 찍어보면

# x = 123454321일때
newNum:1, x:12345432
newNum:12, x:1234543
newNum:123, x:123454
newNum:1234, x:12345
newNum:12345, x:1234
newNum:123454, x:123
newNum:1234543, x:12
newNum:12345432, x:1
newNum:123454321, x:0

이렇게 나온다. 그래서 newNum과 아까 저장해둔 inputNum을 비교한 값을 리턴

다른풀이1-1

        if x < 0 or (x > 0 and x%10 == 0):   # if x is negative, return False. if x is positive and last digit is 0, that also cannot form a palindrome, return False.
            return False
	
        result = 0
        while x > result:
            result = result * 10 + x % 10
            x = x // 10

        return True if (x == result or x == result // 10) else False
# Runtime: 106 ms, faster than 41.91% of Python online submissions for Palindrome Number.
# Memory Usage: 13.1 MB, less than 96.99% of Python online submissions for Palindrome Number.

위와 같은 방법인데 처음에 계산을 하지 않고 False로 바로 넘어가는 경우를 한가지 더 처리해줬고

반복문을 위 방법의 반만 돌고 답을 찾을 수 있는 방법.

반만 돈 상태에서 둘을 비교해서 같으면 완전히 거꾸로 다 돌렸을때도 같은 값이니까

ex) 123454321 -> 하나씩 빼서 거꾸로 만들다가 1234 54321 일때 비교하면 나머지 값을 거꾸로 다 돌리기 전에 판단가능

(자릿수가 홀수일 경우에 대비해서 true일 경우를 두가지로 나눴다.)

x = 123454321일때 print를 찍어보면

x: 12345432, result: 1
x: 1234543, result: 12
x: 123454, result: 123
x: 12345, result: 1234
x: 1234, result: 12345

이만큼만 찍히고 바로 ture를 리턴한다 그래서 위 방법보다는 빠르게 결과가 나온다.

node.js | 인스타그램: 데이터베이스 구축

이라후 — Tue, 27 Sep 2022 21:15:54 +0900

이제 데이터베이스랑 연결한 서버를 만들기 위해 위 구조에 맞게 MySQL 데이터베이스 구축하기

1. mysql 접속

mysql -u root -p
Enter password:

2. justgram 데이터베이스 만들고 접속

mysql> create database justgram character set utf8mb4 collate utf8mb4_general_ci;
mysql> use justgram

3. 테이블 생성하기

mysql> create table users(
    -> id int not null auto_increment primary key,
    -> email varchar(100) not null unique,
    -> nickname varchar(50),
    -> password varchar(300) not null,
    -> profile_image varchar(3000),
    -> created_at datetime default current_timestamp
    -> );

mysql> create table postings(
    -> id int auto_increment primary key,
    -> user_id int not null,
    -> contents varchar(2000),
    -> created_at datetime default current_timestamp,
    -> foreign key(user_id) references users(id) on delete cascade
    -> );
    
 mysql> create table posting_images(
    -> id int auto_increment primary key,
    -> posting_id int not null,
    -> image_url varchar(3000),
    -> created_at datetime default current_timestamp,
    -> foreign key(posting_id) references postings(id) on delete cascade
    -> );
    
 mysql> create table comments(
    -> id int auto_increment primary key,
    -> comment varchar(2000),
    -> posting_id int not null,
    -> user_id int not null,
    -> created_at datetime default current_timestamp,
    -> foreign key(posting_id) references postings(id) on delete cascade,
    -> foreign key(user_id) references users(id) on delete cascade
    -> );

not null 조건 추가

각 테이블 created_at 컬럼에 not null조건을 넣지 않아서 추가했다.

mysql> alter table 테이블명
    -> modify column created_at datetime not null default current_timestamp;

4. SQL INSERT INTO 활용해서 테이블에 데이터 추가하기

mysql> insert into users (email, nickname, password, profile_image)
    -> values ("codeKim@justcode.co.kr", "codeKim", "c0DeK!m", "http://profile_image_1.jpeg"),
    -> ("codeLee@justcode.co.kr", "codeLee", "C0dEL22", "http://profile_image_2.jpeg"),
    -> ("codePark@justcode.co.kr", "codePark", "P@rkCOdE!", "http://profile_image_3.jpeg"),
    -> ("codeChoi@justcode.co.kr", "codeChoi", "ChoiCodDE", "http://profile_image_4.jpeg");

mysql> insert into postings (user_id, contents)
    -> values (1, "작은 성공이 주는 성취감으로 하루를 마무리 할 수 있기를 ❣️"),
    -> (1, "오늘은 코딩하기 좋은날  "),
    -> (2, "db 모델링이 정말 재밌어요 ㅎㅎ"),
    -> (2, "어려워도 우린 결국 해낼겁니다.");

mysql> insert into posting_images (posting_id, image_url)
    -> values (1, "http://posting_1_image_1.jpeg"),
    -> (1, "http://posting_1_image_2.jpeg"),
    -> (2, "http://posting_2_image_1.jpeg"),
    -> (3, "http://posting_3_image_1.jpeg"),
    -> (3, "http://posting_3_image_2.jpeg"),
    -> (3, "http://posting_3_image_3.jpeg"),
    -> (4, "http://posting_4_image_1.jpeg");
    
mysql> insert into comments (posting_id, comment, user_id)
    -> values (1, "작은 성공이 모여 큰 성취가 되니까요!", 3),
    -> (4, "같이 힘냅시다", 1),
    -> (2, "햇살이 너무 좋아서 코딩하고 싶지 않아요", 2),
    -> (2, "지금 비오는걸요", 4),
    -> (3, "모델링 최고! 생각하는거 너무 재밌죠", 3),
    -> (4, "언제나 길이 있기 마련입니다.", 1),
    -> (1, "자다가 코딩하는 꿈꿀 것 같아요", 4);

5. 테이블 join해서 데이터 확인해보기

1. users - postings

mysql> SELECT users.nickname, users.profile_image, postings.contents
    -> FROM users
    -> JOIN postings ON postings.user_id = users.id
    -> ;

-> users테이블과 postings테이블을 외래키인 유저 아이디를 이용해서 inner join 한 결과에서 유저닉네임, 프로필이미지, 포스팅내용을 보는 sql문

2. users - postings - comments

mysql> SELECT users.nickname, users.profile_image, postings.contents, comments.comment
    -> FROM users
    -> JOIN postings ON postings.user_id = users.id
    -> JOIN comments ON comments.posting_id = postings.id
    -> ;

-> users - postings - comments 를 모두 join했다. 위의 결과에 posting별 comments까지 모두 조회

3. 1번 users의 이름과, 1번 users의 profile_image, 1번 user가 남긴 posting, 해당 posting에 포함된 댓글, 그리고 포함된 posting_images까지 불러오고자 한다면 어떤 SQL를 작성해야할까요?

mysql> Select users.nickname, users.profile_image, postings.contents, comments.comment, posting_images.image_url
    -> From users
    -> Join postings on postings.user_id = users.id
    -> Join comments on comments.posting_id = postings.id
    -> Join posting_images on posting_images.posting_id = postings.id
    -> Where users.id = 1
    -> ;

node.js | express로 서버 만들기 - 게시글 등록, 목록조회(DB x)

이라후 — Tue, 27 Sep 2022 00:23:39 +0900

유저 데이터

const users = [
    {
        id      : 1,
        name    : "Rebekah Johnson",
        email   : "Glover12345@gmail.com",
        password: "123qwe",
    },
    {
        id      : 2,
        name    : "Fabian Predovic",
        email   : "Connell29@gmail.com",
        password: "password",
    },
];

게시글 데이터 형태

const posts = [
    {
        id: 1,
        title: "간단한 HTTP API 개발 시작!",
        content: "Node.js에 내장되어 있는 http 모듈을 사용해서 HTTP server를 구현.",
        userId: 1,
    },
    {
        id: 2,
        title: "HTTP의 특성",
        content: "Request/Response와 Stateless!!",
        userId: 1,
    },
];

게시글 리스트 응답 형태

{
    "data" : [
    {
        "userID"           : 1,
        "userName"         : "Rebekah Johnson"
        "postingId"        : 1,
        "postingTitle"     : "간단한 HTTP API 개발 시작!",
        "postingContent"   : "Node.js에 내장되어 있는 http 모듈을 사용해서 HTTP server를 구현."
    },
    {  
        "userID"           : 2,
        "userName"         : "Fabian Predovic"
        "postingId"        : 2,
        "postingTitle"     : "HTTP의 특성",
        "postingContent"   : "Request/Response와 Stateless!!"
    }
]
}

1. 게시글 등록

게시글등록은 앞에서 만든 회원가입이랑 로직이 똑같다.

post.js를 따로 만들어서 작성했다.

post.js

const posts = [
    {
        id: 1,
        title: "간단한 HTTP API 개발 시작!",
        content: "Node.js에 내장되어 있는 http 모듈을 사용해서 HTTP server를 구현.",
        userId: 1,
    },
    {
        id: 2,
        title: "HTTP의 특성",
        content: "Request/Response와 Stateless!!",
        userId: 1,
    },
];

const createPost = (req, res) => {
    const {id, title, content, userId} = req.body.data;
    posts.push({id, title, content, userId});
    res.json({massage: 'postCreated'});
};

module.exports = {createPost};

app.js

const http = require('http');
const express = require('express');
const {createUser} = require('./user');
const {createPost} = require('./post');

const app = express();
app.use(express.json());

app.post('/signup', createUser);
app.post('/post', createPost);

const server = http.createServer(app);
server.listen(8000, () => {});

2. 게시글 목록 조회

게시글 목록은 그냥 posts배열을 리턴하면 되지만, 응답해줘야하는 데이터의 키가 다르고, 포스트 객체가 갖고 있지 않은 데이터인 유저의 이름(userName)도 넘겨줘야 한다.

post.js

const {users} = require('./user')
const posts = [
    {
        id: 1,
        title: "간단한 HTTP API 개발 시작!",
        content: "Node.js에 내장되어 있는 http 모듈을 사용해서 HTTP server를 구현.",
        userId: 1,
    },
    ...
];

const createPost = (req, res) => {
    ...
};

const getPosts = (req, res) => {
    const data = posts.map((post) => {
        const user = users.find((user) => post.userId == user.id);
        return {
            userId: post.userId,
            userName: user.name,
            postingId: post.id,
            postingTitle: post.title,
            postingContent: post.content
        }
    } );
    res.json({data: data});
}

module.exports = {createPost, getPosts};

각 포스트 객체의 키를 바꾸고, 유저이름까지 추가해서 리턴해주기 위해 map을 사용했다.

포스트 객체가 가지고 있는 userId로 유저의 이름을 알아내기 위해 users 목록을 user.js에서 가져와서 find메서드를 통해 user의 id가 post의 userId와 같은 유저 객체를 user에 담아서 userName을 뽑아냈다.

키 이름이 다 바뀌었기 때문에 나머지 데이터도 ...post를 사용하지 않고 알맞은 키를 새로 적어서 넣어줬다.

app.js

const http = require('http');
const express = require('express');
const {createUser} = require('./user');
const {createPost, getPosts} = require('./post');

const app = express();
app.use(express.json());

app.post('/signup', createUser);
app.post('/post', createPost);
app.get('/post', getPosts);

const server = http.createServer(app);
server.listen(8000, () => {});

테스트

post

get

node.js 개발툴 | nodemon으로 서버 변경사항 바로 적용하기

이라후 — Tue, 27 Sep 2022 00:19:27 +0900

node.js로 서버 개발을 하면서 코드를 계속 수정하고 테스트하면서 변경사항을 확인해봐야 하는데

node 명령어로 서버를 켜면 코드를 수정해도 변경사항이 반영되지 않는다.

파이썬 runserver는 파일을 수정하고 저장하면 자동으로 서버가 재시작되고 수정사항이 반영된다.

그래서 변경사항이 있을때마다 서버를 계속 껐다가 다시 켜야 하는데 nodemon을 사용하면 코드를 수정해서 저장할때마다 서버가 재시작 된다.

1. nodemon 설치

npm install -g nodemon

-g옵션으로 전역에 설치해서 다른 프로젝트에서도 사용 가능하도록 하기

2. nodemon 사용하기

node 대신 nodemon명령어로 서버를 실행하면 된다.

nodemon 파일명

파일이 수정될 때마다 서버가 재가동된다.

node.js | express로 서버 만들기 - 회원가입 엔드포인트 만들기(DB x)

이라후 — Mon, 26 Sep 2022 20:00:42 +0900

저번에 만든 express로 만든 서버는 '/signup'으로 post요청이 들어오면 단순히 "회원가입 완료!"문자열을 응답으로 보내주었다.

이번엔 요청으로 온 데이터(회원정보)를 처리하는 법을 익히기 위해 회원가입 로직 변경해보기

1. user.js 작성

유저 데이터를 users에 저장해주는 createUser함수를 만들어준다.

// 아직 데이터베이스는 활용하지 않고 배열 활용. 새 유저가 가입하면 이 배열에 저장시킬거.
const users = [
    {
        id: 1,
        name: "김길동",
        email: "gildong@gmail.com",
        password: "pw123"
    },
    {
        id: 2,
        name: "홍코드",
        email: "hong@gmail.com",
        password: "hong123"
    }
];

const createUser = (req, res) => {
    // 요청 body: req.body 안의 data객체를 가져오는법(data라는 이름은 프론트가 주는 이름대로).이 데이터(객체)를 user에 저장
    const user = req.body.data; 
    console.log(user); // 받은 데이터 콘솔로 찍어서 확인

    users.push({
        id : user.id,
        name : user.name,
        email : user.email,
        password : user.password
    });
    console.log(users); // 잘 들어갔는지 확인

    res.json({massage: 'USER_CREATED'});
    // express를 이용하기때문에 JSON.stringify필요없이 응답객체의 json메소드 활용
}

module.exports = {createUser};

요청의 body는 req객체 안의 body객체에 담겨있다. -> req.body로 꺼내서 쓸 수 있음(고정)

그 안의 유저 데이터를 꺼내서 쓰려면 req.body.data로 꺼낼 수 있다. 뒤의 data는 프론트엔드에서 data라는 키에 데이터를 담아서 줄 경우이다. 뒤의 이름은 바뀔 수 있음.

* 구조분해할당

// request.body
{
    "data": {
        "id": 3,
        "name": "테스트유저",
        "email": "test@test.com",
        "password": "1234"
    }
}

// request.body.data
{
    "id": 3,
    "name": "테스트유저",
    "email": "test@test.com",
    "password": "1234"
}

request.body.data는 위의 형태가 되는데

request.body.data의 키를 이용해서 아래처럼 구조분해할당을 한 후 user.id, user.name,...대신 id, name을 쓸 수 있다.

const createUser = (req, res) => {
    // const user = req.body.data; 이걸 아래처럼 구조분해할당 한 후 
    const {id, name, email, password} = req.body.data;

    users.push({
        id : id,
        name : name,
        email : email,
        password : password
    }); // 이렇게만 넣어줘도 된다.
    res.json({massage: 'USER_CREATED'});
}

* 자바스크립트 객체의 키-밸류가 같을 때

키-밸류가 같으면 한번만 써줘도 된다.

users.push({
    id : id,
    name : name,
    email : email,
    password : password
});
// 아래와 위는 같은 코드
users.push({
        id,
        name,
        email,
        password
    });

* 수정된 createUser

const createUser = (req, res) => {
    const {id, name, email, password} = req.body.data; // 구조분해할당
    users.push({id, name, email, password}); // key-value가 같아서 한번만 써줌
    res.json({massage: "userCreated"})
}

2. serverWithExpress.js 코드 변경

'/signup' url로 post요청이 오면 createUser를 실행하도록 코드를 변경해준다.

// createUser임포트 하고
const {createUser} = require('./user');
...
// app.post('/signup', (req, res) => {res.json({message: '회원가입 완료!'})});
// 위의 코드를 아래와 같이 변경
app.post('/signup', createUser); // '/signup'url로 post요청이 오면 createUser실행
...

// 전체코드
const http = require('http');
const express = require('express');
const {sendProducts} = require('./sendProducts2');
const {createUser} = require('./user');

// express로 앱 생성
const app = express();
// 자바스크립트 객체들을 모두 json으로 변환하라고 미리 알려준다. JSON.stringify()를 쓰지 않아도 되도록.
app.use(express.json());

// express로 만든 앱에 해당 url로 get요청이 들어왔을시 이렇게 동작하겠다
// app.http메서드(url, 콜백함수)
app.get('/ping', (req, res) => {
    res.json({message: '/ pong'});
});

app.post('/signup', createUser);
app.post('/login', (req, res) => {res.json({message: '로그인 완료!'})});
app.get('/products', sendProducts);

// 원래는 http.createServer에 모든걸 다 넣어줬는데 위에서 분리를 다 시켜놓고 인자로 app만 준다.
const server = http.createServer(app);

server.listen(8000, () => {
    console.log('server is listening on PORT 8000');
})

3. 요청 보내기

서버를 켜고 postman으로 요청을 보내서 테스트 한다.

console.log로 body로 받은 데이터와, 해당 데이터를 가진 새로운 user가 users에 저장된 것을 볼 수 있다.

node.js | express 없이/express로 서버 만들기

이라후 — Mon, 26 Sep 2022 18:51:48 +0900

express를 사용하는 이유를 알기 위해

express 없이 서버를 만들어보고, 어떤점이 불편한지 알아보고, express로 서버를 만들어보자

express없이 서버 만들기

1. 프로젝트 생성

// 프로젝트 폴더 만들고 이동
mkdir node-test
cd node-test
// 프로젝트 시작
npm init -y
// y옵션을 주면 기본값 설정으로 한번에 초기화 할 수 있다.

2. serverWithoutExpress.js 작성

서버로 어떤 요청이 오면 메세지를 보내주도록 작성했다.

// http통신을 하기위해 http모듈을 불러온다
const http = require('http');

// http의 createServer함수로 서버를 만들어서 server변수에 담아줌
const server = http.createServer((req, res) => {
    // 요청이 오면 동작.
    console.log('request received');

    // 응답의 형태가 json이라는 것을 알려줌
    res.setHeader('Content-Type', 'application/json');
    // 응답으로 보내주는 데이터
    res.end(JSON.stringify({ message: "Welcome to server! Http server without express" }));
})
// 서버를 켜는 명령어 listen 8000번 포트에서 켠다.
server.listen(8000, () => (
    // 서버가 켜지면 동작
    console.log("server is running on PORT 8000")
))

2-1. 여러 api 만들기

요청 url과 메서드에 따라 조건문으로 함수를 분리해서 api를 작성했다.

// http통신을 하기위해 http모듈을 불러온다
const http = require('http');
// sendProducts를 가져와서 쓰기위한 코드. require('sendProducts가있는 파일경로')
const {sendProducts} = require('./sendProducts');

// http의 createServer함수로 서버를 만들어서 server변수에 담아줌
const server = http.createServer((req, res) => {
    // url = req.url, method = req.method(구조분해할당)
    const {url, method} = req;
    // 응답의 형태가 json이라는 것을 알려줌
    res.setHeader('Content-Type', 'application/json');

    if (url === '/ping'){
        return res.end(JSON.stringify({message: "/ pong"}))
    }
    if (url === '/signup' && method === 'POST') return res.end(JSON.stringify({message: '회원가입 완료!'}))
    if (url === '/login' && method === 'POST') return res.end(JSON.stringify({message: '로그인 완료!'}))
    if (url === '/products' && method === 'GET')return sendProducts(res)

    // 응답으로 보내주는 데이터
    res.end(JSON.stringify({ message: 'this response answers to every request' }));
})
// 서버를 켜는 명령어 listen 8000번 포트에서 켠다.
server.listen(8000, () => (
    // 서버가 켜지면 동작
    console.log("server is running on PORT 8000")
))

sendProducts.js

const sendProducts = (res) => {
  res.end(
	  JSON.stringify({ 
		  products: [{
	      id: 1,
	      productName: "node",
	      description: "node.js is awesome"
	    }, {
	      id: 2,
	      productName: "express",
	      description: "express is a server-side framework for node.js"
	    }]
	})
  )
}

module.exports = { sendProducts } // withoutExpress.js 에서 사용하기 위해 모듈로 내보낸다.

3. 서버실행(터미널)

node serverWithoutExpress.js

실행하면 "server is running on PORT 8000"이 콘솔에 찍히고

브라우저로 localhost:8000에 접속해보면 "request received"가 찍힌다.

express없이 서버를 만들면 불편한점.

자바스크립트의 문자열을 프론트엔드에 보내서 통신하기 위해 통신을 위한 문자열 데이터타입인 json형태로 바꿔주는 작업을 해야한다.(JSON.stringify())
라우팅을 request객체에서 url과 mothod에 따라 if문으로 분기해서 처리했다.(*라우팅: 해당 자원에 대해 다른 함수(로직)을 실행하도록 하는 것) -> 관리가 힘들다.

이런걸 자동으로 해주기위해 express를 사용한다

express로 서버 만들기

1. express 설치

npm install express --save

npm으로 express를 설치하면 express와 express를 사용하는 데 필요한 다른 모든 패키지들을 같이 설치해준다.(node_modules폴더에서 확인)

package.json파일에서 내가 받은 패키지 확인 가능

2. serverWithExpress.js작성

const express = require('express')// Express 모듈을 임포트 하고 
const app = express() // 함수를 실행해서 app 이란 변수에 담는 것이 컨벤션이다.
// 앱을 사용하는 방법 : app.method('path', handler function)
/*
1. 요청을 받을 http method로 함수를 app 에 붙인다.
2. 요청을 받을 endpoint url 을 string 으로 첫번째 인자에 넣는다.
3. 두번째 인자는 요청과 응답을 인자로 받는 콜백함수이다. 
**즉, 각각의 메소드와 엔드포인트에 대해 처리하는(핸들링) 함수가 된다.**
*/
app.get('/ping', (req, res) => {
    ...
})

// serverWithExpress.js
const http = require('http');
const express = require('express');
const {sendProducts} = require('./sendProducts2');

// express로 앱 생성
const app = express();
// 자바스크립트 객체들을 모두 json으로 변환하라고 미리 알려준다. JSON.stringify()를 쓰지 않아도 되도록.
app.use(express.json());

// express로 만든 앱에 해당 url로 get요청이 들어왔을시 이렇게 동작하겠다
// app.http메서드(url, 콜백함수)
app.get('/ping', (req, res) => {
    res.json({message: '/ pong'});
});

app.post('/signup', (req, res) => {res.json({message: '회원가입 완료!'})});
app.post('/login', (req, res) => {res.json({message: '로그인 완료!'})});
app.get('/products', sendProducts);

// 원래는 http.createServer에 모든걸 다 넣어줬는데 위에서 분리를 다 시켜놓고 인자로 app만 준다.
const server = http.createServer(app);

server.listen(8000, () => {
    console.log('server is listening on PORT 8000');
})

sendProducts2.js

const sendProducts = (req, res) => {
  res.json({ // 위에서 작성한 sendProducts 함수와 비교했을 때,
  // express 덕분에 JSON.stringify 함수를 사용할 필요없이
  // response 객체의 json 메소드를 활용.
    products: [
      {
        id: 1,
        title: 'node',
        description: 'node.js is awesome',
      },
      {
        id: 2,
        title: 'express',
        description: 'express is a server-side framework for node.js',
      },
    ],
  })
}

module.exports = { sendProducts } // routing.js 에서 사용하기 위해 모듈로 내보낸다.

express로 서버를 만드니

조건문으로 라우팅을 처리했던 것이 간편해졌고
각각의 요청을 처리하는 함수의 분리로 인해 직관적으로 코드를 설계할 수 있게 되었다.

웹서버(Web server)와 WAS(Web Application Server)

이라후 — Mon, 26 Sep 2022 00:38:48 +0900

정적컨텐츠 , 동적컨텐츠

정적컨텐츠: 요청인자값에 상관없는, 변하지 않는 컨텐츠
동적컨텐츠: 요청인자값에 따라 바뀔 수 있는 컨텐츠

✏️ 웹 서버

웹 브라우저로부터 http요청을 받아서 요청에 맞는 정적 컨텐츠를 제공한다.

웹 서버의 기능

클라이언트로부터 http요청을 받을수 있다.
정적컨텐츠 요청시 정적 컨텐츠 제공
동적컨텐츠 요청시 was로 요청전달, was가 처리한 내용을 클라이언트에 전달

✏️ 웹 어플리케이션 서버

DB조회나 다양한 로직처리를 요구하는 동적인 컨텐츠를 제공한다.

WAS의 기능

클라이언트로부터 http요청을 받을수있다(대부분 was는 웹서버를 내장하고있기때문(웹서버+웹컨테이너))
요청에맞는 정적컨텐츠를 제공할수있다
db조회나 다양한 로직처리를 통해 동적컨텐츠를 제공할수있다.

웹 서버가 필요한 이유

웹 어플리케이션 서버도 웹 서버의 역할을 할 수 있는데 굳이 웹 서버가 필요한 이유

서버부하방지: 정적 컨텐츠는 웹 서버가 처리하고 동적 컨텐츠는 WAS가 처리하도록 해서 서버의 부하를 방지한다.
로드밸런싱: Web Server를 이용해서 로드밸런싱을 하고 Web Server에서 여러 대의 WAS의 상태를 체크하고 문제가 있는 WAS를
사용하지 않도록 설정해둠으로서 사용자가 문제없이 이용할 수 있도록 한다.
보안: WAS는 db에 접근할 수 있기 때문에 앞단에 Web Server를 둬서 외부 노출을 차단할 수 있다.

참고

https://gmlwjd9405.github.io/2018/10/27/webserver-vs-was.html

GitHub 꾸미기 | waka-box : 프로필에 코딩시간 표시하기

이라후 — Sun, 25 Sep 2022 14:13:49 +0900

내 메인에 위 사진처럼 언어별로 코딩시간을 표시하는법!

내가 사용하는 IDE와 연동해서 일주일동안 어떤 언어를 얼마나 사용해서 개발했는지 깃허브 프로필에 표시해보자~

WakaTime이라는 사이트와 깃허브 gist, waka-box레포지토리를 이용해서 설정하면 메인에 표시할 수 있다.

01. GitHub 설정(Gist, token 만들기)

✔️ GitHub Gist를 만든다 -> 링크

꼭 public으로 만들어야 한다!

이름은 아무렇게나 만들면 된다.

나중에 알아서 바뀜!

그리고 description에는 아무것도 적지 않는다. description에 waka-box로 적었더니

Weekly development breakdown이라는 제목 대신 waka-box가 떴다...수정해서 지우면 되긴 하지만 적지 않기,,,,

✔️ 깃허브 토큰을 만든다 -> 링크

gist에 체크를 하고 만든다

만든 후 토큰값은 한번만 보여주고 다신 안보여주기 때문에(까먹으면 재발급 해야함) 복사해서 잘 저장해두기

02. WakaTime 계정 설정

✔️ WakaTime 계정을 만든다 -> 링크

깃허브랑 연동시켜주면 된다.

가입후 날아오는 이메일 인증도 완료한다.

✔️ WakaTime 프로필 세팅 -> 링크

Location을 선택하고 체크박스 아래 두개를 선택하고 저장

✔️ WakaTime Api Key 복사 -> 링크

키를 복사해서 저장해둔다.

✔️ VSCode랑 연동

내가 사용하는 VSCode기준!

extensions에서 wakatime 검색해서 설치한다.

command + shift + p 를 눌러서 WkaTime: API Key 검색 후 wakatime api key 입력

03. waka-box Repo 설정

✔️ waka-box Repo Fork

waka-box 레포지토리

GitHub - matchai/waka-box: Update a pinned gist to contain your weekly WakaTime stats

Update a pinned gist to contain your weekly WakaTime stats - GitHub - matchai/waka-box: Update a pinned gist to contain your weekly WakaTime stats

github.com

이 레포지토리를 fork해서 가져온다

✔️ Secret설정하기

fork해온 레포지토리에서 Settings->Secrets->Actions로 가서

New repository secret을 설정한다.

Name : Secret

GH_TOKEN : 아까 발급받은 깃허브 토큰
GIST_ID : 아까 생성한 gist 주소에서 뒷부분 https://gist.github.com/깃헙아이디/a79bc4e058ed913b418cafeffccd2fd9
WAKATIME_API_KEY : 아까 복사한 WakaTime Api Key

이렇게 세가지를 설정한다.

✔️ schedule.yml 코드 변경

fork해온 repository에서

.github/workflows/schedule.yml 을 열어서 GIST_ID 부분을 아래처럼 수정한다.

✔️ enable workflow

레포지토리의 Action탭에서 workflow를 활성화한다.

마지막. 메인에 pin하기

만약 이렇게 제대로 뜨지 않으면

레포지토리 -> Actions -> Update gist with WakaTime stats로 들어가서

오른쪽의 run workflow -> run workflow를 눌러준다