PONI's 좋은 개발자

📋Trino Trino는 데이터 쿼리 및 분석 도구로 사용되는 오픈 소스 소프트웨어입니다. 빅데이터를 쿼리하기 위한 분산 SQL 쿼리 엔진입니다 . 초기에 HDFS를 쿼리하기 위해 설계되었으나, 현재는 그것에 국한되지 않고 다양한 데이터 소스를 지원합니다. Presto라고 불렸던 동일한 쿼리 엔진을 리브랜딩한 것으로, 이전의 Presto와 동일한 기능과 능력을 제공합니다. 범용 데이터베이스가 아닌 OLAP(Online Analytics Processing)를 위해 설계되었으므로 MySQL과 같은 OLTP(Online Transaction Processing) 데이터베이스와는 다릅니다. 📌Presto presto는 페이스북이 최초 개발하여 오픈 소스로 공개한 대화식 데이터 쿼리 서비스입니다. 다양한 데이터..

에러 import pendulum pendulm 패키지를 불러오는데 오류가 발생함. pendulm 가 설치되지 않은거 같아 cmd 창에 명령문을 입력해 설치진행 pip install pendulm 에러내용 pendulum 패키지를 설치하는 도중 문제가 발생하여 wheel 파일을 생성하지 못함 ModuleNotFoundError: No module named 'distutils' 에러 내용에서 위 문장 확인 Python 3.10 이상에서는 distutils가 표준 라이브러리에 포함되지 않고, 별도로 설치해야 하는 경우가 있습니다. 해결방법 Distutils 설치 Python 환경에서 distutils 모듈이 누락되었을 수 있으므로, 해당 모듈을 설치해야 합니다. Python 3.10 버전부터 distuti..

1. doc 업데이트 수정하고자 하는 doc을 지정하여 업데이트 doc의 특정 필드를 지정하여 업데이트 가능 1) 일반 필드 post emp/_update/1234 { "doc": { "ath_cd": [ "R01", "R02" ], "ath_nm": "관리자,직원" } } 2) nested 필드 post emp/_update/1234 { "doc": { "nested_regi": [ { "regi_yn": "Y", "regi_pooltypeid": "P02" } ] } } 2. 조건대상 업데이트 - script 절에서 변경 대상, 변경전 값, 변경후 값 입력 get emp/_search { "script": { "source": "for (int i = 0; i < ctx._source.nested_r..

인덱스 수명 주기 관리(ILM) Hot-Warm-Cold 아이텍처는 로깅 또는 메트릭과 같은 시계열 데이터에 일반적으로 사용됩니다. Hot, Warm, Cold 및 Delete 4단계를 정의합니다. ILM 설정 예시) put /_ilm/policy/test_policy { "policy": { "phases": { "hot": { "actions": { "rollover": { "max_size": "5GB", "max_docs": "10000", "max_age": "30d" }, "set"priority": { "priority": 50 } } }, "warm": { "min_age": "7d", "actions": { "forcemerge": { "max_num_segments": 1 }, "shr..

1. 날짜 조건 검색(range) 특정 기간을 설정하여 데이터 수를 확인할때에 사용 rang 함수를 사용하여 기간 설정 lt : 미만 lte : 이하 gt : 초과 gte : 이상 get emp/_count { "query": { "range": { "send_dt": { "gte": "2023-09-10 14:00:00", "lte": "2023-09-12 14:00:00" } } } } 2. 날짜집계 검색 - aggs 으로 집계 설정 - range_aggs - date_range 날짜 집계 설정 - 기간설정은 from - to 로 설정 get emp/_search { "size": 0, "aggs": { "range_aggs": { "date_range": { "field": "send_dt", "r..

에러 import sklearn sklearn 라이브러리를 불러오는데 오류가 발생함. sklearn가 설치되지 않은거 같아 cmd 창에 명령문을 입력해 설치진행 pip install -U scikit-learn 근데... 일반적으로 쉽게 설치가 되야할게 에러가 발생... 에러 내용을 자세히 살펴보니 scikit-learn 패키지를 설치하는 도중 Fortran 컴파일러를 찾지 못해서 발생한 오류라고 표기 scikit-learn 패키지 중 일부는 Fortran으로 작성된 코드이므로 설치시에 Fortran 컴파일러가 필요 직접적인 원인은 pip가 sckit-learn의 소스 코드를 직접 컴파일하려고 했기 때문에 에러가 발생 (일반적으로 발생하지 않는건데 왜...) 해결방법 pip에서 패키지 소스코드를 컴파일하..

클래스 클래스(Class)란 객체(Object)를 만들어 내기 위한 틀이며 만들어 낼 객체의 속성과 메서드의 집합을 담아놓은 것 객체 객체란 클래스로부터 만들어지는 실체, 클래스로 선언된 변수를 객체라 한다. 인스턴스 인스턴스(Instance)란 객체가 메모리에 할당이 된 상태이며 런타임에 구동되는 객체를 말합니다. 객체와 같은 의미로 쓰이기도 합니다. AWS의 클라우드의 가상서버 의미로도 쓰입니다. Static 쓰이는 이유 : static 키워드는 클래스의 인스턴스가 아닌 클래스에 속하며 클래스의 변수, 메서드 등을 공유하는데 사옹됩니다. 이를 통해 해당 클래스로 만들어지는 객체사이에서 중복되는 메서드, 속성을 효율적으로 정의할 때 쓰입니다. 단점: static 키워드로 선언된 변수, 블록, 메서스 등..

완전 검색 (Exhaustive Search) = Brute-force, generate-and-test 주어진 문제를 풀 때, 우선 완전 검색으로 접근하여 해답을 도출한 후, 성능 개선을 위해 다른 알고리즘을 사용하고 해답을 확인하는 것이 바람직합니다. 탐욕 알고리즘 (Greedy Algorithm) 최적 해를 구하는 데 사용되는 근시안적인 방법 여러 경우 중 하나를 결정해야 할 때마다 그 순간에 최적이라고 생각되는 것을 선택해나가는 방식으로 진행하여 최종적인 해답에 도달함 각 선택의 시점에서 이루어지는 결정은 지역적으로는 최적이지만, 그것들을 게속 수집하여 최종적인 해답을 만들었다고 하여 그것이 최적이라는 보장은 없습니다. 일반적으로, 머리속에 떠오르는 생각을 검증 없이 바로 구현하면 Greedy 접..

https://school.programmers.co.kr/learn/courses/30/lessons/144855 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 📋 문제 2022년 1월에 판매된 도서를 카테고리 별로 판매량을 합산하고 카테고리, 총 판매량 리스트를 출력하는 문제입니다. 📌풀이 SELECT t.CATEGORY , sum(t.SALES) TOTAL_SALES FROM ( SELECT b.* , s.SALES FROM BOOK b INNER JOIN BOOK_SALES s ON b.BOOK_ID = s.BOOK_ID WHERE 1=1 AND ..

https://school.programmers.co.kr/learn/courses/30/lessons/157339 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 📋 문제 자동차 종류가 '세단' 또는 'SUV' 인 자동차 중 2022년 11월 1일부터 2022년 11월 30일까지 대여 가능하고 30일간의 대여 금액이 50만원 이상 200만원 미만인 자동차에 대해서 자동차 ID, 자동차 종류, 대여 금액(컬럼명: FEE) 리스트를 출력하는 문제입니다. 📌풀이 SELECT t.CAR_ID ,t.CAR_TYPE ,round(t.DAILY_FEE * 30 * (..