빠르고 정확한 개발자 빠르고 정확한 개발자

전체 글

• git 구조

  git 2024. 12. 14. 20:52

  https://stackoverflow.com/a/3690796/5137193

  Read More
• Callback Gotchas & Form submit

  plotly dash 2024. 11. 30. 19:58

  Callback Gotchashttps://dash.plotly.com/callback-gotchas 를 읽어 보면, callback 을 등록하기전에 HTML 이 이미 로딩된 상태여야 한다. 그러나 그렇게 되기 힘든 상황이 있을 수 있다. 이때는 https://www.dash-extensions.com/sections/enrich#a-dashproxy 를 사용하자. import dashimport dash_bootstrap_components as dbcfrom dash import Dash, htmlfrom dash_extensions.enrich import DashProxy# app: Dash = Dash(...)app: Dash = DashProxy(__name__, external_stylesh..

  Read More
• windows 에서 특정 port 를 listen 하는 프로세스를 찾아 kill 하기

  wsl2 2024. 11. 24. 21:55

  개발중 잘못(?) 종료로 특정 포트(예: 8080) 를 사용하는 서버 프로세스가 백그라운드로 실행되는 경우가 있다.다시 서버를 실행하면 이미 사용중인 포트라면서 에러가 발생한다.해당 프로세스를 강제로 종료하는 방법을 알아 본다. 포트를 사용 중인 프로세스 내기# command prompt# /I: ignore case (optional)netstat -ano | findstr /I 8080 프로세스 종료하기# 종료할 프로세스 pid 가 19636 일 때taskkill /pid 19636(강제 종료) taskkill /pid 19636 /f

  Read More
• groupBy 후 collect_list 에 여러개의 column 값을 담기

  spark 2024. 11. 19. 20:46

  collect_list(struct(???)) 를 사용한다.import spark.implicits._case class BaseMetric( id: String, log_type: String, device_type: String, clk_count: Long, imp_count: Long)case class BaseMetricGroup( id: String, metrics: Seq[BaseMetric])val metricDs: Dataset[BaseMetric] = ???metricDs .groupBy("id") .agg( collect_list( struct(BaseMetric.fields.map(col): _*) ).as("metrics") ) .as[BaseMetricGroup]

  Read More
• Tagless Final

  scala/basic 2024. 11. 19. 15:09

  https://www.reddit.com/r/scala/comments/s6ih9p/comment/htagml4/?utm_source=share&utm_medium=web3x&utm_name=web3xcss&utm_term=1&utm_content=share_button  trait Expr[T] { def num(n: Int): T def add(l: T, r: T): T}implicit def eval: Expr[Int] = new Expr[Int] { def num(i: Int): Int = i def add(l: Int, r: Int): Int = l + r}implicit def show: Expr[String] = new Expr[String] { def num(i:..

  Read More
• Magnum 기본 사용

  scala jdbc/magnum 2024. 11. 7. 22:20

  https://github.com/AugustNagro/magnum 을 사용해 본다.  build.sbtlibraryDependencies += "com.augustnagro" %% "magnum" % "1.3.0"libraryDependencies += "com.zaxxer" % "HikariCP" % "5.0.1"libraryDependencies += "mysql" % "mysql-connector-java" % "8.0.33"  코드import com.augustnagro.magnum.*import com.mysql.cj.jdbc.MysqlDataSourceimport com.zaxxer.hikari.pool.HikariPoolimport com.zaxxer.hikari.{HikariConfig,..

  Read More
• parTraverseN

  scala/cats effect3 2024. 11. 7. 10:51

  parTraverse with a limit of N using a Semaphore HTML 삽입미리보기할 수 없는 소스

  Read More
• pyspark 에서 avro 파일 읽기

  pyspark 2024. 10. 29. 11:19

  문제pyspark(jupyter notebook) 에서 avro 파일을  읽어본다. 방법11. spark conf 의 `spark.jars.packages` 를 아래와 같이 설정한다.import pysparkfrom pyspark.sql import SparkSessionconf = pyspark.SparkConf().setAll([ ('spark.jars.packages', 'org.apache.spark:spark-avro_2.12:3.1.2'), ...])spark = SparkSession.builder.config(conf=conf).getOrCreate() 2. 아래와 같이 코드를 작성한다.df = spark.read.format('avro').load('myfile.avro') 방법21...

  Read More