빠르고 정확한 개발자 빠르고 정확한 개발자

분류 전체보기

• kittens example

  scala/cats2 2025. 3. 5. 20:56

  https://github.com/typelevel/kittens "org.typelevel" %% "kittens" % "3.4.0" Example1import cats.Showimport cats.derived.semiautoimport cats.implicits.*case class Name(value: String)case class Person(name: Name, age: Int)object Person { given Show[Person] = semiauto.show}object Test { def main(args: Array[String]): Unit = { val person = Person(Name("KJM"), 20) println(person.show) // Per..

  Read More
• Pandas dataframe <-> Spark dataframe 변환

  pyspark 2025. 1. 10. 11:55

  Spark dataframe -> Pandas dataframe toPandas() 메서드로 변환할 수 있다.spark_df = spark.read.parquet("hdfs://...").limit(10)pandas_df = spark_df.toPandas()  Pandas dataframe -> Spark dataframe pandas_df = pd.read_csv("data.csv", header=0)# spark, pandas 버전에 따라 아래 추가가 필요할 수 있다.# https://stackoverflow.com/a/76404841/5137193pd.DataFrame.iteritems = pd.DataFrame.itemsspark_df = spark.createDataFrame(pandas_df..

  Read More
• Recommendations dataset 으로 실습하기

  graph database/neo4j 2025. 1. 9. 12:27

  문서graphdb conceptscyper style guide 실습 준비https://sandbox.neo4j.com/ 에 접속해 loginGetting started with Neo4j Browser 시작Movie Recommendations dataset 선택  실습 데이터  Query 실습CALL db.schema.visualization()MATCH (m:Movie) RETURN mLIMIT 1MATCH (g:Genre)RETURN gLIMIT 1MATCH (g:Genre)RETURN g.name# Genre name 이 Comedy 인 Movie title 출력MATCH (m:Movie)-[:IN_GENRE]->(g:Genre)WHERE g.name = 'Comedy'RETURN m.title..

  Read More
• groupBy 후 group 당 N 개의 record 만 남기기

  spark 2025. 1. 6. 21:19

  groupBy 후 group 당 최대 N=300 개만 남긴다고 할 때  방법1groupByKey + mapGroups 사용val urlLineDs: Dataset[(String, Seq[String])] = spark.read.text(path) .toDF("url", "item") .groupByKey(row => row.getAs[String]("url")) .mapGroups { case (url, rowIter: Iterator[Row]) => val itemList: Seq[String] = rowIter.take(300).map(_.getAs[String]("item")).toList (url, itemList) }  방법2window function 사용val window = Windo..

  Read More
• Dataset.groupByKey + reduceGroups

  spark 2025. 1. 6. 10:47

  case class Foo(x: String, y: String, z: Int)val ds = df.as[Foo]ds.groupByKey(_.x).reduceGroups((a, b) => a.copy(z = a.z + b.z)).explain 참고: https://stackoverflow.com/a/32903568/5137193

  Read More
• git 구조

  git 2024. 12. 14. 20:52

  https://stackoverflow.com/a/3690796/5137193

  Read More
• Callback Gotchas & Form submit

  plotly dash 2024. 11. 30. 19:58

  Callback Gotchashttps://dash.plotly.com/callback-gotchas 를 읽어 보면, callback 을 등록하기전에 HTML 이 이미 로딩된 상태여야 한다. 그러나 그렇게 되기 힘든 상황이 있을 수 있다. 이때는 https://www.dash-extensions.com/sections/enrich#a-dashproxy 를 사용하자. import dashimport dash_bootstrap_components as dbcfrom dash import Dash, htmlfrom dash_extensions.enrich import DashProxy# app: Dash = Dash(...)app: Dash = DashProxy(__name__, external_stylesh..

  Read More
• windows 에서 특정 port 를 listen 하는 프로세스를 찾아 kill 하기

  wsl2 2024. 11. 24. 21:55

  개발중 잘못(?) 종료로 특정 포트(예: 8080) 를 사용하는 서버 프로세스가 백그라운드로 실행되는 경우가 있다.다시 서버를 실행하면 이미 사용중인 포트라면서 에러가 발생한다.해당 프로세스를 강제로 종료하는 방법을 알아 본다. 포트를 사용 중인 프로세스 내기# command prompt# /I: ignore case (optional)netstat -ano | findstr /I 8080 프로세스 종료하기# 종료할 프로세스 pid 가 19636 일 때taskkill /pid 19636(강제 종료) taskkill /pid 19636 /f

  Read More