개발 방법론이 완전히 변하고 있다.
이를 논문으로 작성한 것이 있는데, AI와 Vibe coding을 이용한 Spec-driven development 이다.
리액트 타입스크립로 개발하여 Supabase DB 연동하고 백엔드까지 구현하는 것은 익숙해 졌다.
클로드를 이용한 배포는 프론트 엔드만 가능하지만 원하면 백엔드도 할 수 있으리라 본다.
https://claude.ai/public/artifacts/9b040d2e-81d5-48c0-8348-c69901258fd9
[GAI] 구글 AI Studio를 이용해 만드는 웹 서비스와 클로드 웹 서비스
개발 방법론이 완전히 변하고 있다.
이를 논문으로 작성한 것이 있는데, AI와 Vibe coding을 이용한 Spec-driven development 이다.
리액트 타입스크립로 개발하여 Supabase DB 연동하고 백엔드까지 구현하는 것은 익숙해 졌다.
클로드를 이용한 배포는 프론트 엔드만 가능하지만 원하면 백엔드도 할 수 있으리라 본다.
https://claude.ai/public/artifacts/9b040d2e-81d5-48c0-8348-c69901258fd9
[bolt.new] memex를 이용한 연동
헤드리스 CMS 라는 백엔드와 bolt 라는 웹사이트 AI 코딩 프론트 엔드를 결합하여 사이트를 만들었다.
초반은 잘 되다가 토큰이 떨어져서 챗GPT로 코드를 수정하여 생성, 삭제를 추가했다.
배포는 계속 되는 것 같아 웹사이트 유지하기에는 좋은 것 같다.
import React, { useState, useEffect } from 'react';
import Header from './components/Header';
import PostList from './components/PostList';
import PostForm from './components/PostForm';
import PostDetail from './components/PostDetail';
import { Post, ApiItem, ApiResponse } from './types';
// Access token for the API
const ACCESS_TOKEN = "";
// API URL
const API_URL = "https://api.memexdata.io/memex/api/projects/b545c4b1/models/article/contents/search/v2";
function App() {
const [posts, setPosts] = useState<Post[]>([]);
const [selectedPost, setSelectedPost] = useState<Post | null>(null);
const [loading, setLoading] = useState<boolean>(true);
const [error, setError] = useState<string | null>(null);
useEffect(() => {
fetchPosts();
}, []);
const parseEditorJSContent = (jsonString: string): string => {
try {
const editorData = JSON.parse(jsonString);
if (editorData.blocks) {
// Extract text from blocks
return editorData.blocks
.map((block: any) => {
if (block.type === 'paragraph' || block.type === 'header') {
return block.data.text;
} else if (block.type === 'list') {
return block.data.items.join('\n');
}
return '';
})
.filter(Boolean)
.join('\n\n');
}
return jsonString;
} catch (e) {
// If parsing fails, return the original string
return jsonString;
}
};
const fetchPosts = async () => {
try {
setLoading(true);
setError(null);
const response = await fetch(API_URL, {
method: 'POST',
headers: {
'Content-Type': 'application/json',
'Access-Token': ACCESS_TOKEN
},
body: JSON.stringify({
size: 10,
page: 0,
direction: "DESC",
orderCond: {
type: "DATE_CREATE"
}
})
});
if (!response.ok) {
throw new Error(`API 요청 실패: ${response.status}`);
}
const data: ApiResponse = await response.json();
if (!data.list || !Array.isArray(data.list)) {
throw new Error('API 응답 형식이 올바르지 않습니다.');
}
let count = 1;
// Transform API data to our Post format
const transformedPosts: Post[] = data.list.map((item: ApiItem, index: number) => {
// Extract categories if available
const categories = item.data.category
? item.data.category.map(cat => cat.languageMap.KO)
: [];
// Parse content if it's in EditorJS format
const contentRaw = item.data.content?.KO || '';
const parsedContent = parseEditorJSContent(contentRaw);
return {
uid: item.uid,
id: count++,
title: item.data.title?.KO || '제목 없음',
content: parsedContent,
author: item.data.author?.KO || '익명',
createdAt: new Date(item.data.date || Date.now()),
category: categories
};
});
setPosts(transformedPosts);
} catch (err) {
console.error('데이터를 가져오는 중 오류 발생:', err);
setError('데이터를 불러오는 데 실패했습니다. 나중에 다시 시도해주세요.');
// Fallback to sample data if API fails
const fallbackPosts: Post[] = [
{
id: 1,
title: '첫 번째 게시물입니다',
content: '게시판에 오신 것을 환영합니다. 이 게시판은 React와 TypeScript로 만들어졌습니다.',
author: '관리자',
createdAt: new Date('2025-01-15')
},
{
id: 2,
title: '게시판 사용 방법',
content: '게시물을 작성하려면 "새 게시물 작성" 버튼을 클릭하세요.\n게시물을 보려면 제목을 클릭하세요.\n게시물을 삭제하려면 삭제 아이콘을 클릭하세요.',
author: '관리자',
createdAt: new Date('2025-01-16')
}
];
setPosts(fallbackPosts);
} finally {
setLoading(false);
}
};
const handleCreatePost = async (title: string, content: string, author: string) => {
try {
const requestBody = {
publish: true,
data: {
title: { KO: title },
date: new Date().toISOString().replace('Z', ''),
content: { KO: content },
author: { KO: author },
category: []
}
};
const response = await fetch(
'https://api.memexdata.io/memex/external/projects/b545c4b1/models/article/contents',
{
method: 'POST',
headers: {
'Content-Type': 'application/json',
'Access-Token': ACCESS_TOKEN,
},
body: JSON.stringify(requestBody),
}
);
//if (response) {
// throw new Error('게시물 생성 실패');
//}
//const responseData = await response.json();
console.log('게시물 생성 성공:', response);
window.location.reload(); // 페이지 새로고침
} catch (error) {
console.error('Error creating post:', error);
alert('게시물 생성 중 오류가 발생했습니다.');
}
};
const handleViewPost = (post: Post) => {
setSelectedPost(post);
};
const handleBackToList = () => {
setSelectedPost(null);
};
const handleDeletePost = async (id: number) => {
if (window.confirm('정말로 이 게시물을 삭제하시겠습니까?')) {
try {
const response = await fetch(
'https://api.memexdata.io/memex/external/projects/b545c4b1/models/article/contents',
{
method: 'DELETE',
headers: {
'Content-Type': 'application/json',
'Access-Token': ACCESS_TOKEN,
},
body: JSON.stringify([id]),
}
);
if (!response.ok) {
throw new Error('게시물 삭제 실패');
}
setPosts(posts.filter(post => post.id !== id));
if (selectedPost && selectedPost.id === id) {
setSelectedPost(null);
}
window.location.reload(); // 페이지 새로고침
} catch (error) {
console.error('Error deleting post:', error);
alert('게시물 삭제 중 오류가 발생했습니다.');
}
}
};
const handleRefresh = () => {
fetchPosts();
};
return (
<div className="min-h-screen bg-gray-100">
<Header />
<main className="container mx-auto px-4 py-8">
{selectedPost ? (
<PostDetail post={selectedPost} onBack={handleBackToList} />
) : (
<>
<PostForm onSubmit={handleCreatePost} />
{loading ? (
<div className="flex justify-center items-center py-12">
<div className="animate-spin rounded-full h-12 w-12 border-b-2 border-blue-600"></div>
</div>
) : error ? (
<div className="bg-red-100 border border-red-400 text-red-700 px-4 py-3 rounded mt-6">
<p>{error}</p>
<button
onClick={handleRefresh}
className="mt-2 bg-red-200 hover:bg-red-300 text-red-700 font-bold py-1 px-3 rounded text-sm"
>
다시 시도
</button>
</div>
) : (
<PostList
posts={posts}
onViewPost={handleViewPost}
onDeletePost={handleDeletePost}
onRefresh={handleRefresh}
/>
)}
</>
)}
</main>
<footer className="bg-gray-800 text-white py-4 mt-8">
<div className="container mx-auto px-4 text-center">
<p>© 2025 게시판 웹사이트. All rights reserved.</p>
</div>
</footer>
</div>
);
}
export default App;
[파이썬] mp4를 5초씩 분할, mp4의 방향 전환 후 해상도 변경, mp4 합치기
[5sec segmentation]
import subprocess
import os
from math import ceil
def split_video_ffmpeg(input_file, output_dir, segment_duration=5):
# Create output directory if it doesn't exist
if not os.path.exists(output_dir):
os.makedirs(output_dir)
# Get video duration using ffprobe
duration_cmd = [
'ffprobe',
'-v', 'error',
'-show_entries', 'format=duration',
'-of', 'default=noprint_wrappers=1:nokey=1',
input_file
]
duration = float(subprocess.check_output(duration_cmd).decode('utf-8').strip())
total_segments = ceil(duration / segment_duration)
# Split video into segments using ffmpeg
for i in range(total_segments):
start_time = i * segment_duration
output_filename = f"segment_{int(start_time):04d}_{int(min((i+1)*segment_duration, duration)):04d}.mp4"
output_path = os.path.join(output_dir, output_filename)
ffmpeg_cmd = [
'ffmpeg',
'-i', input_file,
'-ss', str(start_time),
'-t', str(segment_duration),
'-c', 'copy', # Copy codec without re-encoding
'-avoid_negative_ts', '1',
output_path
]
subprocess.run(ffmpeg_cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
# Example usage
input_video = "wed.mp4"
output_directory = "output_segments"
split_video_ffmpeg(input_video, output_directory, 5)
[resize, rotate with sound]
import cv2
import numpy as np
from moviepy.editor import VideoFileClip, AudioFileClip
import os
def rotate_resize_with_audio(input_file, output_file, width=1344, height=2368):
# 임시 파일명 생성
temp_video = "temp_video.mp4"
# 비디오 캡처 객체 생성
cap = cv2.VideoCapture(input_file)
fps = int(cap.get(cv2.CAP_PROP_FPS))
# 비디오 작성자 객체 생성
fourcc = cv2.VideoWriter_fourcc(*'mp4v')
out = cv2.VideoWriter(temp_video, fourcc, fps, (width, height))
try:
# 비디오 프레임 처리
while cap.isOpened():
ret, frame = cap.read()
if not ret:
break
# 프레임 90도 회전
rotated_frame = cv2.rotate(frame, cv2.ROTATE_90_CLOCKWISE)
# 프레임 크기 조정
resized_frame = cv2.resize(rotated_frame, (width, height))
# 조정된 프레임 저장
out.write(resized_frame)
# 리소스 해제
cap.release()
out.release()
cv2.destroyAllWindows()
# 원본 비디오에서 오디오 추출
video_clip = VideoFileClip(input_file)
audio_clip = video_clip.audio
# 처리된 비디오에 오디오 추가
processed_video = VideoFileClip(temp_video)
final_video = processed_video.set_audio(audio_clip)
# 최종 비디오 저장
final_video.write_videofile(output_file)
finally:
# 임시 파일 삭제 및 리소스 정리
video_clip.close()
processed_video.close()
if os.path.exists(temp_video):
os.remove(temp_video)
# 사용 예시
input_file = "input_video.mp4"
output_file = "final_video.mp4"
rotate_resize_with_audio(input_file, output_file)
[merge.py]
from moviepy.editor import VideoFileClip, concatenate_videoclips
def merge_mp4_files(input_files, output_file):
# 비디오 클립 리스트 생성
video_clips = []
try:
# 각 입력 파일을 VideoFileClip으로 변환
for file in input_files:
clip = VideoFileClip(file)
video_clips.append(clip)
# 모든 클립 연결
final_clip = concatenate_videoclips(video_clips)
# 결과 파일 저장
final_clip.write_videofile(output_file)
finally:
# 모든 클립 닫기
for clip in video_clips:
clip.close()
# 사용 예시
input_files = [
"video0.mp4",
"video1.mp4",
"video2.mp4",
"video3.mp4",
"video4.mp4"
]
output_file = "wed.mp4"
merge_mp4_files(input_files, output_file)
[notion] worker 캐시 삭제 및 chunk error
브라우저 보안이 강화되어서 인지 어떤 오류인지 몰라도 js 로딩이 안되면서 도메인 연결한 페이지가 나오지 않는다.
addEventListener('fetch', event => {
event.respondWith(handleRequest(event.request))
})
async function handleRequest(request) {
// 캐시 삭제
const cache = caches.default;
await cache.delete(request);
// 캐시 우회 후 새로운 데이터 가져오기
const response = await fetch(request, {
headers: {
'Cache-Control': 'no-cache'
}
});
// 새 데이터를 캐시에 저장
cache.put(request, response.clone());
return response;
}
[매핑] 퍼스널 트레이닝과 공격 기법을 매칭해 본다
사이드 레터럴 레이즈 - 레터럴 무브먼트
마운틴 클라이머 - 프리빌리지 에스컬레이션
점핑 잭 - 디스커버리
플랭크 / 크런치 - 퍼시스턴스
버피테스트 - 스캐닝
스쿼트 - 크레덴셜 스터핑
니업 / 푸시업 - 이니셜 엑세스
레그 레이즈 - 임팩트
덤벨 킥백 - 디펜스 이베이전
[notion] 데이터베이스(페이지) 삭제(아카이빙)
[notion] API를 사용하여 데이터베이스의 목록 출력
여러 설명페이지에 데이터베이스 기본 정보를 출력하는 예제는 많으나, 목록을 출력하는 예제는 부족하다.
query라는 api를 이용하여 POST 방식으로 호출해야 한다.
데이터의 내용이 있을 경우 results의 배열로 리턴되며, 속성 중 column(여기서는 column)를 추가하여 존재하는 목록을 출력해 보았다.
[Workers] Cloudflare Workers로 서버리스 코딩
Cloudflare 는 https를 쉽게 제공해주는 서비스로 출발하였다.
해당 기능은 라우팅이나 호스팅과 관련이 있는데, 마이크로 서비스를 사용할 수 있는 Workers를 제공한다.
현재는 nodejs 밖에 사용하지 못한다고 하나, aws에서 nodejs를 lambda로 사용해 봤기 때문에 조금은 수월하게 접근할 수 있었다.
간단한 예제들을 통해 실행, json 다루기, json을 html로 표현하기 등을 해보았다.
json 샘플에서는 header를 json으로 클라이언트에 전달하므로 html이 text로 나온다.
그래서 해당 부분만 수정하여 html 표가 그려질 수 있도록 수정했다.
추후에는 실제 API와 연결하여 활용해 보도록 해야겠다.
'content-type': 'text/html;charset=UTF-8',
[nodejs] aws lambda 에서 httprequest with get param
http api 형태로 하여 api gateway를 생성하였을 때,
https://api경로.execute-api.ap-northeast-2.amazonaws.com/default/api명?파라미터명=데이터
[index.js]
const http = require('https')
exports.handler = async (event) => {
return httprequest(event).then((data) => {
const response = {
param: event,
statusCode: 200,
body: JSON.stringify(data),
};
return response;
});
};
function httprequest(event) {
return new Promise((resolve, reject) => {
const options = {
host: '호스트명(url경로)',
path: encodeURI('/[중간경로]?파라미터명='+event.queryStringParameters.파라미터명),
port: 443,
method: 'GET'
};
const req = http.request(options, (res) => {
if (res.statusCode < 200 || res.statusCode >= 300) {
return reject(new Error('statusCode=' + res.statusCode));
}
var body = [];
res.on('data', function(chunk) {
body.push(chunk);
});
res.on('end', function() {
try {
body = JSON.parse(Buffer.concat(body).toString());
} catch(e) {
reject(e);
}
resolve(body);
});
});
req.on('error', (e) => {
reject(e.message);
});
// send the request
req.end();
});
}
gzip request and non-gzip request
// HTTP POST request
public String sendPost(String targetUrl, String parameters) throws Exception {
URL url = new URL(targetUrl);
disableSslVerification();
//HttpURLConnection con = (HttpURLConnection) url.openConnection();
HttpsURLConnection con = (HttpsURLConnection) url.openConnection();
con.setRequestMethod("POST");
con.setRequestProperty("charset", "UTF-8");
con.setRequestProperty("Content-Encoding", "gzip");//when gzip
con.setRequestProperty("Accept-Encoding", "gzip");//when gzip
con.setRequestProperty("content-type", "application/x-www-form-urlencoded");
con.setDoOutput(true);
DataOutputStream wr = new DataOutputStream(con.getOutputStream());
wr.write(compress(parameters));
wr.flush();
wr.close();
//non-gzip request
/*OutputStreamWriter outStream = new OutputStreamWriter(con.getOutputStream(), "UTF-8");
PrintWriter writer = new PrintWriter(outStream);
writer.write(parameters.toString());
writer.flush();*/
BufferedReader in = new BufferedReader(new InputStreamReader(new GZIPInputStream(con.getInputStream()), "UTF-8"));
String inputLine;
StringBuffer response = new StringBuffer();
while ((inputLine = in.readLine()) != null) {
response.append(inputLine);
}
in.close();
return response.toString();
}
[R] AWS에 도커로 Shiny server 설치 후 googleAuthR 을 이용
AWS t2.micro 에서 R을 이용한 shiny 패키지 설치가 잘 되지 않는다.
그래서 shiny server를 설치하더라도 3838포트는 접속 되지만 shiny app 은 실행시킬 수 없다.
sudo snap install docker
sudo docker pull rocker/shiny-verse
도커 설치 후 실행한 뒤 (여기까지는 https://wikidocs.net/66611 사이트 참고)
sudo docker container run -d -p 3838:3838 rocker/shiny-verse
sudo docker container ls
sudo docker exec -it 컨테이너명 or ID /bin/bash
쉘로 들어간 다음에
R 을 실행시키고 명령 프롬프트에서 install.packages("googleAuthR") 으로 googleAuthR 패키지를 설치한다.
그 후 home 폴더 하위에 디렉터리를 생성하고, app.R 파일을 만들어 소스를 저장한다.
기존 도커를 종료 시키고 저장한 앱을 실행시키면 추가 패키지로 인한 오류 때문에 실행되지 않은 앱들의 문제를 해결 할 수 있다.
sudo docker container stop 컨테이너명 or ID
sudo docker run --rm -d -p 3838:3838 -v /home/ubuntu/[폴더명]:/srv/shiny-server/[앱이름] rocker/shiny-verse
[Vision API] 구글 드라이브 이미지 파일 리사이징 후 Vision API 사용
라이브러리 : 1B7FSrk5Zi6L1rSxxTDgDEUsPzlukDsi4KGuTMorsTQHhGBzBkMun4iDF 로 추가(OAuth2)
고급 구글 서비스 : Drive API
행아웃 채트 API 활성화
CLOUD VISION API 는 이미지를 식별해 주는데, 구글 드라이브에 업로드 된 파일은 경로 참조로 가져오기가 되지 않는다.
base64로 변환 후 사용 가능하다.
function test(){//vision api 테스트
var fileurl="구글 드라이브 이미지 파일 경로";
var data1 = JSON.parse(makeRequest(fileurl));
//data.responses[0].webDetection.bestGuessLabels[0].label, data.responses[0].webDetection.webEntities[0].description 을 추출하여 사용
Logger.log(data1.responses[0].webDetection);
}
function buildJSONRequestImgBase64(val) {//base64 인코딩 및 json 메시지 생성
var file = DriveApp.getFileById(val);
var data1 = Utilities.base64Encode(file.getBlob().getBytes());
return JSON.stringify({
requests: [{
image: {
content:data1
},
features: [{
type: "WEB_DETECTION",
maxResults: 1
}]
}]
});
}
var APIKey = 'Your key';
function makeRequest(b64) {// Make a POST request to Vision API with a JSON payload.
var visionApiUrl = 'https://vision.googleapis.com/v1/images:annotate?key=' + APIKey;
var JSON_REQ = buildJSONRequestImgBase64(b64);
var options = {
'method': 'post',
'contentType': 'application/json',
'payload': JSON_REQ
};
var response = UrlFetchApp.fetch(visionApiUrl, options);
return response.getContentText();
}
//행아웃 채팅으로 봇이 받은 이미지를 리사이징하여 저장한다.
function uploadAttachmentToDrive(attachment, folderId, fileName){//행아웃 채팅으로 받은 이미지 파일 처리 구글 드라이브로 업로드 및 썸네일 생성
var resourceName = attachment[0].attachmentDataRef.resourceName;
var blob = "";
var url = "https://chat.googleapis.com/v1/media/" + resourceName + "?alt=media"
var service = getOAuth2Service();
var response = UrlFetchApp.fetch(url, {
headers: {
'Authorization': 'Bearer ' + service.getAccessToken(),
},
'muteHttpExceptions': true,
});
if (response.getResponseCode() != 200) {
return url;
}
blob = response.getBlob();
var folder = DriveApp.getFolderById(folderId);
var uploadFile = folder.createFile(blob);
uploadFile.setName(fileName);
var width = 800;
var link = Drive.Files.get(uploadFile.getId()).thumbnailLink.replace(/\=s.+/, "=s" + width);
var blob2 = UrlFetchApp.fetch(link).getBlob().setName(fileName+"_t");
var file = folder.createFile(blob2);
return file.getId();
}
function onMessage(event) {
if(event.message.attachment != null){
var fileurl = uploadAttachmentToDrive(event.message.attachment,"폴더명",Utilities.formatDate(dt, "GMT+9", "YYYY.MM.dd HH:mm:ss"));
}
function getOAuth2Service() {
var serviceAccountPriveKey = '-----BEGIN PRIVATE KEY----------END PRIVATE KEY-----\n';
var serviceAccountClientEmail = '~gserviceaccount.com';
var scope = 'https://www.googleapis.com/auth/chat.bot';
var service = OAuth2.createService('Vote bot')
.setTokenUrl('https://accounts.google.com/o/oauth2/token')
.setPrivateKey(serviceAccountPriveKey)
.setClientId(serviceAccountClientEmail)
.setScope(scope);
if (!service.hasAccess()) {
console.log('Authentication error: %s', service.getLastError());
return;
}
return service;
}
[R] googleAuthR 을 이용한 oAuth 인증 및 로그인 아이디 얻기
https://code.markedmondson.me/googleAuthR/articles/google-authentication-types.html
상기 경로로 구현해 보았다.
아래 코드로 이용 가능하며, 클라이언트 id 부분은 개발자 콘솔에서 사용자 인증 정보를 웹애플리케이션에 사용하는 것으로 만들어 활용하면 된다.
localhost는 잘 되지 않아, shinyapps.io 를 사용 경로로 등록해서 잘 동작하였다.
library(shiny) library(googleAuthR) options(googleAuthR.webapp.client_id = "###") ui <- fluidPage( titlePanel("Sample Google Sign-In"), sidebarLayout( sidebarPanel( googleSignInUI("demo") ), mainPanel( with(tags, dl(dt("Name"), dd(textOutput("g_name")), dt("Email"), dd(textOutput("g_email")), dt("Image"), dd(uiOutput("g_image")) )) ) ) ) server <- function(input, output, session) { sign_ins <- shiny::callModule(googleSignIn, "demo") output$g_name = renderText({ sign_ins()$name }) output$g_email = renderText({ sign_ins()$email }) output$g_image = renderUI({ img(src=sign_ins()$image) }) } # Run the application shinyApp(ui = ui, server = server)
[챗봇] 대화형 질의 응답 만들기
대화형 챗봇을 통해 문자열 입력시 대답하도록 한다.
채팅방에서 실행하게 되면, @봇이름 대화 형식으로 하고, DM일 경우 문자열을 입력하기만 하면 응답한다.
https://cloud.google.com/blog/products/g-suite/building-a-google-hangouts-chatbot-using-apps-script
[채팅방]
[DM]
투표하기 코드를 조금 고쳐서 스프레드시트에 응답 결과를 저장하도록 했다.
클릭 횟수를 프로세스의 단위로 삼아 1번 질문, 2번 질문, ... n번 질문 후 마지막에 앞으로 돌아가도록 했다.
이 설문의 문제는 스프레드시트 쓰기 권한이 oAuth 로 승인되어야 해서 스크립트를 실행하여 권한을 얻어야 하는 문제가 있다.
배포된 스크립트로 하는게 아닌 메니페스토에서 배포라서 스크립트를 작성한 사용자의 권한을 대행하지 못하는 것 같다.
권한 문제가 있어 설문으로 활용할 방법에 대해 좀 더 고민해 봐야겠다.
또한 다른 도메인 사용자 일때도 안 되는 것 같다.
글로벌 권한이 있는 계정으로 다시 만들어 테스트 해봐야 겠다.
[TF] 파이썬과 케라스를 이용한 딥러닝/강화학습 주식투자
도서 [파이썬과 케라스를 이용한 딥러닝/강화학습 주식투자] 에 나온 예제를 실행해 봤다.
현재기준으로 아나콘다 3을 설치하면 python 3.8.x 가 설치되며, python path를 설정해야 제대로 실행 가능하다.
기존 2.7, 3.5 가 설치된 환경이라 여러 버전이 섞여서 다양한(?) 에러를 발생시켰다.
시스템 환경변수에 아래를 등록한다.
PYTHONPATH
c:\programdata\anaconda3;c:\programdata\anaconda3\Lib;c:\programdata\anaconda3\DLLs;c:\programdata\anaconda3\libs;c:\programdata\anaconda3\Scripts;c:\programdata\anaconda3\bin
알수 없는 오류 (set_session, get_default_graph())에 대해 대략 아래와 같이 수정하여 아웃풋을 얻었다.
[networks.py]
23 from tensorflow.keras.backend import set_session -> from tensorflow.keras.backend import clear_session
25 graph = tf.get_default_graph() -> graph = tf.compat.v1.get_default_graph()
시간이 지나면 각종 로그와 그림에 대해 이해하게 되겠지.
[구글핏] fitnees API 를 이용한 구글 스프레드시트로 데이터 가져오기
https://ithoughthecamewithyou.com/post/export-google-fit-daily-steps-to-a-google-sheet
위 사이트를 참고해 진행한다.
1) 일단 코드를 다운로드 하고, API 콘솔을 이용해 https://console.cloud.google.com/apis 새로운 프로젝트를 만든다.(기존 프로젝트 이용 가능)
2) API 및 서비스 사용 설정에서 fitnees API 를 활성화 시킨다.
3) 사용자 인증정보에서 사용자 인증 정보 만들기를 선택한다.
4) OAuth 클라이언트 ID를 선택하고 애플리케이션 유형을 웹 애플리케이션으로 한다.
5) 이름을 "GF" 등으로 설정하고 승인된 리디렉션 URI 에 https://script.google.com/macros/d/{SCRIPTID}/usercallback 를 입력한다.
6) {SCRIPTID} 를 입력하기 위해 구글 드라이브에서 스프레드시트를 만들고, 스크립트 편집기를 열어 1)의 코드를 저장한 뒤, URL으 확인한다.
7) URL에 나온 스크립트 경로가 {SCRIPTID} 이다.
8) OAuth 클라이언트 ID 만들기를 선택하면 6)에서 저장한 코드에 Client ID, Client Secret을 입력할 수 있는 클라이언트 ID, 클라이언트 보안 비밀은 얻을 수 있다.
9) 저장이 끝나면 시트를 새로고침하여 OnOpen 함수가 자동 동작하도록 하여 Google Fit 메뉴를 확인한다.
10) Authorize...... 를 시작으로 시트이름을 "Metrics"{History}으로 수정하여 구글 피트니스에 저장된 데이터를 가져올 수 있다.
코드를 보면 사용하는 시트이름이 다음과 같다. 두 개의 시트를 생성하여 AppendRow null 오류를 방지한다.
function getMetrics() {
getMetricsForDays(1, 1, 'Metrics');
}
function getHistory() {
getMetricsForDays(1, 60, 'History');
}
[push챗봇] 구글 앱스 스크립트 X 행아웃 채트(구글 채트)
행아웃 채트가 구글채트로 이름이 변경되었다.
개별 도메인 사용자만 이용할 수 있는데, 무료 계정도 모바일은 가능하다.
(chat.google.com) 로 접속하면 PC에서도 이용 가능하고 대화방의 이름을 얻을 수 있기 때문에, 6의 예제 코드에 space.name 에 하드 코딩 가능하다.
https://suritam9.pe.kr/index.php?mid=imp&document_srl=1405 에서 이미 대화형 봇을 다뤘으며, 이번 건은 push형이다.
그동안은 integramat 이나 다른 수단을 이용했는데, 구글 앱스 스크립트로 바로 가능한 방법이 있어 시도해 봤다.
https://medium.com/@stephane.giron/send-push-message-to-hangouts-chat-with-apps-script-274ddadcbc55
1. 구글 클라우드 플랫폼 서비스 계정에서 계정 생성 및 키를 만든다.(JSON 형태 다운로드 파일 보관)
2. 앱스 스크립트 라이브러리에서 Oauth2 를 설치하는데, 1B7FSrk5Zi6L1rSxxTDgDEUsPzlukDsi4KGuTMorsTQHhGBzBkMun4iDF 로 검색한다.
3. 1에서 다운 받은 파일에 PRIVATE_KEY 와 CLIENT_EMAIL를 복사하고 서비스 생성 스크립트를 실행시킨다.
var PRIVATE_KEY = '-----BEGIN PRIVATE KEY-----\n...\n-----END PRIVATE KEY-----\n';
var CLIENT_EMAIL = '...';/**
* Configures the Chatbot service.
*/
function getChatbotService() {
return OAuth2.createService(‘MyChatBot’)
// Set the endpoint URL.
.setTokenUrl(‘https://accounts.google.com/o/oauth2/token')// Set the private key and issuer.
.setPrivateKey(PRIVATE_KEY)
.setIssuer(CLIENT_EMAIL)// Set the property store where authorized tokens should be persisted.
.setPropertyStore(PropertiesService.getScriptProperties())// Set the scope.
.setScope(‘https://www.googleapis.com/auth/chat.bot');
}
4. 토큰이 발행되는지 테스트 한다.
/**
* Test for getting access token
*/
function getAccessTokenTest() {
var service = getChatbotService();
if (service.hasAccess()) {
Logger.log(service.getAccessToken());
} else {
Logger.log(service.getLastError());
}
}
5. 참고 URL 에 빠져 있는 부분인데, 봇을 만들어 채팅방에 추가해야 한다. (봇 만들기는 다른 사이트를 검색하여 아이콘 등을 설정한다.)
권한은 도메인 내로 해야 head 배포 id 사용이 가능하다.
배포 id는 게시에 메니페스트에서 배포를 선택하여 lastesthead deployment 배포에서 getid 를 선택하여 확인한다.
6. 예제 코드를 이용해 해당 채팅방에 메시지를 보내본다.
/**
* Authorizes and makes a request to the Hangouts Chat API for :
* - Getting all spaces the bot is installed
* - Sending message when space is a Direct Message space
*/
function sendPushMessage() {
var service = getChatbotService();
if (service.hasAccess()) {
//WE retrieve all the spaces bot has been added
var url = 'https://chat.googleapis.com/v1/spaces';
var response = UrlFetchApp.fetch(url, {
headers: {
Authorization: 'Bearer ' + service.getAccessToken()
}
});
var rep = JSON.parse(response.getContentText());
if(rep.spaces && rep.spaces.length > 0){
for(var i = 0; i < rep.spaces.length; i++) {
var space = rep.spaces[i];
if(space.type == "DM"){
//We send message only to Direct Message room.
var url = 'https://chat.googleapis.com/v1/'+space.name+'/messages';
var options = {
method : 'POST',
contentType: 'application/json',
headers: {
Authorization: 'Bearer ' + service.getAccessToken()
},
payload : JSON.stringify({ text: "Hello world !" })
}
//We send message to the DM room
UrlFetchApp.fetch(url, options);
}else{
//If Type is 'ROOM' or 'TYPE_UNSPECIFIED' we don't send notification.
}
}
}else{
Logger.log('Bot is not added to any spaces');
}
} else {
Logger.log(service.getLastError());
}
}
7. 오류가 발생한다면 구글 개발자 콘솔에서 행아웃 채트 API 활성화를 누락했거나, 채팅방이 잘 확인되는지, space 에 대한 참여 멤버, 대화방 명 등을 확인해 보면 디버깅에 도움이 된다.
https://developers.google.com/hangouts/chat/reference/rest/v1/spaces
https://developers.google.com/hangouts/chat/reference/rest/v1/spaces.members
https://developers.google.com/hangouts/chat/reference/rest/v1/spaces.messages
[QT] 트레이아이콘(TrayIcon)사용하기
http://browniz1004.blog.me/220956638885
qt 트레이 showMinimized() tray -> 나의 검색어
[헤더파일]
QSystemTrayIcon *TrayIcon; //전역변수
QMenu *TrayIconMenu;
private slots:
void onSystemTryIconClicked(QSystemTrayIcon::ActivationReason); //트레이아이콘 클릭시 이벤트 설정
void on_actionExit_triggered(); //트레이아이콘 메뉴설정시 사용
private: //프로그램종료시, 프로그램 숨김시 이벤트설정
void closeEvent(QCloseEvent *event);
void hideEvent(QHideEvent *event);
[소스파일]
TrayIcon = new QSystemTrayIcon(this);
TrayIconMenu = new QMenu(this);
TrayIconMenu->addAction(ui.actionExit);
TrayIconMenu->addSeparator();
TrayIcon->setContextMenu(TrayIconMenu);
QIcon Icon(":/appMain/Resources/icon_menu_01.png"); //아이콘은 기존 리소스 경로로 지정
TrayIcon->setIcon(Icon);
TrayIcon->show();
TrayIcon->setToolTip(tr("DFC")); //트레이아이콘에 마우스 움직였을때 문구
TrayIcon->showMessage(tr("DFC"), tr("DFC."), QSystemTrayIcon::Information, 5000); //트레이아이콘 처음 적용시 설명
connect(TrayIcon, SIGNAL(activated(QSystemTrayIcon::ActivationReason)), this, SLOT(onSystemTryIconClicked(QSystemTrayIcon::ActivationReason)));
함수 선언부
void appMain::onSystemTryIconClicked(QSystemTrayIcon::ActivationReason reason)
{
switch (reason)
{
case QSystemTrayIcon::Trigger:
case QSystemTrayIcon::DoubleClick:
this->setWindowState(Qt::WindowActive);
this->show();
break;
}
}
void appMain::hideEvent(QHideEvent *event)
{
if (isMinimized())
{
this->hide();
}
QWidget::hideEvent(event);
}
void appMain::closeEvent(QCloseEvent *event)
{
if (TrayIcon->isVisible())
{
TrayIcon->hide();
}
}
void appMain::on_actionExit_triggered()
{
this->hide();
this->close();
}
[R] 구글 플레이스토어 리뷰 별점까지 수집
도커에 타임존을 변경해서 실행한다.
sudo docker run -v /etc/localtime:/etc/localtime:ro -p 4445:4444 selenium/standalone-chrome &
sudo docker ps -a
sudo docker exec -it 911cca8e9f44 /bin/bash
seluser@911cca8e9f44:/$ date
Fri Apr 19 11:31:47 KST 2019
Rscript로 실행할 때는 library를 주석처리하고
Rscript --default-packages=methods,utils,httr,stringr,rvest,RSelenium 파일명.r
으로 실행한다.
library(rvest)
library(RSelenium)
library(httr)
library(stringr)
remDr <- remoteDriver(port = 4445L, browserName = "chrome")
remDr$open() #크롬 Open
remDr$navigate("https://play.google.com/store/apps/details?id={패키지명}&showAllReviews=true&hl=ko") #설정 URL로 이동
webElemButton <- remDr$findElements(using = "xpath", "/html/body/div[1]/div[4]/c-wiz/div/div[2]/div/div[1]/div/div/div[1]/div[2]/c-wiz/div/div/div[1]/div[1]/div[3]/content")
remDr$mouseMoveToLocation(webElement = webElemButton[[1]]) #정렬 방법 리스트 확장
remDr$click()
Sys.sleep(1)
webElemButton <- remDr$findElements(using = "xpath", "/html/body/div[1]/div[4]/c-wiz/div/div[2]/div/div[1]/div/div/div[1]/div[2]/c-wiz/div/div/div[2]/div[1]")
remDr$mouseMoveToLocation(webElement = webElemButton[[1]]) #최신순 선택
remDr$click()
Sys.sleep(10)
frontPage <- remDr$getPageSource() #페이지 전체 소스 가져오기
reviewNames <- read_html(frontPage[[1]]) %>% html_nodes('.bAhLNe.kx8XBd') %>% html_nodes('.X43Kjb') %>% html_text() #페이지 전체 소스에서 리뷰 정보(이름, 날짜) 부분 추출하기
reviewDates <- read_html(frontPage[[1]]) %>% html_nodes('.bAhLNe.kx8XBd') %>% html_nodes('.p2TkOb') %>% html_text() #페이지 전체 소스에서 리뷰 정보(이름, 날짜) 부분 추출하기
reviewComments <- read_html(frontPage[[1]]) %>% html_nodes('.UD7Dzf') %>% html_text() #페이지 전체 소스에서 리뷰 정보(이름, 날짜) 부분 추출하기
reviewStars <- read_html(frontPage[[1]]) %>% html_nodes('.nt2C1d') %>% html_nodes('.pf5lIe') %>% html_children() %>% html_attr("aria-label") #페이지 전체 소스에서 리뷰 정보(이름, 날짜) 부분 추출하기
reviewData <- data.frame(name=reviewNames, date=reviewDates, comment=reviewComments, stars=reviewStars)
write.csv(reviewData, "sh.csv")
remDr$close()
https://stat4701.github.io/edav/2015/04/02/rvest_tutorial/
[R] 우분투 16.04에 RStudio 설치
아마존 t2.micro에 RStudio를 설치해서 원격으로 접속해 본다.
터미널보다 실행 속도가 더 빠르다니 의아하다.
http://download2.rstudio.org/ 에서 rstudio-server-1.1.463을 설치했다.
http://infondgndg91.blogspot.com/2016/09/1604-lts-rstudio.html 등에서는 rstudio-0.99.896-amd64.deb 를 받으라고 하는데,
Package 'libssl0.9.8' has no installation candidate 에러가 발생하여 상위 버전으로 설치했다.
422 wget http://download2.rstudio.org/rstudio-server-1.1.463-amd64.deb
423 sudo gdebi rstudio-server-1.1.463-amd64.deb
이상 없으면 아래와 같이 출력되며, 자동 실행된다.
Reading package lists... Done
Building dependency tree
Reading state information... Done
This package is uninstallable
Wrong architecture 'i386'
ubuntu@ip-172-31-29-250:~$ wget http://download2.rstudio.org/rstudio-server-1.1.463-amd64.deb
--2019-04-10 00:12:20-- http://download2.rstudio.org/rstudio-server-1.1.463-amd64.deb
Resolving download2.rstudio.org (download2.rstudio.org)... 54.239.186.77, 54.239.186.152, 54.239.186.198, ...
Connecting to download2.rstudio.org (download2.rstudio.org)|54.239.186.77|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 63566904 (61M) [application/x-deb]
Saving to: ‘rstudio-server-1.1.463-amd64.deb’
rstudio-server-1.1.463-amd64.deb 100%[=============================================================================>] 60.62M 13.8MB/s in 5.6s
2019-04-10 00:12:26 (10.7 MB/s) - ‘rstudio-server-1.1.463-amd64.deb’ saved [63566904/63566904]
ubuntu@ip-172-31-29-250:~$ sudo gdebi rstudio-server-1.1.463-amd64.deb
Reading package lists... Done
Building dependency tree
Reading state information... Done
Reading state information... Done
RStudio Server
RStudio is a set of integrated tools designed to help you be more productive with R. It includes a console, syntax-highlighting editor that supports direct code execution, as well as tools for plotting, history, and workspace management.
Do you want to install the software package? [y/N]:y
Selecting previously unselected package rstudio-server.
(Reading database ... 106368 files and directories currently installed.)
Preparing to unpack rstudio-server-1.1.463-amd64.deb ...
Unpacking rstudio-server (1.1.463) ...
Setting up rstudio-server (1.1.463) ...
groupadd: group 'rstudio-server' already exists
rsession: no process found
Created symlink from /etc/systemd/system/multi-user.target.wants/rstudio-server.service to /etc/systemd/system/rstudio-server.service.
● rstudio-server.service - RStudio Server
Loaded: loaded (/etc/systemd/system/rstudio-server.service; enabled; vendor preset: enabled)
Active: active (running) since Wed 2019-04-10 00:12:41 UTC; 1s ago
Process: 25430 ExecStart=/usr/lib/rstudio-server/bin/rserver (code=exited, status=0/SUCCESS)
Main PID: 25434 (rserver)
Tasks: 3
Memory: 14.3M
CPU: 387ms
CGroup: /system.slice/rstudio-server.service
└─25434 /usr/lib/rstudio-server/bin/rserver
Apr 10 00:12:41 ip-172-31-29-250 systemd[1]: Starting RStudio Server...
Apr 10 00:12:41 ip-172-31-29-250 systemd[1]: Started RStudio Server.
8787 포트를 방화벽에서 허용하여 접속하면, 윈도우에 설치한 RStudio와 동일하게 사용가능 하다.
댓글 달기